क्वांटाइज़ेशन विधियाँ

Numeric format (FP8, INT8, INT4) precision बताता है। Quantization method बताती है कि यह precision कैसे लागू की गई।

विधियाँ क्यों मायने रखती हैं

दो INT4 variants का व्यवहार काफ़ी अलग हो सकता है, क्योंकि विधि का चुनाव इन बातों को प्रभावित करता है:

विधि परिवार	आम उपयोग	टिप्पणियाँ
`AWQ`	Activations के प्रति संवेदनशील weights को सुरक्षित रखती है	Inference quality और efficiency के व्यावहारिक संतुलन के लिए आम
`GPTQ`	Error minimization के साथ post-training quantization	Compact local inference variants में लोकप्रिय
`GGUF`	llama.cpp ecosystem में उपयोग होने वाला packaging format	अक्सर अलग-अलग quantization levels (`Q4`, `Q5` आदि) के साथ इस्तेमाल होता है
`EXL2`	ExLlama ecosystem के aggressive low-bit variants	Architecture और runtime की सीमाओं के साथ high throughput पर केंद्रित

INT4 लक्ष्य precision है।
AWQ INT4 और GPTQ INT4 उस लक्ष्य को हासिल करने के अलग-अलग तरीके हैं।

अंतिम संशोधन 2 अक्टूबर 2026