后量化算法 关键字列表
极智AI | 解读大模型量化算法之GPTQ

极智AI | 解读大模型量化算法之GPTQ

GPTQ 的核心思想是通过最小化量化引入的输出误差,实现高精度低比特量化。具体来说,GPTQ 在后量化过程中,针对每一层的权重矩阵,利用一小部分校准数据,最小化量化前后模型输出的差异。