Reducción de la precisión numérica de los pesos de un modelo, por ejemplo de 16 bits a 8 o 4, para que ocupe menos memoria y se lea más rápido. A cambio se pierde algo de calidad. Formatos habituales son GGUF con variantes como Q4_K_M, o Q40 en distributed-llama. Relacionado con INT8.



