Diccionario IA / Kwantyzacja
🏗️ Modelos y entrenamiento
Kwantyzacja
Adelgazar el modelo guardando números con menor precisión - funciona más rápido y en hardware más modesto.
La cuantización es una técnica de adelgazamiento del modelo: sus pesos se guardan con menor precisión numérica (por ejemplo, 4 bits en lugar de 16), por lo que el archivo ocupa varias veces menos memoria y los cálculos se aceleran. El coste es una pequeña pérdida de calidad, a menudo imperceptible. Gracias a la cuantización se pueden ejecutar grandes modelos abiertos en un ordenador doméstico con tarjeta gráfica, e incluso en un portátil. Los formatos populares de modelos cuantizados circulan en la comunidad de self-hosting y son la base de la ejecución local de IA.
Conceptos relacionados