Diccionario IA / Destylacja

🏗️ Modelos y entrenamiento

La destilación de conocimiento es una técnica en la que un modelo pequeño ("alumno") aprende a imitar las respuestas de un modelo grande ("maestro"). En lugar de entrenar al pequeño desde cero con datos en bruto, se le alimenta con las salidas del gigante - así adopta gran parte de sus habilidades con una fracción del tamaño. Es la forma estándar de crear modelos rápidos y económicos para aplicaciones masivas. También genera controversia cuando alguien destila el modelo cerrado de otro a través de su API - los términos de la mayoría de proveedores lo prohíben expresamente.