Diccionario IA / Overfitting

🏗️ Modelos y entrenamiento

Overfitting (sobreajuste) es la situación en la que el modelo en lugar de aprender patrones generales, "memoriza" los datos de entrenamiento. Con el material que ha visto se desenvuelve estupendamente; con casos nuevos - mal. Es un problema clásico de todo el aprendizaje automático. En grandes modelos de lenguaje el sobreajuste se manifiesta entre otras cosas en reproducir fragmentos memorizados del entrenamiento palabra por palabra. Se previene con la diversidad adecuada de datos, técnicas de regularización y probando el modelo con material que no vio durante el aprendizaje.