Diccionario IA / Benchmark

🤖 Agentes y herramientas

Un benchmark es un test estandarizado para comparar modelos: un conjunto de tareas de matemáticas, conocimiento general, programación o comprensión del lenguaje, en el que cada modelo obtiene una puntuación. Gracias a los benchmarks se puede afirmar que el modelo X maneja el código mejor que el Y. Conviene tomar los resultados con cautela: los tests populares con el tiempo "se filtran" a los datos de entrenamiento, y los fabricantes optimizan los modelos para las métricas. Por eso, junto a los benchmarks clásicos crecen rankings basados en evaluaciones ciegas de personas y tests privados - y el mejor benchmark sigue siendo tu propia tarea.