› El equipo de IBM Research publicó el 15 de septiembre de 2026 un estudio en Hugging Face que cuantifica y reduce la inconsistencia de agentes de IA en tareas repetidas, un problema que los benchmarks estándar habitualmente ocultan.El punto de partida es una distinción entre dos métricas.
› Mean@k - la tasa de éxito promedio sobre k ejecuciones - es el número que aparece en los rankings.
› Pass⁵, en cambio, mide la fracción de tareas que el agente supera en todas las repeticiones.
› Un agente ReAct basado en GPT-4.1, evaluado en el benchmark AppWorld con cinco repeticiones por tarea, obtiene un 77,4 % en Mean@k pero solo un 53,0 % en Pass⁵.