› El equipo de IBM Research ha publicado en Hugging Face un análisis del problema de repetibilidad en agentes IA que señala una brecha fundamental entre lo que muestran los benchmarks y lo que realmente necesitan los usuarios en producción.Un agente ReAct basado en GPT-4.1, probado en el conjunto AppWorld test_normal, obtiene una respuesta correcta en promedio el 77,4% de las veces.
› Es la cifra que ves en las tablas de clasificación.
› Pero si repites la misma tarea cinco veces y exiges que el agente acierte las cinco intentos, el porcentaje cae al 53,0%.
› La brecha es de 24,4 puntos porcentuales.