¿Tu agente IA repite el resultado? El problema de consistencia
IBM Research revela que un agente con 77% de acierto en benchmarks cae al 53% cuando debe acertar cinco veces seguidas en la misma tarea.
👁 115 lecturas
El equipo de IBM Research ha publicado en Hugging Face un análisis del problema de repetibilidad en agentes IA que señala una brecha fundamental entre lo que muestran los benchmarks y lo que realmente necesitan los usuarios en producción.
Un agente ReAct basado en GPT-4.1, probado en el conjunto AppWorld test_normal, obtiene una respuesta correcta en promedio el 77,4% de las veces. Es la cifra que ves en las tablas de clasificación. Pero si repites la misma tarea cinco veces y exiges que el agente acierte las cinco intentos, el porcentaje cae al 53,0%. La brecha es de 24,4 puntos porcentuales. En las tareas más difíciles alcanza los 30 puntos.
La diferencia entre estas dos métricas no es una curiosidad técnica. En contexto de producción - verificación de compromisos en un contrato, conciliación de transacciones financieras - un flujo de trabajo que una vez funciona y otra falla ante la misma petición idéntica es un problema, no una estadística.
Dos métricas, dos preguntas diferentes
Los investigadores señalan una diferencia terminológica importante. Mean@k responde a la pregunta: ¿qué tan bueno es el agente en promedio? Pass^k (no confundir con el popular Pass@k) responde a la pregunta que se hace el usuario real: ¿el agente ejecutará correctamente la misma tarea cada vez? Pass@k es optimista - basta con un éxito de k intentos. Pass^k es pesimista - cada intento debe tener éxito. La mayoría de los benchmarks reportan únicamente la primera cifra.
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →Diagnóstico y tratamiento del problema
IBM Research ha construido Consistency Analyzer, una herramienta que analiza la trayectoria registrada de un agente y busca puntos de decisión donde el modelo estuvo a un token de elegir un camino diferente. Lo importante es que la herramienta funciona sobre una única trayectoria registrada y no requiere ground truth ni volver a ejecutar toda la tarea. En cada punto de decisión obtiene k=5 completaciones con una llamada adicional al modelo.
Basándose en este diagnóstico, el sistema ALTK-Evolve genera las llamadas consistency guidelines - directrices de consistencia que se inyectan al agente durante la inferencia. El resultado: la brecha Pass^5 cae de 24,4 a 12,0 puntos porcentuales. En tareas del mismo tipo, el resultado Pass^5 aumenta 16,0 pp, en tareas similares - 13,0 pp. La precisión media no disminuye.
La metodología completa y los resultados están disponibles en el informe técnico en arXiv.
Es un recordatorio interesante de que mejorar la precisión media unos pocos puntos puede ser menos valioso que lograr que el agente deje de sortear la respuesta ante la misma pregunta.
More on this from FULGOR
benchmarks·Test modelos IA 16.09.2026: Claude Opus 5, GPT-6 Astra y más7 modelos, 4 tareas, resultados completos. Protocolo de prueba automatizado con evaluación PHP: edición de texto, extracción de tablas, código Python y contexto.