IBM Research mide la consistencia de agentes de IA y reduce a la mitad la brecha de fiabilidad
IBM Research publicó el 15 de septiembre de 2026 un método que reduce de 24,4 a 12,0 puntos porcentuales la brecha entre el rendimiento promedio y la consistencia real de agentes de IA en tareas repetidas.
👁 117 lecturas
El equipo de IBM Research publicó el 15 de septiembre de 2026 un estudio en Hugging Face que cuantifica y reduce la inconsistencia de agentes de IA en tareas repetidas, un problema que los benchmarks estándar habitualmente ocultan.
- Un agente ReAct con GPT-4.1 en AppWorld logra el 77,4 % de éxito promedio, pero solo completa las cinco repeticiones sin fallo en el 53,0 % de las tareas - una brecha de 24,4 puntos porcentuales.
- La herramienta Consistency Analyzer detecta los puntos de decisión inestables remuestreando la trayectoria grabada del agente con k=5 completaciones, sin necesidad de ejecutar la tarea de nuevo ni de tener ground truth.
- Las directrices de consistencia generadas por altk-evolve reducen esa brecha a 12,0 pp y mejoran el Pass⁵ en 16,0 pp en la misma tarea y 13,0 pp en tareas similares, sin pérdida de precisión promedio.
El punto de partida es una distinción entre dos métricas. Mean@k - la tasa de éxito promedio sobre k ejecuciones - es el número que aparece en los rankings. Pass⁵, en cambio, mide la fracción de tareas que el agente supera en todas las repeticiones. Un agente ReAct basado en GPT-4.1, evaluado en el benchmark AppWorld con cinco repeticiones por tarea, obtiene un 77,4 % en Mean@k pero solo un 53,0 % en Pass⁵. La brecha es de 24,4 puntos porcentuales y sube a 30 puntos en las tareas más difíciles.
Para diagnosticar el origen de esa variabilidad, los investigadores desarrollaron el Consistency Analyzer. La herramienta toma una única trayectoria grabada del agente, identifica los puntos de decisión donde el modelo estuvo a un token de elegir otra opción y solicita k=5 completaciones alternativas en ese punto, sin necesidad de relanzar la tarea completa ni de contar con etiquetas de referencia.
El diagnóstico alimenta una nueva categoría de directrices dentro de altk-evolve - el sistema que ya convierte trayectorias pasadas en reglas reutilizables inyectadas en tiempo de inferencia. Incorporar estas directrices de consistencia reduce la brecha de 24,4 a 12,0 puntos porcentuales, con una mejora de 16,0 pp en Pass⁵ sobre la misma tarea y de 13,0 pp en tareas similares, sin degradar la precisión promedio.
Para quien construye o despliega agentes: confiar solo en la tasa de éxito promedio puede inflar la percepción de fiabilidad en producción. Si el caso de uso implica tareas críticas - conciliaciones financieras, revisión de contratos - conviene medir Pass⁵ antes de asumir que el agente es estable. El método de IBM Research ofrece una forma de hacer ese diagnóstico con una sola traza y sin infraestructura adicional.
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →
More on this from FULGOR
noticias·¿Pacto de seguridad o cartel? La gran apuesta de Big Tech para frenar la IA