Decision Index de Artificial Analysis: ranking de modelos
Artificial Analysis publica el Decision Index v1.0 con datos de rendimiento, latencia y costes para modelos de decisión frente a LLM tradicionales.
👁 114 lecturas
El 13 de octubre de 2026, Artificial Analysis (AA) publicó el Decision Index v1.0, el primer índice de referencia independiente centrado en modelos de decisión. Estos sistemas responden a preguntas estructuradas (elección múltiple, sí/no o puntuación) en una sola llamada y devuelven una distribución de probabilidad para cada opción, en lugar de generar texto token a token. El índice evalúa once modelos de decisión y los compara directamente con modelos de lenguaje tradicionales (LLM) que ejecutan las mismas tareas mediante salidas estructuradas.
Resultados principales del Decision Index v1.0
Según el resumen de Artificial Analysis a fecha de 13 de octubre de 2026, Jev 1.13 encabeza la tabla general con 58 puntos (57.5 en la tabla en vivo), situándose por delante de GLiDE y Microsoft-Decision-1, ambos empatados con 54 puntos (53.9 y 53.8 respectivamente). La clasificación general se completa con Decider v1.1 27B (53.1), Mercury Decide (52.7), Celeris-1 Decision (52.3), d1 (50.3), Clef (48.6), GPT-6 Luna Decisions (48.5), Clef-Flash (45.8) y Clef-Omni (44.3). Aunque LLM como Claude Haiku 5.5 obtienen puntuaciones superiores (60.6), lo hacen con costes y latencias considerablemente más elevados.
| Modelo | Índice | Coste / 1M tareas | Tiempo mediano |
|---|---|---|---|
| Jev 1.13 | 57.5 | $41.5 | 127 ms |
| GLiDE | 53.9 | $119.0 | 217 ms |
| Microsoft-Decision-1 | 53.8 | $30.7 | 207 ms |
| Decider v1.1 27B | 53.1 | $16.5 | 170 ms |
| Celeris-1 Decision | 52.3 | $31.6 | 63 ms |
| Claude Haiku 5.5 (low) | 60.6 | $184.0 | 1434 ms |
Metodología de evaluación
El índice pondera cuatro pruebas al 25% cada una. AA-Omniscience-Decision evalúa 500 preguntas de conocimiento privado con cinco opciones (cuatro respuestas más la opción «No lo sé»), midiendo a partes iguales la precisión y la tasa de no alucinación. HLE-MultiChoice incluye 513 preguntas de opción múltiple de Humanity’s Last Exam en formato solo texto. When2Call, desarrollado por NVIDIA, mide si el modelo responde de forma directa, llama a una herramienta, solicita más información o declara que no puede responder. Por último, WildGuardTest, creado por Ai2, evalúa solicitudes dañinas, negativas y respuestas perjudiciales mediante la métrica F1 promedio.
En los modelos de decisión, Artificial Analysis toma la opción con mayor probabilidad asignada (en preguntas binarias, sí cuando p >= 0.5). En los LLM, la medición se efectúa mediante un prompt de sistema fijo y JSON mediante structured outputs. El coste por millón de tareas refleja el coste medio por tarea a los precios vigentes de los tokens multiplicado por un millón, facturando a los modelos de decisión únicamente por la entrada y a los LLM por entrada y salida combinadas.
En el desglose por categorías técnicas, Jev 1.13 destaca en razonamiento con 20.9 en HLE-MultiChoice frente a un máximo de 15.4 en el resto de modelos de decisión. Sin embargo, el conocimiento general es el punto débil común de esta arquitectura: las precisiones oscilan entre el 28% y el 41%, frente al 52% de Claude Haiku 5.5 (low) y el 66% de GPT-6 Luna (low). En llamada a herramientas (When2Call), GLiDE y Celeris-1 alcanzan 83.7 frente al 73 de Claude Haiku 5.5 (low), mientras que en clasificación (WildGuardTest) GLiDE logra 95.1 y Decider 93.8, superando el 92.6 de Claude Haiku 5.5 (low).
Más: Modelos de decisión IA - ranking Decision Index, precios y pruebas
Fuentes
Artificial Analysis evalúa modelos de decisión: Jev 1.13 lideraBenchmarks
Documentos judiciales revelan que Microsoft y OpenAI sabían que sus modelos de IA dañarían la webNoticias
Microsoft publica un código de conducta para sus modelos de IA con prohibiciones absolutas contra ciberataques y deepfakesNoticiasMore on this from FULGOR
panorama de la ia·El FMI alerta de una burbuja de IA mientras avanza su adopciónEl FMI advierte del riesgo de un desplome financiero en la IA mientras la tecnología ya se integra a fondo en defensa, robótica e infraestructuras críticas.