Test de 11 modelos de IA: GPT-6 Astra gana, pero el test falló

👁 119 lecturas

Construí un test para once modelos: nueve tareas de código, traducción y seguimiento de instrucciones, cada una verificada automáticamente para no evaluar por gusto personal. Tras revisar las respuestas, resultó que en una tarea mi sistema automático puntuó al revés. Los modelos a los que puso cero respondieron correctamente, y los que obtuvieron un punto se equivocaron.

Esto es más interesante que el ranking en sí, así que empezaré por ahí.

La tarea en la que falló el test, no los modelos

Di a los modelos este código en PHP y pedí que señalaran el error en una frase:

foreach ($lista as $i => $el) {
    if ($el == null) unset($lista[$i]);
}
echo count($lista);

Las respuestas se dividieron en dos bandos.

Primer bando: el error es eliminar elementos del array mientras se itera sobre él, porque esto rompe el bucle y omite elementos.

Segundo bando: el error es la comparación débil ==, que además de null captura también cero, cadena vacía, falso y array vacío, así que elimina más de lo debido.

Mi sistema automático buscaba en la respuesta palabras sobre modificar durante la iteración, así que premiaba al primer bando. Ejecuté este código en el servidor, en PHP 8.4.25, y el resultado es inequívoco.

1) solo nulos: quedaron 4 de 7, valores: a,b,c,d
   ¿iteración omitió elementos? NO, eliminó exactamente 3 nulos
2) con ceros y vacíos: quedaron 5 de 10, valores: 'a','b','c','d','0'

Eliminar en el bucle no rompió nada. En PHP el bucle por valor trabaja sobre una copia del array, así que borrar en medio es seguro. En cambio, la comparación débil eliminó cero, cadena vacía, falso y array vacío, exactamente lo que decía el segundo bando.

El primer bando repitió una regla verdadera en otros lenguajes. El segundo bando conocía PHP.

Quién reconoció el error real

Respondieron correctamente cinco modelos de once: GPT-6 Astra, Claude Fable 5.1, Gemini 3.8 Flash, GLM 5.3 Flash y Kimi K3. Los otros seis dieron la regla sobre iteración o, en el caso de Ministral, algo diferente e igualmente falso.

Esta es una división que casualmente coincide con el precio: lo reconocieron modelos de gama alta. No siempre es así y enseguida mostraré una tarea donde fue al revés.

Resultados tras la corrección

A continuación la puntuación tras corregir esta tarea. También indico el coste del conjunto completo y el tiempo, porque al elegir un modelo para trabajar uno sin otro no significa nada.

El más caro no ganó

Claude Fable 5.1 costó 0,11503 dólares, es decir, más del doble que el ganador, y terminó un punto por debajo. Gemini 3.8 Flash obtuvo lo mismo que Fable con un coste dos tercios menor.

En el otro extremo de la tabla, Ministral 14B obtuvo cinco puntos por 0,00019 dólares, es decir, lo mismo que Claude Haiku 4.5, que costó diecisiete veces más. Lo hizo en 6,2 segundos, el más rápido de los once.

El código salió sorprendentemente parejo

En el grupo de tareas de programación, tras la corrección, las diferencias son menores de lo que suponía. La función que verifica un número NIP con suma de control la escribieron todos. La consulta con suma, agrupación y límite de diez resultados también pasó en todos.

Toda la diferencia se produjo en la tarea con el error, es decir, donde había que no tanto escribir código como entenderlo. Esta es probablemente la observación más práctica de todo el test: escribir código está resuelto hoy incluso en modelos baratos, leer código ajeno no.

Las instrucciones son el punto más débil de todos

El peor resultado fue en el grupo de tareas donde contaba mantener restricciones estrictas. Solo GPT-6 Astra aprobó las tres.

La tarea decía: escribe dos frases sobre el café en polaco, pero no uses la letra «a» ni una vez. Lo lograron tres modelos de once.

Lo más interesante son las formas de fallar. Dos modelos escribieron frases correctas, pero las precedieron con una introducción tipo «Oto dwa zdania bez litery a» («Aquí hay dos frases sin la letra a»), es decir, se eliminaron solos con su propio anuncio. Uno empezó a inventar palabras inexistentes: «Kow jest gorący, czarny napój«. Otro añadió al final una nota de que la propia palabra «kawa» (café) contiene la letra prohibida, como si quisiera justificarse.

Las respuestas correctas fueron así: «Espresso pobudzi umysł. Jego woń koi zmysły« («El espresso estimula la mente. Su aroma calma los sentidos») y «Ciemny, gorzki płyn w kubku budzi o świcie uśpione zmysły« («El líquido oscuro y amargo en la taza despierta al alba los sentidos dormidos»).

Conclusión práctica: si construyes algo que debe mantener un formato estricto, veríficalo por separado. Un modelo que escribe bellamente puede al mismo tiempo no saber contar frases.

Calcos del inglés

Pedí el equivalente polaco de la expresión «it’s not rocket science». Ocho modelos dieron algo natural, más frecuentemente «to żadna filozofia« («no es ninguna filosofía»). Tres fueron por el calco: «to nie jest żadna rakietowa nauka« («no es ninguna ciencia de cohetes»), «to nie jest fizyka jądrowa« («no es física nuclear»), «to nie jest rakieta, to jest prostsze niż myślisz« («no es un cohete, es más simple de lo que piensas»).

Esta es una diferencia que no se ve en tests hechos en inglés, pero que decide si el texto suena como escrito por un polaco nativo.

De paso, mi sistema automático mostró aquí una segunda debilidad. Consideró erróneas las respuestas «to nie jest wyższa matematyka« («no es matemática superior») y «to nie jest zajęcie dla głupich« («no es ocupación para tontos»), porque no estaban en mi lista de formulaciones admitidas. Ambas expresiones son completamente naturales en polaco. No cambié la puntuación para no amoldarla a mis impresiones, pero lo anoto: en esta tarea dos modelos obtuvieron cero por una respuesta que un humano consideraría buena.

GLM 5.3 Flash: ganó un test, perdió el otro

Debo añadir aquí algo que complica mi conclusión anterior. En el test de gramática polaca GLM 5.3 Flash obtuvo puntuación completa con el coste más bajo y lo llamé la elección predeterminada para texto en polaco.

En este test, el mismo modelo necesitó 353 segundos para nueve tareas, es decir, de cuatro a siete veces más que el resto del grupo, y tres veces devolvió respuesta vacía. Terminó en medio de la tabla.

Ambos resultados son verdaderos y no hay contradicción: GLM es muy bueno en polaco y muy lento en tareas que requieren razonamiento más largo. La razón la describí por separado: en este modelo no se puede desactivar el razonamiento, así que ante una instrucción difícil quema el presupuesto de tokens y a veces no se deja espacio para la respuesta.

Este es exactamente el tipo de conclusión que no se puede extraer de un solo test, y la razón por la que describo el método, no solo el resultado.

Cómo lo medí y qué no dice este test

Nueve tareas, once modelos, un intento por tarea, límite de 1.600 tokens por respuesta en la primera parte y 3.000 en esta. Costes leídos del campo de facturación devuelto por la interfaz, no del tarifario, porque el precio de la ficha del modelo puede diferir de la factura hasta catorce veces. Todo el test costó 0,34 dólares.

Qué no dice: no verifiqué escritura de textos largos, conocimiento factual ni trabajo con contexto grande. Nueve tareas son demasiado pocas para un ranking absoluto y no lo afirmo.

Y lo más importante, porque este es el mensaje de todo este texto: un test automático es solo tan bueno como el criterio que escribiste en él. El mío fue erróneo en una tarea de nueve y solo salió al leer las respuestas. Si evalúas modelos con un sistema automático y no lees los resultados, puedes publicar un ranking que mide la conformidad con tu error.

El mismo test, pero desde el lado del coste

Arriba cuento puntos. Si te interesa cuánto cuesta el trabajo en sí, lo medí por separado en una tarea más larga: cuánto cuesta un artículo escrito por IA. Salió desde cuatro centésimas de centavo hasta diecinueve centavos por el mismo texto.

// sigue leyendoEl científico jefe de OpenAI defiende entrenar modelos más potentes como mecanismo de defensa ante la IA peligrosaNoticiasIA y SEO: por qué la supuesta guerra entre ambos no existeRevistaOpenAI retrasa su salida a bolsa hasta garantizar decisiones de seguridad confiablesRevista