GPT-6 Astra: prueba en polaco, código y 150.000 caracteres

👁 118 lecturas

El 4 de septiembre, GPT-6 Astra llegó a OpenRouter, el lugar desde el que medimos modelos desde hace meses. Esa misma tarde lo pusimos a prueba con tres conjuntos de tareas, cada una con respuestas verificables sin subjetividad, y lo enfrentamos a tres competidores: Claude Fable 5.1 al mismo precio, Claude Opus 5 a la mitad de tarifa y Gemini 3.8 Flash, que entró en la oferta dos días antes y cuesta una fracción de lo que cuestan los demás.

Los tres conjuntos son: lengua polaca (seis tareas de declinación, numerales, mayúsculas, participios, comas y lenguaje llano, las mismas con las que medimos modelos desde agosto), código (tres funciones PHP ejecutadas con tests ocultos) y aguja en el pajar (cinco datos ocultos en 150.000 caracteres de texto polaco). Todo con temperatura 0,2, una sola ejecución, coste calculado desde la factura de la API. Advertencia inicial: una sola ejecución no es un benchmark con cientos de repeticiones, pero muestra cómo se comportaron los modelos en nuestro escritorio el primer día.

Lengua polaca: Gemini hizo pleno por una fracción del precio

La mayor sorpresa no tiene que ver con Astra. Gemini 3.8 Flash, un modelo de gama baja, fue el único que corrigió las mayúsculas completamente según la norma: presidente de Varsovia, oficina municipal como nombre no oficial y señor director en minúsculas, Ministerio de Digitalización y Navidad en mayúsculas. Astra y Fable 5.1 dejaron «Urzędzie Miasta« (oficina municipal), Opus 5 además «Pana Dyrektora» (señor director). Son exactamente los errores más frecuentes en los escritos oficiales polacos, así que no es de extrañar que los modelos los repliquen.

Astra resolvió las seis tareas y fue la más rápida de las cuatro, con una media de 6,5 segundos por respuesta. Para comparar, en el estreno de Fable 5.1 tres días antes fue precisamente el modelo de Anthropic el que se colgó con los numerales; esta vez se colgó Opus 5, en la tarea con lenguaje administrativo, y estuvo bloqueado hasta que se cortó la conexión tras cuatro minutos. Bloquearse en tareas lingüísticas cortas parece ser una característica de la familia Claude, no un accidente puntual.

Con la misma temperatura, los modelos no son repetibles. En la primera medición, Fable 5.1 escribió «urzędzie miasta« en minúscula, esta vez en mayúscula. La evaluación de una sola ejecución es, por tanto, la evaluación de esa ejecución, no del modelo en general.

Código: todos 19 de 19, es decir, las tareas eran demasiado fáciles

Tres funciones PHP: slug desde texto polaco (con transliteración de caracteres especiales), forma correcta del sustantivo tras numeral (archivo, archivos, con trampas tipo 12, 22, 101, 124) y fusión de intervalos superpuestos. Ejecutamos cada respuesta con tests ocultos: 19 aserciones en total.

Resultado: cuatro modelos, 19 de 19 en cada uno. Siendo honestos, es un fracaso del test, no un éxito de los modelos. Tareas que hace un año todavía podían sorprender (los numerales polacos son una trampa clásica), hoy las resuelve sin error también el modelo más barato del conjunto. Las diferencias quedaron solo en la factura: Gemini 3.8 Flash 0,014 dólares por tres tareas, Opus 5 0,039, Astra 0,040, Fable 5.1 0,048. El próximo test de código tendrá que ser significativamente más difícil para medir algo.

Aguja en el pajar: todos acertaron, pero las facturas difieren veinte veces

En 150.000 caracteres de texto polaco insertamos cinco datos inventados (código de reserva, frecuencia, número de pasillo, contraseña con caracteres especiales, tiempo de envío) en diferentes lugares, desde el tres por ciento hasta el noventa y seis por ciento de la longitud, e hicimos cinco preguntas.

Todos encontraron todo, así que empate cualitativo. Lo interesante es la columna de tokens: el mismo texto polaco son 45.882 tokens en Astra y 43.350 en Gemini, pero 73.063 en ambos modelos Claude. El tokenizador de Anthropic divide el polaco en casi un 60 por ciento más de fragmentos. Con una tarifa idéntica por millón de tokens, esto significa que por el mismo trabajo en polaco Fable 5.1 cuesta realmente más que Astra, aunque la tarifa de ambos parezca igual. Este «impuesto tokenómico» lo calculamos desde hace tiempo en la calculadora de costes, y aquí se ve en una sola tarea: 0,58 dólares en Astra, 0,73 en Fable, 0,03 en Gemini.

Qué conclusiones sacamos

Primero, Astra es la más rápida en estas tareas y no se colgó ni una vez, lo que tras las experiencias con la familia Claude tiene para nosotros peso práctico. Segundo, en lengua polaca no es mejor que los modelos más baratos: cometió el mismo error que Fable 5.1 y perdió frente a Gemini 3.8 Flash, que costó veinte veces menos. Tercero, las ventajas de Astra de los benchmarks oficiales, es decir, matemáticas, razonamiento abstracto y ciberseguridad, no aparecen en absoluto en el trabajo editorial cotidiano en polaco, así que este test no las mide ni pretende medirlas.

La conclusión para quien escribe y edita en polaco es la misma que sacamos en el test de Fable 5.1: la gama más cara no da ventaja en este trabajo, y entre los modelos baratos ha aparecido un candidato que lo hace sin errores. Para quien necesita matemáticas, agentes y tareas de investigación largas, este test no dice nada y hay que esperar a mediciones independientes. Los datos completos del modelo los hemos recopilado en la guía sobre GPT-6 Astra.

El método y las respuestas en bruto de todos los modelos están registrados; si quieres verlos o proponer tareas más difíciles para la siguiente ronda, escríbenos.

// sigue leyendoSWE-Flux: los LLM no entienden cómo funciona el códigoRevistaMicrosoft publica un código de conducta para sus modelos de IA con prohibiciones absolutas contra ciberataques y deepfakesNoticiasLa deuda técnica no tiene techo: el código siempre puede empeorarNoticias