GPT-6 Astra para programadores: qué dicen los tests de código

👁 120 lecturas

Para un programador, el lanzamiento de un nuevo modelo se reduce a una pregunta: ¿hará mejor lo que hace mi modelo actual, y por cuánto? La respuesta de los tests publicados con el lanzamiento de GPT-6 Astra es menos clara de lo que sugiere el comunicado, y vale la pena desglosarla.

Tres tests, tres imágenes diferentes

En Terminal-Bench 4.0, que mide el trabajo en línea de comandos con tareas reales, Astra obtiene 57,7 puntos. Claude Fable 5.1 tiene 55,8, Claude Opus 5 52,3, el anterior Fable 5 42,0, y GPT-5.6 Sol 37,3. La ventaja sobre el competidor directo es de menos de dos puntos, pero el salto respecto a su propio predecesor es enorme: de 37,3 a 57,7.

En DeepSWE v1.1, el test de corrección de errores en repositorios reales, Astra obtuvo 74,1 por ciento frente al 72,7 por ciento de Sol. Hay mejora, pero no es grande. A este nivel de dificultad, una diferencia de punto y medio significa unas pocas tareas de cada cien.

Y finalmente FrontierCode 1.1 en la variante ampliada: Astra 64,5 por ciento, Claude Fable 5 64,9 por ciento. El modelo de hace casi tres meses, al mismo precio, sale un pelo mejor.

Qué no dicen estos números

Los tests miden tareas cerradas: hay un error que corregir, hay un comando que ejecutar, hay un resultado que verificar. El trabajo diario con código es en su mayoría otra cosa: leer código ajeno, decisiones de arquitectura, conversaciones sobre qué no hacer en absoluto. Ninguno de estos tests mide eso y las diferencias entre modelos suelen ser distintas a las de la tabla.

Segunda cosa: precios. Astra cuesta 10 y 50 dólares por millón de tokens, Sol 2 y 10. Una ventaja de punto y medio en corrección de errores con una diferencia de cinco veces en el precio solo es un argumento cuando esas pocas tareas porcentuales que Sol no hará cuestan más que el sobreprecio por todas las demás.

Dónde Astra realmente cambia las reglas para el programador

Dos lugares. El primero es el contexto largo: en el test de búsqueda de información en textos de medio millón a un millón de tokens, Astra tiene 96,3 por ciento frente al 73,8 de su predecesor. Esta es la diferencia entre meter un repositorio completo en el contexto y confiar en que el modelo no pierda nada, y dividirlo en trozos. El segundo es el trabajo agéntico: en el test de automatización de tareas profesionales Astra tiene 41,4 puntos frente a 31,4 de Fable 5.1 y 18,1 de Sol, y en OSWorld, el test de control de ordenador, 72,6 por ciento frente a 65,7.

Si tu trabajo son sesiones largas de agente sobre código extenso, Astra es el primer modelo que lo hace claramente mejor que el resto. Si son preguntas individuales y correcciones rápidas, un modelo más barato hará lo mismo, y la factura será cinco veces menor.

La tabla completa de tests con comparación con la competencia está en el texto sobre los benchmarks de Astra, y todos los datos del modelo en la guía.

// sigue leyendo¿Puedo ganar dinero con música de Suno? Qué dicen los términosRevistaKandinsky 6 y Wan 2.2: vídeos con una influencer de IABenchmarksModel de decisión vs. LLM: coste de un millón de clasificacionesBenchmarks