Gemini 4 Argon para programar: pruebas y benchmarks

👁 119 lecturas

Gemini 4 Argon superó las 51 pruebas unitarias de mis cuatro tareas de programación: me costó unos 0,025 € y tardé 25 segundos en total. Ningún modelo insignia lo hizo por menos ni más rápido. Sin embargo, los benchmarks de programación ofrecen una imagen más matizada: según Google, Argon lidera en DeepSWE, pero queda por detrás en FrontierSWE y Terminal-Bench 4.0; en la clasificación independiente Arena Code WebDev ocupa el 8.º puesto. Aquí tienes mi prueba, los datos de los benchmarks y las opciones disponibles para programar con Argon. Encontrarás más información sobre el modelo en la guía de Gemini 4 Argon.

Cuatro tareas y 51 pruebas

Las tareas son breves, pero cada una incluye una trampa en la que los modelos pueden fallar:

• Validación de NIP: un identificador fiscal polaco escrito con guiones, espacios y el prefijo PL; suma de control con pesos; un resto de 10 indica que el NIP no es válido.
• Fusión de intervalos: hay que fusionar los intervalos que se tocan por sus extremos e invertir los que están escritos al revés, como (5, 2).
• Días laborables en Polonia: años 2024-2030, festivos móviles y Nochebuena, que solo es festivo desde 2025.
• Importes en letras para facturas: declinación polaca de las palabras para la moneda polaca y sus centavos, redondeo al centavo y cantidades de hasta mil millones.

Cómo escribe código Argon

Argon devolvió solo el código, en un bloque y sin introducción, con tipos y comentarios en polaco. La parte más interesante es la lista de festivos de la tarea sobre días laborables: ahí fue donde Gemini 3.8 Flash se equivocó el día anterior. El siguiente código conserva los nombres de las funciones, pero sus comentarios se han traducido del original polaco:

def pobierz_swieta(rok: int) -> set[datetime.date]:
    wielkanoc = oblicz_wielkanoc(rok)
    swieta = {
        datetime.date(rok, 1, 1),   # Año Nuevo
        datetime.date(rok, 1, 6),   # Epifanía
        wielkanoc,                  # Domingo de Pascua
        wielkanoc + datetime.timedelta(days=1),   # Lunes de Pascua
        datetime.date(rok, 5, 1),   # Día del Trabajo
        datetime.date(rok, 5, 3),   # Día de la Constitución polaca
        wielkanoc + datetime.timedelta(days=49),  # Pentecostés (domingo)
        wielkanoc + datetime.timedelta(days=60),  # Corpus Christi (jueves)
        datetime.date(rok, 8, 15),  # Asunción de la Virgen María
        datetime.date(rok, 11, 1),  # Todos los Santos
        datetime.date(rok, 11, 11), # Día de la Independencia de Polonia
        datetime.date(rok, 12, 25), # Navidad
        datetime.date(rok, 12, 26), # Segundo día de Navidad
    }
    # Según la legislación polaca vigente en 2026 (ley de 2024),
    # Nochebuena, el 24 de diciembre, es festivo desde 2025.
    if rok >= 2025:
        swieta.add(datetime.date(rok, 12, 24))
    return swieta

El código calcula la Pascua con el algoritmo de Meeus/Jones/Butcher y usa solo la biblioteca estándar, como pedí. Gemini 3.8 Flash marcó Nochebuena como festivo en todos los años y falló la prueba de diciembre de 2024. Para expresar importes en letras, Argon añadió por su cuenta un ValueError para las cantidades fuera de rango y convirtió correctamente 12,13 unidades de la moneda polaca original en «doce unidades de la moneda polaca y trece centavos» (traducción de la respuesta original en polaco; la prueba se realizó en polaco). En ese mismo caso, Muse Wonder escribió [texto corrupto en la prueba original en polaco], una palabra inexistente. Las expresiones citadas son traducciones de las respuestas originales en polaco; la prueba se realizó en polaco.

Argon frente a otros modelos en las mismas tareas

Entre los modelos que no cometieron errores, Argon cuesta casi 3 veces menos que Opus 5.5 y 4,6 veces menos que GPT-6 Astra. Conviene tener en cuenta que son funciones pequeñas, de unas pocas decenas de líneas. Esta prueba permite comprobar si el modelo maneja bien las particularidades polacas y evita errores básicos, pero no indica cómo responderá ante un repositorio grande, varios archivos o una sesión larga de un agente en el terminal. Para eso están los benchmarks.

Benchmarks de programación según Google

En su tabla del 30 de septiembre, Google muestra los resultados de Argon con el nivel de razonamiento más alto. En tres pruebas de programación, el balance es desigual:

En la misma tabla, Claude Fable 5.1 obtiene un 67,4% en DeepSWE, un 56,3% en FrontierSWE y un 57,9% en Terminal-Bench. En el conjunto de la tabla de Google, Argon lidera en 13 de las 19 pruebas. Sin embargo, queda por detrás de sus competidores en dos de las tres pruebas de programación y, en Terminal-Bench 4.0, pierde frente a Opus 5.5 por 9 puntos porcentuales.

Qué dicen las evaluaciones independientes

• Artificial Analysis, Terminal-Bench 4.0: Argon, 57%; Claude Sonnet 5.5, 64%; Claude Opus 5.5, 60%; GPT-6 Astra, 59%. La evaluación independiente confirma que Argon queda por detrás de los modelos de Anthropic y OpenAI en tareas de terminal.
• Arena, Code Arena: WebDev: 8.º puesto, con 1679 puntos. Como contraste, el mismo Argon (High) ocupa el primer puesto en Text Arena con 1525 puntos, en un resultado preliminar.

Bloomberg: dudas entre los empleados de Google

El 30 de septiembre, Bloomberg, citado por Techmeme, informó de que, según empleados de Google, el modelo rinde peor en algunas tareas de programación reales de lo que sugieren los benchmarks. Google lo cuestiona. Mi pequeña prueba no resuelve la discrepancia: Argon escribe sin problemas funciones cortas. Sin embargo, los resultados independientes de Terminal-Bench y el 8.º puesto en WebDev encajan mejor con la versión de Bloomberg que con los mejores datos de la tabla de Google.

Dónde programar con Argon

• Google Antigravity (aplicación de escritorio y CLI): Argon solo está incluido en el plan Google AI Ultra. Google AI Pro da acceso a Antigravity, pero no a Argon. Los investigadores pueden obtener gratis durante 6 meses el nivel más alto de Antigravity. Consulta la guía Antigravity: cómo empezar. Comprueba las condiciones y la disponibilidad con el proveedor.
• Gemini API: identificador gemini-4-argon, disponible para cualquier cuenta de pago. Hasta el 30 de noviembre de 2026 cuesta aproximadamente 1,78 €/8,91 € por millón de tokens (2/10 USD); desde el 1 de diciembre, aproximadamente 3,56 €/17,82 € (4/20 USD). El límite es compartido: 1 millón de tokens entre la entrada y la salida. Según 9to5Google, usar Argon en la interfaz de AI Studio y en Android Studio (Canary) requiere Ultra.
• OpenRouter: google/gemini-4-argon, los mismos precios y un contexto de 1 048 576 tokens. Lo usé para la prueba y el 13 de octubre funcionaba sin problemas desde Polonia. Puede servirte en cualquier herramienta que acepte una clave de OpenRouter. Esa comprobación de acceso se hizo desde Polonia en esa fecha; consulta al proveedor la disponibilidad actual en tu país.

Los importes en euros son estimaciones, no precios locales de compra. Conversión de USD a EUR con el tipo de referencia del BCE del 19-10-2026 (1 EUR = 1,1225 USD): fuente del BCE.

Veredicto

Para escribir funciones sueltas, scripts y pequeñas correcciones, Argon es el modelo insignia más barato que he probado hasta ahora y no cometió ningún error. Para trabajar durante más tiempo con un agente en un repositorio y en el terminal, los benchmarks, también los independientes, apuntan más bien a Claude Opus 5.5. Si programas mediante API, merece la pena probar Argon con tu propio código antes del 30 de noviembre, mientras cuesta la mitad de su precio posterior. Puedes comparar otras opciones en la guía de IA para programar.

// sigue leyendoGemini 4 Argon no aparece en la app: qué comprobarGuíasGemini 4 Argon de Google DeepMind: IA para robótica con 87% en ERQANoticias¿Gemini 4 Argon merece la pena? Análisis objetivoGuías

Kinetyra