Gemini 4 Carbon a prueba: más de 50 tareas frente a Argon, Claude Fable 5.2 y GPT-6.1 Sol

👁 112 lecturas

El día en que Gemini 4 Carbon pasó a estar disponible para todo el mundo (10 de noviembre de 2026), lo sometí a más de 50 tareas y planteé las mismas a Claude Fable 5.2, GPT-6.1 Sol y Gemini 4 Argon. Todas las llamadas se hicieron a través de OpenRouter con los mismos ajustes, y cada respuesta se evaluó con pruebas unitarias, una plantilla de respuestas correctas o un verificador automático, no según mi impresión. Esto es lo que Carbon puede hacer, lo que cuesta y dónde falla.

Primero, los precios

Resultados con las mismas tareas

* El evaluador restó un punto por una forma gramatical correcta: fue un error suyo, el mismo para ambos modelos Gemini.

Lo que Carbon hizo bien

No se inventó las fuentes. Pedí 8 publicaciones revisadas por pares con DOI sobre cada uno de dos temas. Las 16 publicaciones de Carbon existen; las comprobé en Crossref, OpenAlex y catálogos de bibliotecas. Un DOI no llevaba a ninguna publicación y un informe tenía el año equivocado. En octubre, Argon se inventó 2 de las 16 con la misma petición.

Lee los documentos de forma selectiva. En la tarea de agente, Carbon disponía de tres herramientas (listar documentos, leer un documento y ejecutar Python) y seis documentos, uno de ellos una tarifa de 2025 ya desactualizada. Descartó el archivo obsoleto solo por su título, leyó los cuatro vigentes, escribió una función de costes, la ejecutó una vez y respondió exactamente en el formato solicitado. 54 segundos, 0,03 USD.

Piensa como un analista. A partir de 92 líneas de un registro de acceso, identificó la IP del ataque de fuerza bruta, la cuenta comprometida, el segundo exacto del inicio de sesión exitoso, una exportación CSV 20 segundos después y un ataque de salto de directorios que funcionó mediante ..%2f codificado en la URL. No confundió el intento bloqueado de acceder a /etc/shadow con una filtración y clasificó como falsa alarma el caso de un usuario normal que había cometido una errata al escribir su contraseña.

Escribe código cuidado. El motor de hoja de cálculo (fórmulas, rangos, SUM/MIN/MAX/AVG/IF, cinco códigos de error, detección de ciclos y una cadena de 900 celdas sin alcanzar el límite de recursión de Python) quedó en 639 líneas, con su propio analizador sintáctico y una evaluación basada en generadores en lugar de recursión. Superó las 34 pruebas.

Dónde falla

Puede agotar todo el límite de tokens pensando. En una tarea de expresiones regulares con esfuerzo medio, Carbon consumió los 16,000 tokens en razonamiento y no devolvió código (0,16 USD). Con un límite de 64,000, la resolvió en 248 segundos por 0,17 USD. Con esfuerzo bajo, resolvió la misma tarea en 13 segundos por 0,007 USD - 25 veces más barato, con el mismo resultado de 13/13. En la hoja de cálculo, con esfuerzo alto, gastó 47,997 tokens pensando y no devolvió nada.

No se comprueba a sí mismo en la API sin herramientas. Al parchear un módulo vulnerable con esfuerzo medio, las correcciones eran acertadas (SQL parametrizado, PBKDF2 con 600,000 iteraciones, una sal aleatoria y comparación en tiempo constante), pero una línea tenía un espacio de más. Python rechazó el archivo y fallaron las 14 pruebas. Con esfuerzo alto, superó las 14/14 en 308 segundos por 0,31 USD.

Es lento. En las mismas tareas, Argon fue entre 1,4 y 8 veces más rápido, con una precisión similar.

Cuál elegir

• Gemini 4 Carbon para trabajos en los que los errores cuestan más que el tiempo: revisiones de seguridad, investigación que exige fuentes, búsqueda de un fallo difícil o coordinación de otros agentes. Empieza con esfuerzo bajo o medio y mantén alto el límite de salida.
• Gemini 4 Argon para redacción cotidiana, resúmenes y código rutinario. El mismo precio por token, pero mucho más rápido.
• GPT-6.1 Sol si vigilas el gasto: es el más barato en la práctica y es rápido.
• Claude Fable 5.2 si necesitas código que funcione sin revisarlo: no cometió ningún desliz en ninguna tarea, pero su precio por token es cuatro veces mayor.

Los precios, el acceso y los resultados de las pruebas del propio Google están en mi guía de Gemini 4 Carbon.

Kinetyra