Gemini 3.8 Flash: test de ventana de contexto con texto largo

👁 115 lecturas

Todos los fabricantes presumen hoy de ventanas de contexto de un millón de tokens. Suena como una promesa de que puedes meter un libro entero al modelo y preguntarle por detalles. Decidí comprobar si funciona y empecé con cautela: no desde un millón, sino desde veinticinco mil tokens, es decir, aproximadamente el tres por ciento de la ventana prometida.

Ya a este nivel, dos modelos de cinco fallaron. Uno no encontró la frase oculta, el otro no respondió en dos ocasiones, a pesar de esperar cinco minutos.

Cómo lo probamos

Construimos un texto largo en polaco a partir de artículos propios publicados, es decir, con lenguaje natural, no con relleno generado. Noventa mil caracteres de texto continuo.

En medio ocultamos una frase que no tiene razón de estar en ese texto: información sobre un código de servicio para una caja en el ático. Insertamos la frase a tres profundidades: después del diez por ciento del texto, en la mitad y después del noventa por ciento. Luego pedimos al modelo que proporcionara solo el código.

Es una prueba de una sola cosa: si el modelo realmente leyó todo o solo el principio y el final.

Resultados del test

Todo el test costó 1,31 dólares.

Tres de cinco aprobaron pero pagamos muy diferente por ello

Gemini 3.8 Flash, Kimi K3 y GPT-6 Astra encontraron la frase oculta en cada profundidad. La diferencia está en la factura.

GPT-6 Astra cobró 1,00 dólares por tres preguntas. Gemini 3.8 Flash hizo exactamente lo mismo por 0,059, es decir, diecisiete veces más barato. En una sola pregunta son treinta y tres centavos de diferencia. En una herramienta que busca documentos a diario, es la diferencia entre una factura que no se nota y una que hay que justificar.

Astra tiene, eso sí, una ventaja que en trabajo en vivo puede ser decisiva: respondió en dos segundos, el más rápido de los cinco, e independientemente de dónde ocultamos la frase.

GLM 5.3 Flash no respondió dos de tres veces

El modelo que ganó nuestro test de gramática polaca aquí salió peor de todos. Con la frase oculta al diez por ciento y al noventa por ciento superó el límite de cinco minutos y no devolvió nada. Solo encontró la insertada exactamente en la mitad.

Es la tercera vez que este mismo modelo nos falla de la misma manera. Antes quemó todo el límite de tokens en razonamiento y devolvió cero palabras al pedirle un artículo, y en el test de nueve tareas devolvió respuesta vacía tres veces y necesitó 353 segundos.

La causa es siempre la misma: en este modelo no se puede desactivar el razonamiento. Con una tarea corta solo sube la factura. Con una entrada más larga puede bloquear la respuesta completamente.

La conclusión es incómoda, pero hay que sacarla: un modelo puede ser muy bueno en polaco y al mismo tiempo no servir para nada que trabaje con texto largo.

Lo más interesante salió de paso: el mismo texto, diferente número de tokens

Enviamos a todos los modelos un texto idéntico. Cada uno lo contó de forma diferente, porque cada uno divide el polaco en tokens a su manera.

Este es el coste oculto del que nadie habla al comparar tarifas. Kimi K3 necesita para el mismo texto en polaco un cuarenta y tres por ciento más de tokens que Gemini. Con una tarifa idéntica por millón de tokens, esto significa una factura un cuarenta y tres por ciento más alta por exactamente el mismo trabajo.

El polaco está aquí en peor situación que el inglés, porque los modelos se entrenan principalmente con textos en inglés, y nuestras terminaciones flexivas se dividen en más fragmentos. Cuanto peor es la división, más pagas por la misma frase.

Una sorpresa que no sabemos explicar

DeepSeek V4 Flash no encontró la frase oculta al diez por ciento del texto, es decir, cerca del principio, pero la encontró sin problema en la mitad y al final. Es al revés de lo que sugiere la intuición, porque el principio suele ser lo más fácil.

No tenemos explicación para esto y no vamos a inventarla. Un intento por profundidad es demasiado poco para hablar de una regularidad. Lo anotamos como un hecho de esta medición, no como una regla.

Qué no dice este test

No probamos un millón de tokens, solo veinticinco mil. No sabemos, por tanto, cómo se comportan estos modelos con la ventana completa, y nadie lo sabe hasta que paga por comprobarlo.

Tampoco probamos la comprensión, solo la localización. Encontrar una frase es la tarea más simple posible en un texto largo. Preguntas más difíciles, que requieran conectar información de varios lugares, saldrían peor en todos.

Y algo que hay que recordar en cada comparación así: el precio de la ficha del modelo no tiene por qué ser el precio que pagas, porque el mismo modelo lo alojan una docena de empresas con sus propias tarifas.

Qué conclusiones prácticas sacamos

Para buscar en documentos en polaco, usa Gemini 3.8 Flash. Todos los aciertos, tres segundos y una factura diecisiete veces más baja que el modelo más caro con el mismo resultado. Además, la mejor división del polaco en tokens, lo que reduce el coste incluso antes de hacer la pregunta.

No des por hecho que la ventana de contexto declarada funciona. Compruébalo con tu propio material, ocultando en él algo que no debería estar. Lleva un cuarto de hora y resuelve más que todas las tablas de los fabricantes.

Cuenta tokens, no caracteres. Al elegir un modelo para trabajar con textos en polaco, la diferencia en la división puede costar más que la diferencia en la tarifa.

Cuánto cuesta realmente trabajar con estos modelos escribiendo, no leyendo, lo medimos por separado en el texto sobre cuánto cuesta un artículo escrito por IA.

// sigue leyendoVentana de contexto de GPT-6.1 Sol: qué significan 1,050,000 tokensNoticiasVentana de contexto de GLM 5.3 Prime: 1M tokensNoticiasVentana de contexto de GPT-6 Sol: capacidad y uso prácticoNoticias

Kinetyra