Gemma 4 31B en local con RTX 4090: VRAM, velocidad y análisis

👁 115 lecturas

Gemma 4 31B de Google es el modelo denso con pesos abiertos más potente que cabe por completo en una sola tarjeta RTX 4090. Lo hemos ejecutado en Ollama en nuestro equipo de pruebas: genera unos 42 tokens por segundo, obtuvo un 9,5 sobre 10 en nuestras pruebas en polaco, pero ocupa casi los 24 GB de memoria de la gráfica y resulta implacable con discos lentos. Es la primera entrega de nuestra serie sobre modelos abiertos en local para tu ordenador.

Por qué elegimos Gemma 4 31B para empezar la serie

Cada semana seleccionamos un modelo abierto, lo ejecutamos en una RTX 4090 (24 GB, Windows 11) y medimos los mismos aspectos: proceso de instalación, tiempos de carga, velocidad, consumo de memoria, rendimiento lingüístico y términos de licencia. Al repasar las novedades recientes para esta primera entrega, la mayoría quedaron descartadas:

• Ling 3.1 Flash: cuenta con 560.000 millones de parámetros y por ahora no dispone de pesos abiertos (lo detallamos en nuestro artículo sobre Ling 3.1 Flash).
• Mistral Small 4: pese a su nombre, integra 119.000 millones de parámetros; incluso con una cuantización muy agresiva no entra en 24 GB.
• GLM 5.3: carece de variante ligera «Air», y el más pequeño de la familia, GLM-5.3 Flash, suma 320.000 millones de parámetros.
• Hy Image 3.5: Tencent únicamente ha habilitado acceso mediante API, sin pesos descargables.
• Qwen 3.8 27B: ya lo analizamos a fondo en nuestra comparativa de 7 modelos locales.

Gemma 4 31B lleva disponible desde la primavera, pero aún no habíamos publicado mediciones directas en hardware real. Se trata del modelo más grande de la serie Gemma 4 y el único denso (completo) capaz de operar en una sola tarjeta gráfica de consumo.

Ficha técnica del modelo

La variante QAT se entrenó contemplando específicamente la cuantización a 4 bits, por lo que sufre una degradación de calidad notablemente menor que una cuantización estándar a 4 bits. Para una gráfica de 24 GB es la única opción sensata: la compilación q8 sobrepasa los 30 GB.

Nuestras pruebas de rendimiento en una RTX 4090

Una velocidad de 41 a 43 tokens por segundo supera la velocidad habitual de lectura humana. A modo comparativo: en nuestra comparativa de modelos locales, la versión reducida Gemma 4 12B alcanzaba 104 tok/s en 8 GB, mientras que Qwen 3.8 27B rendía a la mitad y requería 17 GB. La versión 31B es la más lenta de este grupo, pero mantiene una fluidez perfecta para diálogo interactivo.

Lección clave: no compartas la tarjeta con otra aplicación

Al capturar las pantallas del test, iniciamos en segundo plano una tarea de generación de imágenes en ComfyUI en esa misma gráfica. La memoria de vídeo quedó completamente saturada (23,9 de los 24 GB disponibles), Windows comenzó a paginar memoria hacia la RAM convencional del sistema y la tasa de generación se hundió de 42 a 2,7 tok/s, llegando en una prueba sucesiva a solo 0,5 tok/s. El modelo 31B no deja margen de maniobra: resulta incompatible con la ejecución simultánea de generadores de imagen y un navegador con múltiples pestañas abiertas puede apropiarse de varios cientos de megabytes críticos.

Pruebas lingüísticas: 5 tareas en polaco

Probamos el modelo en polaco a través de cinco tareas complejas para evaluar su dominio gramatical y de razonamiento fuera del inglés. Aplicaremos estas mismas pruebas a cada modelo de la serie para facilitar la comparativa, puntuando cada una de 0 a 2 puntos.

Encontramos dos particularidades formales: el modelo abusa de estructuras Markdown (listas con asteriscos, negritas frecuentes) y en la corrección textual intercaló flechas con formato LaTeX ($rightarrow$), incompatibles con interfaces de chat sin renderizador matemático. En el modo de pensamiento (activo por defecto en ollama run), razona internamente en inglés antes de redactar la respuesta definitiva en el idioma solicitado.

Temat: Przeprosiny za opóźnienie w dostawie zamówienia

Szanowny Panie Grzegorzu,

chciałbym najmocniej przeprosić za 5-dniowe opóźnienie w dostawie Pana krzesła biurowego do Szczebrzeszyna. Bardzo nam przykro z powodu zaistniałej sytuacji.

W ramach rekompensaty przygotowaliśmy dla Pana kod rabatowy o wartości 10% na kolejne zamówienie w naszym sklepie: RABAT10.

Mamy nadzieję, że produkt spełni Pana oczekiwania, a ten gest pozwoli nam zachować Pana zaufanie. W razie dodatkowych pytań pozostaję do dyspozycji.

Z poważaniem,

[Twoje Imię i Nazwisko]
[Nazwa Firmy]

Oto poprawiony tekst:

„Wczoraj poszedłem do sklepu, żeby kupić chleb, ale okazało się, że był zamknięty. W poniedziałek na pewno pójdę jeszcze raz, bo mam nadzieję, że będzie otwarty. Moja koleżanka, która tam pracuje, mówiła, że w ogóle nie zamykają przed 18.”

Lista poprawek:
* poszłem $rightarrow$ poszedłem (błąd fleksyjny)
* sklepu żeby $rightarrow$ sklepu, żeby (brak przecinka przed spójnikiem)
* okazało się że $rightarrow$ okazało się, że (brak przecinka przed spójnikiem)
* napewno $rightarrow$ na pewno (pisownia rozdzielna)
* pójde $rightarrow$ pójdę (brak polskiego znaku)
* nadzieje $rightarrow$ nadzieję (brak polskiego znaku)
* że będzie otwarte $rightarrow$ że będzie otwarty (błąd składniowy - sklep jest rodzaju męskiego)
* koleżanka która $rightarrow$ koleżanka, która (brak przecinka przed zdaniem podrzędnym)
* pracuje mówiła $rightarrow$ pracuje, mówiła (brak przecinka zamykającego zdanie podrzędne)
* wogóle $rightarrow$ w ogóle (pisownia rozdzielna)

Oto wyliczenia dla poszczególnych pozycji:

*   Laptop: netto 4200,00 $rightarrow$ VAT (23%): 966,00
*   Książka: netto 59,90 $rightarrow$ VAT (5%): 3,00
*   Usługa szkolenia: netto 1500,00 $rightarrow$ VAT (23%): 345,00

Suma netto: 5759,90
Suma VAT: 1314,00
Suma brutto: 7073,90

BRUTTO = 7073,90

1) Zielona Góra i Gorzów Wielkopolski.
2) Bolesław Prus.
3) 2499 m n.p.m., Rysy.
4) 1410.
5) 16.

Oto wyjaśnienia tych frazeologizmów napisane prostym językiem:

1. Wyjść jak Zabłocki na mydle
*   Znaczenie: Oznacza ponieść klęskę, sromotnie przegrać lub zostać z niczym, mimo że miało być inaczej (często po tym, jak ktoś wierzył w łatwy zysk).
*   Przykład: *Kupiłem ten tani telefon przez internet, ale okazał się zepsuty i sprzedawca nie chce oddać pieniędzy - wyszedłem jak Zabłocki na mydle.*

2. Rzucać grochem o ścianę
*   Znaczenie: Mówić do kogoś, kto zupełnie nie słucha, nie rozumie lub ignoruje nasze argumenty i prośby.
*   Przykład: *Tłumaczę synowi już godzinę, że musi posprzątać pokój, ale to jak rzucanie grochem o ścianę.*

3. Mieć muchy w nosie
*   Znaczenie: Być w złym humorze bez wyraźnego powodu, być marudnym lub poirytowanym.
*   Przykład: *Nie podchodź teraz do Anny, bo od samego rana ma muchy w nosie i na wszystko się gniewa.*

Licencia: qué permite su uso comercial

Gemma 4 se distribuye bajo licencia Apache 2.0. Representa un avance notable frente a Gemma 3, que dependía de condiciones de uso propietarias de Google con prohibiciones específicas. En la práctica implica que:

• Puedes utilizar el modelo con fines comerciales, incluso integrado en aplicaciones para clientes finales.
• Puedes realizar ajustes finos (fine-tuning) y distribuir versiones modificadas siempre que mantengas los avisos de licencia.
• No pagas ninguna tarifa a Google: tu gasto se limita al hardware y al consumo eléctrico.

Cómo instalarlo y ejecutarlo paso a paso

1. Instala Ollama desde ollama.com (hemos empleado la versión 0.40.1). Si almacenas tus modelos en otra unidad, define la variable de entorno OLLAMA_MODELS (en nuestro caso D:AIollama). Puedes consultar los detalles en nuestra guía de Ollama.
2. Descarga el modelo (~18 GB):

   ollama pull gemma4:31b-it-qat

3. Si almacenas los modelos en un disco lento, amplía el tiempo de espera. Ollama aplica un límite de 5 minutos por defecto. En nuestro disco USB la lectura tardó entre 8 y 14 minutos, provocando el fallo «timed out waiting for llama-server to start». Para solucionarlo en PowerShell (cerrando previamente Ollama desde la bandeja del sistema):

   $env:OLLAMA_LOAD_TIMEOUT = "30m"
   ollama serve

   La mejor alternativa técnica sigue siendo alojar este modelo en una unidad interna NVMe.

4. Inicia y comprueba el rendimiento desde otra ventana:

   ollama run gemma4:31b-it-qat --verbose "Explica en tres frases en qué consiste la cuantización QAT."

   El modificador --verbose añade al cierre el «eval rate» en tokens por segundo. Para omitir la fase de razonamiento interno, añade --think=false.

5. Revisa la ocupación de la GPU:

   ollama ps
   nvidia-smi

   En la columna PROCESSOR debe figurar «100% GPU». Si aparece repartido entre CPU y GPU, disminuye la ventana de contexto o cierra procesos que ocupen VRAM.

6. Configuración de contexto mediante la API (método empleado para nuestras mediciones de tabla):

   curl http://127.0.0.1:11434/api/chat -d "{"model":"gemma4:31b-it-qat","messages":[{"role":"user","content":"Hola"}],"think":false,"options":{"num_ctx":32768}}"

7. Descarga el modelo de la memoria al terminar:

   ollama stop gemma4:31b-it-qat

A quién le conviene usar Gemma 4 31B en local

• Sí, si cuentas con una gráfica de 24 GB (RTX 4090, 3090 o 5090) y requieres máxima calidad de generación sin transferir información confidencial a servidores externos.
• Sí, para tratamiento de documentación privada, revisiones de estilo o tareas de síntesis: sus 42 tok/s ofrecen agilidad suficiente para flujos de trabajo diarios.
• No, si dispones de 16 GB de VRAM o menos: es más recomendable optar por Gemma 4 12B, que demostró un comportamiento sobresaliente en pruebas de texto y resulta unas 2,5 veces más veloz.
• No, si planeas generar vídeo o imágenes al mismo tiempo en la misma tarjeta.

Hemos analizado el resto de alternativas de código abierto en nuestra guía sobre IA en local, y detallamos el reparto de memoria según la escala del modelo en nuestro artículo sobre cuánta VRAM necesitas.

Preguntas frecuentes

¿Cuánta VRAM necesita Gemma 4 31B?

En su compilación QAT (cuantizada a 4 bits), Ollama consume 19,2 GB con un contexto de 8.000 tokens y 19,3 GB con 32.000 tokens. El uso global del sistema en GPU alcanzó picos de 24,0 GB, por lo que exige en la práctica una tarjeta con 24 GB de memoria de vídeo dedicada sin otros procesos en paralelo.

¿Funciona bien Gemma 4 31B en una RTX 4090?

Sí, se ejecuta íntegramente en la GPU con un rendimiento sostenido de 40 a 43 tokens por segundo. La condición imprescindible es que ninguna otra aplicación sature la VRAM: al compartir recursos con ComfyUI la velocidad se redujo drásticamente hasta cifras de 0,5 a 2,7 tok/s.

¿Qué tal se desenvuelve Gemma 4 31B en tareas de idiomas complejos?

Ofrece un rendimiento sobresaliente: obtuvo un 9,5 sobre 10 en nuestras cinco pruebas en polaco, resolviendo con precisión cálculos matemáticos y datos factuales. Su único desliz fue prescindir del apellido en la redacción del correo formal.

¿Se puede utilizar comercialmente Gemma 4?

Sí, la licencia Apache 2.0 autoriza su aprovechamiento comercial, la adaptación mediante ajuste fino y la redistribución del software.

¿Por qué falla Ollama al cargar Gemma 4 31B?

El motivo habitual radica en una velocidad de disco reducida: el tiempo límite de espera por defecto es de 5 minutos. Conviene definir OLLAMA_LOAD_TIMEOUT=30m o migrar los pesos a un SSD NVMe. Otra causa frecuente es la falta de VRAM libre, lo que exige cerrar cualquier otra aplicación que emplee aceleración por hardware.

¿Conviene elegir Gemma 4 31B o 12B?

Para tarjetas de 24 GB, el modelo 31B es la elección óptima cuando prima la profundidad analítica. Para hardware con menos memoria o cuando la prioridad es la tasa de generación, la versión 12B resulta más práctica (alcanzó 104 tok/s ocupando 8 GB en nuestros análisis previos).

// sigue leyendoWan 2.2 en local: vídeo con IA en tu tarjeta - tiempo, VRAMBenchmarksQwen3.6-27B en local con una RTX 4090: qué cabeGuíasInfluencer IA en local: 5 personajes sin aspecto plásticoRevista

Kinetyra