Comparativa LLM: 4 modelos abiertos a examen con tareas reales

👁 114 lecturas

En mi comparativa de cuatro LLM de pesos abiertos, DeepSeek V4.1 Flash 1017 y Nemotron 3.5 Super VL resolvieron las 12 tareas, Muse Spark Open se quedó en 11/12 y Step 5 Preview en 9/12. La prueba la hice el 19 de octubre de 2026 por API, con tareas cortas en polaco, temperatura 0 y un límite común de 6000 tokens. Ningún modelo dio una respuesta equivocada: los cuatro fallos fueron respuestas vacías porque el modelo agotó el límite razonando. DeepSeek fue además el más rápido y el más barato, con 0,0006 dólares por toda la batería.

Método: 12 tareas verificables, una sola pasada

Envié 48 solicitudes en total, 12 por modelo, sin repetir ninguna tarea. Los cuatro recibieron las mismas instrucciones y la misma configuración de generación. Un script comparó cada respuesta con comprobaciones definidas de antemano y guardó el tiempo, los tokens de salida, el coste, el texto devuelto y el veredicto. Qué es cada modelo, su tamaño y su licencia lo resumo en la guía de modelos de IA de pesos abiertos.

Elegí el polaco a propósito: es un idioma que casi nunca aparece en los benchmarks, con declinaciones y letras propias que obligan al modelo a algo más que traducir del inglés. Las tareas eran breves. Algunas tenían una única respuesta numérica; las de gramática y formato admitían varias soluciones válidas. El objetivo era ver si cada modelo entregaba un resultado aceptable con el mismo presupuesto de tokens.

• Calcular 37 por 48 menos 125.
• Dar el genitivo plural de «przyjaciel» (amigo).
• Contar cuántas veces aparece la letra «ż» en una frase en polaco.
• Extraer en JSON el número de identificación fiscal, el importe bruto y la fecha de una factura.
• Calcular el dígito de control de un documento de identidad polaco con los dígitos y pesos dados.
• Decir quién es el más joven en un acertijo de edades.
• Nombrar el día de la semana del 11 de noviembre de 1918.
• Escribir exactamente tres palabras en polaco, en minúsculas, sobre el otoño.
• Decir cuántos voivodatos (regiones administrativas) tiene Polonia.
• Pasar 2,5 horas a segundos.
• Corregir una frase en polaco con faltas de ortografía y puntuación.
• Continuar la serie 2, 6, 12, 20, 30.

Una advertencia sobre la API: peticiones sucesivas pueden acabar en infraestructuras distintas, y la temperatura 0 no elimina esa variación. Los tiempos reflejan las llamadas de ese día, no una comparación sobre el mismo hardware.

Resultados: DeepSeek V4.1 Flash, el más rápido y barato

Los importes son sumas redondeadas de los registros de uso. La ejecución completa costó 0,11081294 dólares, unos 11 céntimos. Es el coste de esta prueba concreta, no un presupuesto para otras cargas de trabajo.

La diferencia de verdad está en los tokens de salida: DeepSeek gastó 1283, Nemotron 3868, Muse 12 241 y Step 19 672. Esas cifras incluyen el razonamiento interno, no solo el texto visible, así que un modelo puede escribir poco y aun así consumir casi todo el margen.

Las medianas esconden esperas largas. La llamada más lenta tardó 2,4 segundos en DeepSeek, 11,7 en Nemotron, 126,3 en Muse y 230,1 en Step. En una aplicación interactiva esa cola pesa más que la media.

Los cuatro fallos fueron respuestas vacías

Muse Spark Open falló la conversión de horas a segundos (2,5 horas son 9000 segundos). Step 5 falló las tres palabras sobre el otoño, la pregunta de los voivodatos y la corrección ortográfica. En los cuatro casos el registro muestra una respuesta vacía y exactamente 6000 tokens de salida: el presupuesto se agotó durante el razonamiento, antes de llegar a la respuesta final.

No es lo mismo que equivocarse. Ninguno devolvió una cifra errónea o una frase mal construida; simplemente no entregaron nada utilizable. El registro no guarda el texto del razonamiento, así que no puedo decir por qué cada modelo se alargó tanto.

Un límite más alto o un nivel de razonamiento más bajo podría cambiar el resultado. No lo probé, y no doy por hecho que Muse o Step habrían acertado con más margen.

Por qué corregí la puntuación de la prueba de ortografía

La frase que había que corregir era «Wziąść parasol bo napewno bedzie padać» (en español, algo como «Coger paraguas porque seguro que va a llover», con tres faltas y sin coma). Mi comprobador esperaba el infinitivo corregido «wziąć» (coger, llevar) junto con «na pewno» (seguro) y «będzie» (va a). Muse, DeepSeek y Nemotron devolvieron otra cosa: «Weź parasol, bo na pewno będzie padać», es decir, «Coge el paraguas, que seguro que va a llover».

«Weź parasol» es un imperativo correcto y una corrección perfectamente válida para lo que pedía la instrucción. La di por buena, ajusté la regla y sumé un punto a esos tres modelos. La respuesta de Step seguía vacía, así que su nota no cambió.

El caso enseña algo más general: un evaluador automático que solo acepta una frase exacta penaliza respuestas válidas, sobre todo fuera del inglés. Prefiero documentar el cambio de criterio a sustituir los datos sin decirlo.

Otras comprobaciones eran flexibles a propósito. El analizador aceptó el JSON aunque viniera dentro de un bloque de código markdown, y el validador del dígito de control aceptó la cifra final aunque la respuesta tuviera más texto. Las notas miden soluciones válidas, no un cumplimiento milimétrico del formato.

Qué sirve de este test si trabajas en español u otro idioma

El dato más sólido es que DeepSeek V4.1 Flash 1017 y Nemotron 3.5 Super VL completaron la batería sin respuestas vacías, mientras que Muse Spark Open perdió un punto y Step 5 Preview tres, siempre por quedarse sin margen. La lección de método: el presupuesto de razonamiento y un evaluador adaptado al idioma importan tanto como la precisión, y la ficha oficial de un modelo no garantiza ninguna de las dos cosas.

No evalué el español ni ningún otro idioma, así que las notas no se pueden trasladar tal cual. Si preparas una prueba en español, no traduzcas esta batería: el recuento de la letra «ż» y la declinación de «przyjaciel» solo tienen sentido en polaco. Diseña tareas con la gramática real del idioma, sus nombres propios, fechas y convenciones decimales.

• Registra por separado si llegó respuesta, si era correcta y si el formato era aprovechable.
• Revisa a mano las respuestas lingüísticas rechazadas antes de cerrar las notas.
• Guarda con los resultados el límite de tokens, el nivel de razonamiento y los parámetros de muestreo.
• Repite las tareas más representativas para medir la variación entre llamadas.

Redacción larga, traducción, programación y uso de herramientas quedaron fuera de este test, igual que la ejecución en local: todo fue por API, así que las cifras no dicen nada de la velocidad en una GPU doméstica. Para eso tienes mi test de modelos locales en una RTX 4090, y más pruebas en el Laboratorio del blog.

// sigue leyendoModelos de vídeo abiertos 2026: MAGI-2, Wan, LTX y MiniMax H3BenchmarksMAGI-2 Preview: el modelo de vídeo abierto de Sand.aiBenchmarksComparativa de voces IA: 8 modelos leen el mismo textoBenchmarks