basal-omni: el modelo de Remek Kinas lidera JevBench

👁 124 lecturas

basal-omni-1.0-ultra, el modelo de toma de decisiones de Remek Kinas, ocupa el primer puesto entre los modelos con pesos abiertos en JevBench. Este ranking evalúa modelos que no redactan texto, sino que eligen una respuesta de una lista e indican su grado de confianza. Ha obtenido 82,5 puntos en Capability Score. Si se incluyen los servicios de API cerrados, solo queda por delante kettei-fat, de Sqwish, con 86,3. En la clasificación, basal supera a los modelos cerrados de toma de decisiones de OpenAI y Microsoft, y a Jev, de TypeSafe, el modelo que dio origen a esta categoría. He revisado la tabla de JevBench, las fichas de los modelos en Hugging Face y quién está detrás del ranking. También he ejecutado la versión más pequeña en mi ordenador.

Qué anunció Remek Kinas

El 17 de octubre, Remek Kinas (@KinasRemek en X) escribió que basal-omni era «el número uno del mundo entre los modelos abiertos» y el segundo entre todos los modelos de JevBench. La publicación termina con la frase: «¿Así que se puede? ¡Claro que se puede! IA polaca». También agradeció al autor del ranking (@airesearch12) su evaluación independiente. Según el contador de X, la publicación tenía alrededor de 266.000 visualizaciones el 19 de octubre.

basal es un proyecto de Kinas. Tiene su propio motor de ejecución, basal-serve, y dos familias de modelos: basal-2.0, basada en el modelo polaco Bielik v3, y basal-omni, basada en Gemma 4, de Google. basal-omni procesa texto, imágenes y audio (ultra no procesa audio), pero, como otros modelos de toma de decisiones, no genera frases. Recibe un estado -por ejemplo, el contenido de una solicitud- y preguntas con respuestas cerradas, y devuelve la probabilidad de cada opción en una sola pasada. TypeSafe desarrolló este estilo de trabajo con el modelo Jev. Escribí sobre él en septiembre en el artículo Jev, de TypeSafe, y explico la categoría en la guía Modelos de IA para tomar decisiones.

Resultados de JevBench

JevBench plantea las mismas 1.500 decisiones a cada sistema y mide cuatro aspectos: precisión (Intelligence), calibración -si la confianza declarada coincide con la precisión real-, velocidad y coste por cada 1.000 decisiones. La tabla principal de modelos abiertos se ordena por Capability Score, la media de precisión y calibración. Solo pueden participar sistemas «de la clase de Jev» cuyo coste no supere el doble y cuyas respuestas no sean más de dos veces más lentas que las de Jev.

En la tabla independiente de servicios de API, que emplea la misma medida, lidera kettei-fat, de Sqwish (86,3). Le siguen, entre otros, d1-ultra, de Liquid AI (80,5); Jev 1.13.0 (77,1); Jev 1.14.0 (75,0); OpenAI Decisions con GPT-6 Luna (73,5), y Microsoft-Decision-1 (72,2, resultado marcado como preliminar). Con sus 82,5 puntos, basal queda en segundo lugar al combinar las dos tablas.

Qué significa y qué no significa el primer puesto

• Es el primer puesto en Capability Score, que mide precisión y calibración. En el resultado compuesto oficial de JevBench (Composite), que asigna también un 25 % a la velocidad y un 25 % al coste, basal-omni-1.0-ultra ocupa el tercer puesto entre 184 sistemas abiertos. Por delante están dos modelos 4B mucho más pequeños, H2O-Lightning-4B v1.1 y Torchcast Decision 4B: son más baratos de ejecutar, pero bastante menos precisos (60,0 y 60,3).
• El ranking cambia con cada versión. Cuando basal apareció en la tabla el 17.10 (versión v1.6.28), las notas de la versión indicaban que ocupaba el cuarto puesto entre 45 en la selección de tareas de entonces. La clasificación actual corresponde a la tabla v1.7.46 del 18.10.
• JevBench mide la velocidad de ultra en su propia ficha: la mediana es de 0,102 s. El coste es de unos 0,0401 € (0,045 USD) por cada 1.000 decisiones, un 38 % más que Jev, pero dentro del límite de su categoría.
• La tabla solo incluye ultra. Las versiones más pequeñas de basal-omni, mini y max, no tienen una puntuación independiente en JevBench.

Quién está detrás de JevBench

JevBench está alojado en Benchmark Heaven. Según la web y el repositorio de GitHub, es un proyecto de código abierto y de aficionado, con licencia MIT, creado por Florian Standhartinger, que en X usa el nombre @airesearch12. Es la misma persona a la que Kinas agradeció su evaluación. La web afirma que compara modelos «independientemente de TypeSafe AI». El nombre y la métrica proceden de Jev: los límites de coste y tiempo se calculan con respecto a Jev, y Jev 1.13.0 aparece como referencia, fuera del ranking. No he encontrado en la web información sobre posibles vínculos del autor con TypeSafe o con Kinas. Algunas tareas son públicas y la mayoría están selladas para evitar que los modelos las aprendan. El autor documenta los cambios de metodología en las notas de cada versión.

Conviene recordar que este es uno de varios rankings. En el Decision Index de Artificial Analysis, con datos a 19.10, lidera d1-ultra, de Liquid AI, con 65,2 puntos, por delante de Jev 1.13; basal-omni no se había evaluado.

Tres tamaños y el benchmark propio del autor

Resultado v1 es una batería oculta de decisiones en polaco e inglés, repartidas en 10 categorías, que preparó el propio autor. Por tanto, es un resultado del creador del modelo, no una medición independiente. Según las fichas de los modelos, con el umbral predeterminado de un 1 % de error, ultra acepta automáticamente el 56,8 % de las decisiones y deriva el resto a una persona. Las categorías más débiles de todas las versiones son las reglas con umbrales exactos y fechas. El autor recomienda calcular esas cosas con código.

Desde el 19 de octubre, mini y max también tienen versiones GGUF para Ollama y llama.cpp, FP8 para vLLM y MLX para Mac. Se publicaron junto con el motor basal 2.2 y su nueva herramienta para calibrar el modelo con datos propios: basal 2.2 y basal-calibrate.

Quién es Remek Kinas

Remigiusz Kinas trabaja como Principal AI Researcher en Ingenix.ai, una empresa de Varsovia que desarrolla modelos de IA para biología e investigación clínica. Es uno de los cocreadores de los modelos polacos Bielik y tiene el título de Kaggle Grandmaster. basal es un proyecto independiente suyo: el código del motor está en su GitHub (rkinas/basal) y los modelos, en la cuenta de Remek en Hugging Face. La versión 2.2 también incorpora mejoras de varias personas de la comunidad.

He probado la versión más pequeña

El 19 de octubre ejecuté basal-omni-1.0-mini en formato GGUF Q8_0 (7,9 GB) con Ollama en una RTX 4090. Lo probé con mi conjunto de 50 solicitudes en polaco dirigidas a una tienda y 10 decisiones sobre herramientas, que había usado el 13.10 para evaluar modelos del ranking AA. La prueba se hizo en polaco: mini acertó la categoría en 42 de 47 solicitudes, la urgencia en 47 de 50 y la elección de herramienta en 10 de 10. Es una solicitud más acertada que Jev 1.13 con el mismo conjunto, con una mediana local de 137 ms por decisión. Puedes consultar las instrucciones paso a paso y todos los resultados en basal en local: Ollama, llama.cpp y Mac.

Para quién puede ser útil

• Empresas que clasifican grandes volúmenes de texto en polaco -solicitudes, correos y documentos- y no quieren enviar datos a una API externa. La licencia Apache-2.0 permite el uso comercial.
• Equipos que trabajan con agentes de IA y necesitan decidir rápidamente si deben «usar una herramienta, pedir más información o rechazar» una solicitud, con un nivel de confianza numérico.
• No sirve para redactar textos. basal no responderá a un cliente ni escribirá un resumen; para eso sigue haciendo falta un modelo de lenguaje convencional.

Nota sobre la conversión: el importe en euros es una estimación, no un precio local de compra. Conversión realizada con el tipo de referencia del BCE del 19.10.2026: 1 EUR = 1,1225 USD. Fuente: BCE.

// sigue leyendo¿Qué IA usar para el TFG? Test de fuentes inventadas en 7 modelosBenchmarksPrecios de modelos de IA: cuánto cuestan 1000 consultasBenchmarksMejor voz IA: comparativa y ranking de 14 modelos TTSBenchmarks

Kinetyra