basal-omni local: Ollama, llama.cpp y Mac

👁 116 lecturas

basal-omni es un modelo de decisión de Remek Kinas: no redacta textos, sino que elige una respuesta de una lista e indica su nivel de confianza. Desde el 19 de octubre, las versiones más pequeñas se pueden ejecutar sin una GPU de servidor, con Ollama, llama.cpp o en un Mac. Lo probé en mi RTX 4090 con la versión mini en formato GGUF y el mismo conjunto de consultas en polaco que había usado para evaluar Jev y otros modelos de decisión. Aquí tienes los pasos que me funcionaron, los requisitos de hardware y los resultados.

Qué versión elegir según tu equipo

Todos los archivos están en la cuenta de Remek en Hugging Face y tienen licencia Apache-2.0. Las versiones GGUF y MLX solo admiten texto, no imágenes ni audio.

El autor solo publicó las cuantizaciones Q8_0 y Q6_K porque son las únicas que superaron su prueba de fidelidad respecto al original. En 10 606 decisiones con entre 2 y 10 opciones, Q8_0 elige lo mismo que la versión bf16 en el 98,7 % de los casos y Q6_K en el 97,1 %. Q5_K_M y Q4_K_M no superaron la prueba. La versión ultra, la más grande (31 000 millones de parámetros), no tiene un archivo GGUF del autor.

Cómo instalarlo en Windows con una GPU NVIDIA y Ollama

Así lo hice el 19 de octubre en Windows 11, con Ollama 0.40.5 (se necesita al menos la versión 0.35) y Python 3.12 mediante uv.

1. Configura el entorno e instala el motor basal 2.2. En el modo Ollama, Ollama ejecuta el modelo en la GPU, así que me bastó con instalar PyTorch para CPU:

   uv venv --python 3.12 env
   uv pip install --python env/Scripts/python.exe torch --index-url https://download.pytorch.org/whl/cpu
   uv pip install --python env/Scripts/python.exe "basal @ https://github.com/rkinas/basal/archive/refs/tags/v2.2.0.tar.gz"

2. Descarga el modelo (unos 8 GB). Basta con el archivo Q8_0 y los archivos pequeños que lo acompañan: Modelfile, tokenizer, calibración y basal.json. Yo los descargué uno a uno; es más fácil usar la herramienta hf, que se instala junto con el motor:

   hf download Remek/basal-omni-1.0-mini-GGUF --local-dir basal-omni-1.0-mini-GGUF --exclude "*Q6_K*"

3. Regístralo en Ollama con el archivo Modelfile incluido en el repositorio:

   cd basal-omni-1.0-mini-GGUF
   ollama create basal-omni-1.0-mini:q8_0 -f Modelfile.Q8_0
   cd ..

4. Inicia el servidor basal antes de Ollama:

   basal-serve --model ./basal-omni-1.0-mini-GGUF --mode ollama --ollama-model basal-omni-1.0-mini:q8_0 --port 8000

5. Envía una primera consulta con Python y la biblioteca estándar. El formato es el mismo que en la API de Jev; el endpoint es /v1/systemone. El texto de ejemplo que aparece a continuación es una traducción de la consulta de prueba original en polaco; no es una nueva prueba en español:

   import json, urllib.request
   body = {"state": "Desde las 9:00 el panel no funciona, aparece un error 500 y todo el equipo de ventas está parado.",
     "questions": {
       "dzial": {"type": "choice", "instructions": "¿A qué departamento debe dirigirse esta consulta?",
         "criteria": {"platnosci": "pagos y facturas", "awaria": "algo no funciona técnicamente",
                      "sprzedaz": "preguntas antes de comprar"}},
       "pilne": {"type": "noul", "instructions": "¿Hay que reaccionar hoy mismo?",
         "criteria": {"true": "sí", "false": "no"}}}}
   req = urllib.request.Request("http://127.0.0.1:8000/v1/systemone",
     json.dumps(body, ensure_ascii=False).encode("utf-8"),
     {"Content-Type": "application/json; charset=utf-8"})
   print(json.load(urllib.request.urlopen(req))["answers"])

Obtendrás la opción elegida, la probabilidad de cada opción y el nivel de confianza (confidence). En las preguntas de sí o no también se indica la probabilidad de la respuesta afirmativa. Hay dos detalles que me dieron problemas o que señala el autor:

• Caracteres polacos en la consola de Windows. Una consulta enviada con curl desde Git Bash acabó en un error de decodificación UTF-8. Desde Python, especificando la codificación, funciona sin problemas.
• Ejecutar ollama run no basta. En ese caso, el modelo solo devuelve texto libre. basal-serve calcula las respuestas tipadas con sus probabilidades; para ello lee las probabilidades de los códigos de opción de un único token.
• Límites del modo Ollama: un máximo de 20 opciones por pregunta y 4096 tokens por consulta. Para documentos más largos y hasta 255 opciones, el autor recomienda el modo llama.cpp.

Cómo usar llama.cpp y ejecutar el modelo en un Mac

• llama.cpp en el mismo proceso: instala el complemento basal[gguf] (llama-cpp-python 0.3.36 o posterior) y ejecuta basal-serve --model ./basal-omni-1.0-mini-GGUF --mode gguf --gguf basal-omni-1.0-mini-GGUF/basal-omni-1.0-mini-Q8_0.gguf --port 8000. En una GPU NVIDIA, hay que compilar llama-cpp-python con compatibilidad con CUDA. No probé esta variante.
• Mac con Apple Silicon: usa el modo --mode mlx con el complemento basal[mlx] y el repositorio -MLX, o ejecuta GGUF a través de Metal. Según el autor, mini Q8_0 funciona en un Mac con 16 GB de memoria. En un M4 Pro, la versión MLX mini alcanza 0,73 decisiones por segundo con 8 consultas simultáneas y tarda 173 ms en una consulta individual. Tampoco lo comprobé: no tengo un Mac.

Prueba en polaco: 50 consultas y 10 decisiones sobre herramientas

Usé el conjunto del 13 de octubre con el que había evaluado modelos del ranking de Artificial Analysis: 50 consultas para una tienda online (7 departamentos y urgencia) y 10 conversaciones en las que el asistente debía decidir si responder por sí mismo, llamar a una herramienta, pedir más información o rechazar la solicitud. Las preguntas y las respuestas correctas son las mismas; no adapté nada para basal. Como en la prueba anterior, calculo la categoría sobre 47 consultas, porque tres elementos de la clave de respuestas resultaron discutibles (más información en la guía Modelos de decisión de IA). basal también falló en esas tres, igual que los 11 modelos probados el 13 de octubre. La prueba se hizo en polaco, no en español.

• El basal más pequeño queda a mitad de tabla frente a modelos de decisión grandes con API. Acertó en una consulta más que Jev 1.13 y en dos menos que Microsoft-Decision-1 y Decider. Tiene 4 000 millones de parámetros y funciona en una GPU doméstica.
• Muy buen resultado en urgencia: 47 de 50; solo Decider y GPT-6 Luna Decisions lograron más, con 48 cada uno. basal no consideró urgentes una sobrecarga triple de la tarjeta (probabilidad 0,05) ni una cafetera que echaba chispas (0,34), y marcó como urgente un mensaje de spam sobre criptomonedas.
• Errores de categoría: una tarta de boda con el estado «en preparación» (ventas en vez de entregas), una cafetera que echaba chispas (avería en vez de reclamación), una oferta de bases de datos de correo (ventas en vez de spam), una devolución de dinero por un pedido cancelado y un código de descuento que no funcionaba.
• Comprueba la confianza con tus propios datos. Con una confianza de al menos 0,9, basal acertó 35 de 40 veces y Jev, 37 de 39. Entre los errores de alta confianza están la oferta de bases de datos de correo (0,95) y el código de descuento que no funcionaba (0,97). Por eso es importante la nueva herramienta basal-calibrate, que ajusta los umbrales a tus ejemplos.
• Velocidad: mediana de 137 ms por decisión; la primera consulta tardó 12 s (por la carga del modelo en la GPU). Medí los modelos con API el 13 de octubre desde Polonia y con la latencia de red incluida (Jev, 361 ms), así que no es una comparación directa. En local no pagas por tokens y los datos no salen del ordenador.

La GPU estuvo trabajando 20 segundos. Hice una sola serie y mantuve un único orden de opciones; el archivo GGUF incluía la calibración. Después de la prueba, liberé la memoria ocupada por el modelo.

Cuándo tiene sentido ejecutar basal en local

• Los datos no pueden salir de tu empresa: consultas de clientes, documentos o correo.
• Tienes muchas decisiones que tomar y cada una consiste en elegir de una lista: departamento, urgencia, tema, si aceptar un texto o qué herramienta ejecutar.
• Dispones de varios cientos de ejemplos etiquetados para calibrar los umbrales y procesar automáticamente solo las decisiones fiables.

En el artículo basal-omni, el mejor modelo abierto en JevBench explico de dónde viene este modelo y cómo quedó en el ranking. En el centro de IA local reúno otros modelos que puedes ejecutar en tu propio equipo.

// sigue leyendoGemma 4 31B en local con RTX 4090: VRAM, velocidad y análisisBenchmarksModelo local vs API: cuánto cuesta realmente la IABenchmarksOpus 5.5 genera SVG: infografía, llama y animación por 0,5 USDRevista

Kinetyra