› El formato GGUF permite comprimir modelos de lenguaje para ejecutarlos en hardware doméstico mediante diferentes niveles de cuantización como Q4_K_M, Q6_K o Q8_0.
› La cuantización GGUF es el método que decide cuántos bits asignamos a cada peso: en mis pruebas reales, Q4_K_M representa el mínimo razonable para no degradar el texto, mientras que Q5_K_M y Q6_K resultan prácticamente indistinguibles del original y Q8_0 solo aporta ventaja si dispones de memoria de sobra.
› Tienes una visión completa del ecosistema en la guía de IA local de este blog.
› A fecha de 17 de octubre de 2026Los archivos GGUF de Bielik v3.0 los publica oficialmente SpeakLeash en Hugging Face bajo licencia Apache 2.0 (uso comercial permitido).El repositorio de 1.5B solo incluye F16 y Q8_0; el de 4.5B ofrece F16 y Q8_0; la versión 11B cuenta con Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16 y F16.Hice el test sobre llama.cpp con CUDA (compilación 11194 del 26 de septiembre).