Diccionario IA / VRAM
⚙️ Technika
VRAM
La memoria de la tarjeta gráfica: ella decide qué modelo tan grande puedes ejecutar localmente.
La VRAM es la memoria operativa de la tarjeta gráfica. Al ejecutar IA localmente, es la principal limitación: el modelo debe caber en la VRAM para funcionar rápido. De ahí que la primera pregunta en self-hosting no sea "qué procesador", sino "cuánta VRAM tienes". Orientativamente: los modelos pequeños caben en 8 GB, los medianos necesitan unos quince, y los grandes decenas de gigabytes. La cuantización permite meter un modelo mayor en menos memoria a costa de un poco de calidad; la alternativa es la memoria compartida en ordenadores Apple.
Conceptos relacionados