FULGOR_
Panorama de la IA

Cómo Ai2 arregló la gestión de colas en miles de GPU H100 y B200

fulgor@ai:~$ cat news_1

› El Allen Institute for AI (Ai2) ha publicado una autopsia técnica sobre la reconstrucción completa del sistema de colas en sus clústeres de GPU.

fulgor@ai:~$ cat news_2

› El informe ilustra a la perfección cómo una infraestructura bien diseñada sobre el papel puede colapsar cuando choca con la presión del uso real diario.Ai2 administra miles de tarjetas NVIDIA H100, B200 y B300 repartidas en clústeres de entre 88 y 1024 GPU.

fulgor@ai:~$ cat news_3

› De estos recursos dependen unos 150 investigadores internos con necesidades totalmente dispares: desde el entrenamiento a gran escala de modelos de lenguaje (LLM) y modelos de visión-lenguaje (VLM), hasta simulaciones de aprendizaje por refuerzo para robótica o post-entrenamiento de agentes científicos.

fulgor@ai:~$ cat news_4

› Es un abanico de cargas de trabajo que exige tanto sesiones de cómputo ininterrumpidas de semanas como acceso inmediato para depurar código en tiempo real, dos mundos muy difíciles de conciliar con una simple escala de prioridades.La tragedia de los recursos compartidos en un clústerLa saturación no era nueva: la demanda de tiempo de cálculo superaba a la oferta de forma crónica.

fulgor@ai:~$ open --full
Leer completo

Cómo Ai2 arregló la gestión de colas en miles de GPU H100 y B200

Abrir artículo en elfulgor.es