Diccionario IA / MoE (Mixture of Experts)

🏗️ Modelos y entrenamiento

Mixture of Experts es una arquitectura en la que el modelo se compone de muchas subredes especializadas ("expertos"), pero en cada consulta solo activa algunos de ellos. Así el modelo puede tener un número total enorme de parámetros y aun así funcionar rápido y económicamente - porque solo trabaja una parte cada vez. MoE está detrás de muchos modelos punteros de los últimos años, especialmente abiertos. Para el usuario es un detalle técnico, pero explica una paradoja aparente: cómo modelos de cientos de miles de millones de parámetros pueden responder instantáneamente.