› El trabajo se publicó en arXiv (cs.LG / cs.AI) y fue presentado el 19 de octubre de 2026 por Siyuan Gan y seis coautores, cuyas afiliaciones no se indican explícitamente en el documento.El reto: repartir el presupuesto de entrenamiento entre varios expertosLa destilación on-policy con varios profesores (Multi-teacher On-Policy Distillation, MOPD) consiste en que un único modelo alumno aprende a la vez de varios modelos expertos, cada uno especializado en un dominio distinto, como las matemáticas o la programación.
› El problema es que el alumno dispone de un número limitado de pasos de optimización y muestras (rollouts), que hay que distribuir entre los distintos dominios.Los autores describen dos métodos de referencia existentes.
› El primero, llamado Fixed, utiliza proporciones fijas de muestreo por dominio basadas en el tamaño del corpus, sin ningún tipo de adaptación.
› El segundo, D3-MOPD, ajusta las proporciones dinámicamente mediante la divergencia KL inversa entre el profesor y el alumno, así como su descenso más reciente.