Nash-MOPD: cómo repartir el entrenamiento entre varios expertos
Nash-MOPD propone usar un equilibrio de Nash para repartir los datos de entrenamiento entre dominios y evitar dejar atrás a los que aprenden más despacio.
👁 117 lecturas
El trabajo se publicó en arXiv (cs.LG / cs.AI) y fue presentado el 19 de octubre de 2026 por Siyuan Gan y seis coautores, cuyas afiliaciones no se indican explícitamente en el documento.
El reto: repartir el presupuesto de entrenamiento entre varios expertos
La destilación on-policy con varios profesores (Multi-teacher On-Policy Distillation, MOPD) consiste en que un único modelo alumno aprende a la vez de varios modelos expertos, cada uno especializado en un dominio distinto, como las matemáticas o la programación. El problema es que el alumno dispone de un número limitado de pasos de optimización y muestras (rollouts), que hay que distribuir entre los distintos dominios.
Los autores describen dos métodos de referencia existentes. El primero, llamado Fixed, utiliza proporciones fijas de muestreo por dominio basadas en el tamaño del corpus, sin ningún tipo de adaptación. El segundo, D3-MOPD, ajusta las proporciones dinámicamente mediante la divergencia KL inversa entre el profesor y el alumno, así como su descenso más reciente. Sin embargo, D3-MOPD favorece los dominios que han mejorado rápidamente hace poco, por lo que los que aprenden más despacio pueden recibir demasiados pocos ejemplos.
La propuesta: un juego minimax local y un equilibrio de Nash
Nash-MOPD aborda este problema formulando la asignación de dominios como un juego minimax local. El equilibrio del juego maximiza la menor reducción proporcional prevista de la divergencia KL inversa en el modelo local; así protege de una asignación insuficiente a los dominios que mejoran más despacio. Dicho de forma sencilla, el método da más prompts a los dominios que necesitan más ejemplos para lograr una mejora comparable.
Los autores destacan que Nash-MOPD no requiere consultas adicionales a los profesores ni rollouts extra: utiliza las mismas estadísticas de divergencia KL inversa que ya están disponibles durante el entrenamiento.
Resultados de los experimentos
Las pruebas se realizaron con dos modelos base: DeepSeek-R1-Distill-Qwen-1.5B y Qwen3-8B-Base. Los autores presentan resultados tras 100 pasos de entrenamiento. Con DeepSeek-R1-Distill-Qwen-1.5B, después de 100 pasos Nash-MOPD supera los resultados finales de ambos métodos de referencia (Fixed y D3-MOPD) en matemáticas y programación. Con Qwen3-8B-Base, tras 100 pasos iguala el resultado final de Fixed.
En el balance general, Nash-MOPD queda por delante en ocho de las nueve métricas presentadas y obtiene el mejor resultado o empata con el mejor en las seis métricas de precisión de matemáticas y programación. El documento no ofrece los valores numéricos detallados de estas métricas; esa información no aparece en el propio resumen.
Qué información falta en el documento
El texto disponible es únicamente el resumen de arXiv. No incluye tablas detalladas de resultados, una descripción de la arquitectura de los modelos profesores, la lista de conjuntos de datos utilizados, un análisis de los costes computacionales ni una comparación con métodos ajenos a MOPD. Los detalles metodológicos y los experimentos de ablación podrían estar en la versión completa en PDF, cuyo contenido no se ha facilitado.
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →Qué podemos concluir
Se trata de un preprint preliminar, aún sin revisión por pares, así que conviene tomar los resultados con cautela. La idea de usar un equilibrio de Nash para proteger a los dominios que aprenden despacio, en lugar de premiar a los que ya progresan rápidamente, me parece razonable desde el punto de vista conceptual y eficiente en términos computacionales, porque no añade consultas a los profesores. Si los resultados del artículo completo confirman la ventaja ya observada tras 100 pasos, podría ser un argumento importante a favor de Nash-MOPD en entrenamientos donde un único modelo aprende de varios conjuntos de datos especializados. Por ahora, sin embargo, solo tenemos el resumen y no sabemos cuál es la magnitud absoluta de las diferencias.
Fuente: arXiv cs.AI: Nash-MOPD: Optimizing Task Trade-offs in Multi-Teacher On-Policy Distillation (documento del 20 de octubre de 2026). Este análisis se ha elaborado a partir del texto completo del documento, no de informaciones de otros medios.
More on this from FULGOR
