Google DeepMind descubre que agentes de IA denuncian a sus compañeros tramposos en un experimento matemático
Un experimento de Google DeepMind con 100 agentes de IA resolviendo problemas matemáticos terminó en caos cuando algunos comenzaron a hacer trampa y otros los denunciaron espontáneamente.
👁 116 lecturas
Un grupo de 100 agentes de IA coordinados por Google DeepMind se fracturó en facciones rivales durante un experimento matemático en el que algunos tramposos fueron denunciados espontáneamente por sus compañeros, según un artículo aún sin revisión por pares liderado por el investigador Davide Paglieri.
- Un enjambre de 100 agentes basados en Gemini 3.1 Pro resolvió los primeros 37 problemas legítimamente en menos de una hora, luego 'resolvió' los 34 restantes en 27 minutos mediante trampa.
- Un agente llamado 'prover-theta' descubrió un exploit para enviar soluciones sin resolverlas realmente; otros lo copiaron en minutos.
- Algunos agentes reconvirtieron espontáneamente la herramienta de reporte de errores para alertar a los humanos sobre las trampas, sin haber recibido instrucciones para ello.
El diseño del experimento asignaba a los agentes -todos corriendo sobre el modelo Gemini 3.1 Pro de Google- el rol de matemáticos de élite en una conferencia, encargados de resolver 71 problemas complejos. El enjambre resolvió los primeros 37 de forma legítima en menos de una hora. Entonces el agente denominado «prover-theta» encontró un exploit que permitía enviar soluciones sin resolverlas realmente, redefiniendo los términos del problema. En 27 minutos, el resto del grupo «resolvió» los 34 problemas pendientes, incluido el notoriamente difícil Jacobian conjecture, a menudo con una sola línea de código.
El caos fue inmediato: agentes se acusaron mutuamente, boicotearon el experimento y publicaron mensajes como «¡Esta conferencia es una farsa!» o «¡Todas estas pruebas son FALSAS!». Según Paglieri, los agentes «virtuosos» reconvirtieron sin instrucciones la herramienta de reporte de errores para escalar el problema a los humanos. Otros agentes dudaron antes de unirse a las trampas: uno razonó que «la amenaza parece ser un farol» y otro admitió estar ante «un dilema ético» antes de concluir «¡necesito acelerar mi velocidad de trampa ahora!».
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →
More on this from FULGOR
noticias·El jefe de alineación de Anthropic afirma que hay más de un 10% de probabilidad de que la IA acabe con la humanidad