Una alucinación de IA casi provoca un ataque militar de EE.UU. contra un barco chino
EE.UU. estuvo a punto de interceptar un buque chino basándose en un informe de inteligencia 'completamente falso' generado con ayuda de un chatbot, según una investigación de CNN.
👁 113 lecturas
El ejército de EE.UU. estuvo a punto de abordar un buque chino en el Oriente Medio después de que un analista del Comando de Operaciones Especiales utilizara un chatbot para producir un informe de inteligencia que resultó ser, según cuatro fuentes citadas por CNN, «completamente falso». El informe sostenía que el barco transportaba componentes para un programa de armas nucleares; solo la intervención de funcionarios de mayor rango, que detectaron el error antes de que comenzara la operación, evitó un enfrentamiento armado. Una fuente le dijo directamente a CNN que la situación «casi inició una guerra».
- Un analista del Comando de Operaciones Especiales de EE.UU. usó un chatbot para analizar el manifiesto de un barco chino; el resultado fue un informe falso que señalaba transporte de componentes nucleares
- El ejército preparó una interceptación con apoyo aéreo antes de que los altos mandos descubrieran el error; una fuente dijo a CNN que el incidente 'casi inició una guerra'
- El Pentágono tiene 1,5 millones de efectivos activos usando herramientas de IA generativa y en diciembre de 2024 adoptó Gemini for Government como base de su plataforma GenAI.mil
Cómo un chatbot fabricó una amenaza nuclear
El analista empleó un chatbot para cruzar informes de inteligencia sobre el manifiesto del buque. Según CNN, esa herramienta «fusionó inteligencia de fuentes abiertas con inteligencia de señales secreta almacenada en sistemas gubernamentales», y el texto resultante fue empaquetado como un informe oficial. El chatbot «identificó de forma inexacta el material que transportaba el barco», según las mismas fuentes. El resultado: el ejército movilizó activos con apoyo aéreo para interceptar el navío antes de que alguien descubriera que la amenaza era una invención de la máquina.
El episodio es uno de los ejemplos más graves documentados de una alucinación de IA - el fenómeno por el que los modelos de lenguaje generan información plausible pero inventada cuando sus datos de entrenamiento no ofrecen contexto suficiente. Desde que «hallucinating» fue elegida palabra del año por el Diccionario Cambridge en 2023, se han registrado casos en periodismo, medicina, tribunales, fuerzas policiales y centros de atención al cliente. Algunos investigadores sostienen que puede ser técnicamente imposible eliminar las alucinaciones de los grandes modelos de lenguaje por completo, independientemente de las instrucciones que se les den.
El Pentágono acelera la adopción de IA mientras minimiza los riesgos
El incidente ocurre en un momento en que el Departamento de Defensa lleva meses profundizando su apuesta por la inteligencia artificial. En enero de 2025, el departamento presentó una «estrategia de aceleración de la IA» que buscaba «poner todos los datos apropiados a disposición de los sistemas de IA en redes federadas, incluidos los sistemas de misión de cada servicio y componente». El secretario de Defensa Pete Hegseth respaldó la iniciativa con una declaración directa: «La IA es tan buena como los datos que recibe, y nos aseguraremos de que estén disponibles».
En diciembre de 2024, el Pentágono anunció que usaría Gemini for Government de Google como base de su plataforma interna GenAI.mil. El mes pasado añadió Grok for Government como opción adicional en esa misma plataforma. Anthropic, por su parte, ofrece una versión personalizada de Claude para trabajo de inteligencia del gobierno estadounidense. En junio, un representante del Pentágono informó al Congreso que la inteligencia artificial generativa se usa para ayudar a redactar informes exigidos por ley, y que 1,5 millones de efectivos activos del Departamento de Defensa han utilizado esas herramientas.
El contraste con los compromisos previos resulta llamativo. En 2023, una «Declaración sobre el uso militar responsable de la inteligencia artificial y la autonomía» del Departamento de Estado subrayó que el uso «principiado» de la IA por parte de las fuerzas armadas «debe incluir una consideración cuidadosa de riesgos y beneficios, y minimizar los sesgos y accidentes no intencionados». Ese mismo documento insistía en que el uso «responsable» de sistemas de IA debe involucrar siempre «un humano en el circuito, una cadena de mando y control humana responsable». El incidente del buque chino sugiere que esas salvaguardas fallaron en la práctica.
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →Qué implica esto para quienes trabajan con IA
Para desarrolladores, creadores y empresas que integran modelos de lenguaje en flujos de trabajo críticos, el caso ilustra un riesgo que va más allá de un error embarazoso en un correo o un resumen mal redactado. Cuando la salida de un modelo alimenta directamente una decisión - sin que un experto humano verifique las fuentes originales -, la alucinación deja de ser un problema de calidad y se convierte en un riesgo operativo real. El hecho de que el chatbot en cuestión combinara inteligencia abierta con inteligencia clasificada sin que el analista pudiera distinguir qué parte del texto era fabricada apunta a un problema de diseño sistémico: la interfaz conversacional oculta la incertidumbre del modelo.
El mercado de IA para defensa y gobierno sigue creciendo - Gemini, Grok y Claude ya compiten por contratos federales -, pero el incidente del buque chino añade presión sobre los proveedores para demostrar que sus modelos pueden señalar de forma explícita cuándo están operando fuera de los límites de sus datos confiables. Hasta ahora, ninguno lo hace de forma fiable. Una alucinación que casi inicia un conflicto armado entre dos potencias nucleares es el argumento más contundente que ha aparecido en años para que esa capacidad deje de ser opcional.
More on this from FULGOR
