Alucinación de chatbot casi provoca operación militar de EE.UU.
Un informe falso generado por IA puso aviones militares en el aire. Calculamos cuántos errores pasan cada etapa de verificación.
👁 115 lecturas
En primavera de este año, aviones militares estadounidenses ya estaban en el aire cuando se descubrió que el informe de inteligencia en el que se basaba una operación armada contra un barco chino había sido inventado por un chatbot. La operación se canceló en el último momento. Todo el episodio fue descrito el viernes por CNN, y el relato de TechCrunch merece leerse no como una anécdota sobre el error de un analista, sino como la descripción de un fallo procedimental concreto que tiene su propia aritmética.
Según la descripción de la fuente, un analista del Comando de Operaciones Especiales pidió a un chatbot que sintetizara datos de fuentes abiertas con inteligencia de señales clasificada. El modelo interpretó erróneamente el manifiesto de carga del barco y determinó que a bordo había componentes para un programa de armas nucleares. Luego, ese mismo analista usó la herramienta por segunda vez - esta vez, para formatear las conclusiones erróneas en un resumen que parecía un documento oficial. Y es precisamente este segundo paso el más peligroso de toda la historia, porque la alucinación recibió un envoltorio que en los canales de mando se lee como un producto de inteligencia.
Cuántos informes falsos pasan por una etapa de control
Hice un cálculo simple que cualquiera puede repetir en un papel. Asumamos dos parámetros. El primero es la proporción de respuestas que contienen afirmaciones falsas en tareas de resumen y combinación de documentos. En los rankings públicos de alucinaciones al resumir documentos, los mejores modelos bajan del dos por ciento, pero la dispersión en todo el conjunto va desde alrededor del uno por ciento hasta más del diez - la clasificación de Vectara lo muestra mejor, y las pruebas basadas en preguntas de conocimiento, como SimpleQA, dan para muchos modelos varias decenas de porcentaje de respuestas erróneas a preguntas factuales. La tarea del incidente descrito - unir datos públicos con señales y extraer una conclusión sobre la carga - está más cerca de esta segunda categoría que del resumen de una página de texto. Asumí conservadoramente un cinco por ciento.
El segundo parámetro es la efectividad de la verificación humana. Supongamos que un analista o su supervisor detecta tres errores de cada cuatro, es decir, opera con una efectividad del 75 por ciento. Esta suposición es generosa, porque se refiere a un documento que en sí mismo parece profesional y proviene de la propia unidad. Con estas cifras, de mil informes cincuenta contienen un error, de los cuales doce y medio pasan por una etapa de control. Doce informes falsos por cada mil - eso es uno de cada ochenta. Solo añadir una segunda etapa de verificación independiente con la misma efectividad reduce este resultado a tres por mil, y una tercera a menos de uno.
La conclusión de este cálculo es brutalmente simple: en una cadena en la que de mil productos analíticos llegan una docena inventados, un incidente como el de primavera no es un accidente, sino estadística. La pregunta no es si ocurrirá, sino después de cuántas miles de consultas. Si en un comando determinado los modelos procesan diez mil consultas analíticas al año - una cifra completamente realista para una herramienta accesible desde el navegador - entonces con mis suposiciones tenemos ciento veinticinco productos erróneos anuales que pasan el primer control.
El contexto crítico no es solo militar: tribunales y medicina ya han dado sus cuentas
La capa militar es la más espectacular, pero no la primera. En el ámbito judicial ya tenemos casos contabilizados: una base de datos mantenida por el abogado francés Damien Charlotin desde 2023 ha recopilado más de mil sentencias de todo el mundo en las que el tribunal determinó que un representante legal citó sentencias inexistentes o citas fabricadas generadas por un modelo - el registro es público y se actualiza. El caso más conocido no involucra a un abogado, sino la reacción del tribunal: en el caso Mata contra Avianca en Nueva York, el juez P. Kevin Castel multó a dos abogados con cinco mil dólares cada uno.
En medicina la escala es diferente, porque allí el error no es detectado por la parte contraria. Los estudios sobre resúmenes de documentación y transcripción de consultas mostraban que las herramientas basadas en modelos añaden a las grabaciones frases completas que nadie pronunció - fenómeno descrito entre otros en análisis de Whisper, donde en parte de las transcripciones examinadas aparecían fragmentos completamente inventados. Un mecanismo, tres industrias diferentes: el modelo genera contenido que suena como producto de un experto y es tratado como producto de un experto.
«Es importante que los soldados comprendan la incertidumbre inherente a la naturaleza de los modelos de lenguaje. Pero es particularmente crítico en todas las decisiones que pueden llevar al uso de la fuerza - en la designación de objetivos, análisis de inteligencia o planificación operativa. Estas decisiones tienen consecuencias de vida o muerte» - Jake Steckler, investigador en GovAI y ex oficial del ejército de EE.UU., en respuesta escrita para TechCrunch.
Steckler añade algo que es fácil pasar por alto: en su opinión, el incidente debería ser un argumento para añadir salvaguardas, no para renunciar a las herramientas. Poner el ritmo de implementación por encima de todo conducirá a eventos que socavarán la confianza de los soldados en estos sistemas, y eso en última instancia ralentizará la propia implementación.
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →Dos velocidades que se excluyen mutuamente
El Pentágono habla abiertamente de la IA como herramienta para acelerar la cadena de ataque, para que los comandantes puedan reaccionar en el momento adecuado. El problema es que es la misma velocidad la que permite que una alucinación pase por los canales de mando antes de que alguien pregunte por la fuente. La yuxtaposición de estos dos objetivos en una tabla muestra que no son dos aspectos del mismo proceso, sino dos funciones objetivo opuestas.
| Parámetro | Objetivo: velocidad de decisión | Objetivo: resistencia a alucinaciones |
| Número de etapas de verificación | Mínima, preferiblemente una | Al menos dos independientes |
| Formato del producto | Resumen listo para decisión | Datos en bruto con indicación de fuentes |
| Rol del modelo | Síntesis y conclusión | Búsqueda, sin inferencia |
| Efecto con 5% de error | 12 informes falsos por 1000 | 3 por 1000 |
La última fila de esta tabla es mi cálculo del principio del texto. La diferencia entre doce y tres informes falsos por mil es el precio que se paga por la segunda etapa de control - y el único número que vale la pena mostrar a la persona que decide sobre el procedimiento. Porque en términos de tiempo, esa segunda etapa son unas pocas horas de retraso, y en términos de riesgo es una reducción del número de eventos tipo «aviones ya en el aire» en tres cuartas partes.
No hay en esta historia ningún argumento para eliminar los modelos de lenguaje de la analítica. Hay, sin embargo, un argumento muy fuerte para tratarlos como una herramienta con un coeficiente de error conocido y medible - tal como en el ejército se trata cualquier otro sensor. Un radar tiene una probabilidad determinada de detección falsa y nadie dispara un misil después de un solo rebote. Un modelo de lenguaje también tiene ese coeficiente, solo que nadie lo escribió en las instrucciones.
La consecuencia práctica para cualquiera que trabaje con documentos en una institución pública, ejército o empresa de defensa es una y se deriva de lo que el analista hizo la segunda vez en el incidente descrito. Nunca uses un modelo para formatear resultados que ese mismo modelo generó. Si el chatbot creó contenido, su siguiente tarea - darle apariencia de documento oficial - elimina la última señal de advertencia, que era el output crudo y caótico. Separar estas dos operaciones entre diferentes herramientas y diferentes personas no cuesta nada y es la salvaguarda más barata que se puede introducir hoy mismo.
Hechos verificados el 20 de septiembre de 2026. Fuentes: TechCrunch sobre el incidente, ranking de alucinaciones de Vectara, base de datos de sentencias judiciales con citas inventadas, estrategia de IA de la OTAN y principios de uso responsable. Cálculos propios basados en las suposiciones indicadas en el texto.
More on this from FULGOR
guías·5 trampas de las herramientas SEO que debes evitarLas sugerencias de palabras clave cortan la long tail, Search Console oculta páginas sin clics y una keyword de 1.000 búsquedas resultó ser de ciclismo.