Cuando dos verificaciones independientes fallan igual: caso real
Un estudio documenta cómo dos métodos de verificación distintos produjeron el mismo error en un pipeline de datos de satélites, y por qué los LLM no lo detectaron.
👁 116 lecturas
Un artículo de Fabio Rovai, aceptado en el workshop AI for Science de NeurIPS 2026, documenta un error específico en un pipeline de datos que comparaba dos registros abiertos de objetos en órbita terrestre. El autor describe el mecanismo de un fallo que denomina «common-mode failure» - fallo de modo común.
Qué es la verificación doble y por qué falló
Una protección estándar en pipelines de datos es el cálculo redundante: cada cifra publicada se calcula mediante dos métodos distintos basados en tecnologías diferentes, y si los resultados difieren, el pipeline se detiene. En el caso descrito, una ruta utilizaba Python y operaciones con conjuntos, la otra usaba consultas SPARQL a un grafo RDF. La compuerta que comparaba ambos resultados imprimió el mensaje ALL CROSS-CHECKS AGREE para siete valores verificados. Tres de ellos eran incorrectos. Uno de los valores erróneos estaba inflado más de cuatro veces: el pipeline devolvió 932 en lugar del correcto 220.
¿Por qué la verificación no lo detectó? Ambas rutas importaban las mismas constantes, en las que estaba codificada una lectura incorrecta del diccionario de estados del documento fuente. Como el error era idéntico en ambas rutas, la compuerta que comparaba los resultados no tenía forma de detectarlo - ambos resultados eran igualmente erróneos, por lo que se «confirmaban» mutuamente la corrección.
La corrección también contenía errores
El autor verificó después el código corregido contra el historial de fases de cada objeto, almacenado en un archivo fuente que el pipeline nunca leía. Resultó que la corrección también contenía errores: 42 de 261 discrepancias eran artefactos. Ninguna de las tres pruebas de control descritas por Rovai detectó estos artefactos.
Experimento con modelos de lenguaje
El autor realizó una replicación controlada con tres modelos de lenguaje sin herramientas adicionales activadas. Al solicitar la generación de rutas de verificación independientes: 72 de 75 rutas generadas calcularon el mismo valor erróneo que el defecto original. Significativamente, 29 de 30 rutas calcularon el valor erróneo incluso cuando el prompt contenía las definiciones de los códigos de estado de la documentación de la propia fuente. Rovai no extrae conclusiones más amplias más allá del caso descrito - señala explícitamente que las evidencias se refieren a un pipeline y una familia de defectos.
Conclusión del documento
El autor lo formula así: la redundancia verificó la implementación, y los errores que llegaron a publicación fueron errores de significado. El pipeline comprobaba si ambas rutas daban el mismo resultado - y así era. No comprobaba si los supuestos comunes en los que ambas rutas se basaban eran correctos. Rovai proporciona el mecanismo del error, un registro detallado a nivel de objetos que reconcilia cada cifra, y tres pruebas que vuelven a la documentación fuente, medidas tanto en el código defectuoso como en su corrección. El código, los prompts, los resultados brutos de los modelos y los registros de cada intento están disponibles públicamente en la dirección indicada en el artículo.
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →Qué implica esto
Este estudio de caso cuestiona un supuesto que muchos ingenieros tratan como evidente: que dos implementaciones técnicas diferentes de la misma lógica proporcionan independencia de verificación. Rovai muestra que la independencia técnica no significa independencia semántica - si el error reside en la comprensión de los datos de entrada, y no en el código, ningún número de rutas paralelas lo detectará. El resultado del experimento con modelos de lenguaje - 72 de 75 rutas repitieron el mismo error, incluso con definiciones en el prompt - sugiere que los modelos pueden amplificar este tipo de errores de modo común en lugar de detectarlos. El propio autor advierte, sin embargo, que se trata de un caso y una familia de defectos, por lo que no conviene extrapolar demasiado lejos.
Fuente: arXiv cs.AI: Independent Verification Paths Are Not Independent: A Case Study of Common-Mode Failure in a Satellite Catalogue Pipeline (documento del 30-09-2026). Este análisis se basa en el texto completo del documento, no en informaciones de otros medios.
More on this from FULGOR
revista·Test de alucinaciones: GPT-6 Astra, Claude y GeminiPreguntamos a cuatro modelos por escritores, leyes y ciudades inventadas. Hace un año habrían inventado biografías completas.