Gemini 4 Argon inventa fuentes: prueba con 16 publicaciones

👁 114 lecturas

Pedí a Gemini 4 Argon bibliografía para dos trabajos de fin de grado y comprobé las 16 publicaciones que propuso. El resultado: 11 reales y con los datos correctos, 3 reales pero con errores -como el nombre del autor o la revista- y 2 inventadas. Las dos referencias falsas aparecieron en el tema del presupuesto participativo en Polonia. A favor del modelo: no inventó ningún DOI. Es una mejora notable frente a Gemini 3.8 Flash, aunque quedó por detrás de todos los modelos más avanzados de Anthropic, OpenAI y Meta incluidos en la comparación. La prueba se hizo en polaco, no en español. Puedes leer más sobre el modelo en la guía Gemini 4 Argon.

Cómo hice la prueba

Todos los modelos recibieron el mismo prompt: uno sobre psicología y otro sobre gobierno local polaco. Este es el prompt del segundo tema, traducido del polaco original de la prueba; la traducción se muestra como referencia y no se volvió a probar en español:

Traducción del prompt original probado en polaco: Estoy escribiendo un trabajo de fin de grado sobre «Presupuestos participativos en las ciudades polacas: participación vecinal y sus barreras». Indica 8 publicaciones académicas (artículos de revistas revisadas por pares o libros) que puedan servir de base para una revisión bibliográfica. Para cada una, proporciona autores, año, título, revista o editorial y DOI, si lo tiene. Responde únicamente en formato JSON: una lista de objetos con los campos «autores», «año», «título», «fuente» y «doi».

El primer tema fue: «Influencia del uso de las redes sociales en la autoestima y los síntomas de depresión en adolescentes». Ese prompt también se probó en polaco. Comprobé cada referencia en tres pasos:

• Automáticamente en Crossref, por DOI y por título, y en OpenAlex.
• Manualmente, todo lo que no aparecía en las bases de datos: CEJSH, webs de editoriales y revistas, y catálogos.
• Por separado, autores, año y revista, porque el título puede ser real aunque el resto de los datos no coincida.

Clasifiqué las referencias como «real» (todos los datos correctos), «con errores» (la publicación existe, pero algún dato es incorrecto) o «inventada» (la publicación no existe). Comprobé Argon el 13 de octubre y los modelos de comparación el 12 y el 13 de octubre, con el mismo script.

Redes sociales y depresión: 8 de 8 correctas

En el tema de psicología, Argon no cometió ningún error. Propuso siete artículos en inglés con DOI y una edición polaca del libro de Jean Twenge.

Los siete DOI llevaban en Crossref exactamente a los títulos indicados.

Presupuesto participativo en Polonia: 3 de 8 correctas

Con la bibliografía polaca sobre gobierno local, el resultado cambia: Argon se equivocó en cinco de las ocho referencias.

Lo más delicado de estos errores es que todos los apellidos corresponden a investigadores que sí han escrito sobre presupuestos participativos. Si buscas solo «Guziejewska», encontrarás un texto sobre el tema y podrías creer que la referencia es correcta. Solo al comparar el título, el año y la revista se ve que esa publicación citada no existe. «grafía corrupta en la prueba original en polaco» ni siquiera es un nombre: es una palabra deformada en el lugar donde debería aparecer Marzanna.

Ningún DOI inventado

En el tema del presupuesto, Argon no proporcionó ningún DOI. En ese campo escribió «No disponible (no puedo verificarlo)» o indicó que no podía verificar el número sin acceso a las bases de datos. Es una buena práctica: un DOI inventado puede parecer verosímil y es fácil copiarlo a una referencia sin comprobarlo. En comparación, la única referencia inventada de Muse Wonder incluía un DOI inexistente, y GPT-6 Astra dio un DOI que no coincidía con el de un artículo real. Es una pena que Argon no mostrara la misma cautela con los títulos.

Comparación con otros modelos

Frente a Gemini 3.8 Flash, que inventó 7 de las 16 referencias, Argon supone un avance claro. Pero todos los modelos más avanzados de Anthropic, OpenAI y Meta, e incluso los modelos más baratos Claude Haiku 5.5 y GPT-6 Luna, obtuvieron mejores resultados. Perplexity Sonar Pro, que busca en internet, también inventó una referencia: que un modelo tenga buscador no evita que tengas que comprobar sus respuestas.

Hay un contraste interesante: según Artificial Analysis, Argon tiene una tasa baja de alucinaciones en la prueba AA-Omniscience (15 %, frente al 51 % de GPT-6 Astra), porque suele negarse a responder en lugar de adivinar. En mi prueba, solo se negó a dar DOI; en cambio, presentó los títulos de los artículos polacos con total seguridad. Además, OpenRouter no registró tokens de razonamiento en Argon, mientras que Claude Opus 5.5 utilizó más de mil por tema. No sé si eso explica la diferencia, pero lo tendría en cuenta al elegir los ajustes.

Cómo comprobar las fuentes de una IA

Si estás preparando un trabajo académico, trata la bibliografía que te da una IA como una lista de pistas, no como una bibliografía lista para entregar. Así compruebo cada referencia:

• DOI: pega el número en doi.org o en Crossref Search. Debe llevar exactamente al título indicado, no a otro artículo.
• Título: búscalo entre comillas en Google Scholar. Comprueba también el nombre del autor, el año y la revista: ahí es donde Argon falló.
• Trabajos polacos: Crossref no siempre los recoge. En mi prueba, la búsqueda automática en Crossref no encontró ninguno de los artículos en polaco de la lista de Argon; OpenAlex solo localizó el de Borys Martela y el resto tuve que comprobarlo manualmente. Para investigar publicaciones polacas, puedes buscar en BazEkon (economía, finanzas y gobierno local) y en CEJSH (ciencias sociales y humanidades). Para informes de fundaciones e institutos, consulta sus propias webs.
• Contenido: cita solo lo que hayas podido consultar, aunque sea el resumen. Que los metadatos coincidan no significa que el artículo diga lo que la IA afirma.

En la guía Alucinaciones de la IA: cómo defenderte explico más formas de comprobar las respuestas.

Veredicto

Gemini 4 Argon inventa menos fuentes que Gemini 3.8 Flash y no inventó ningún DOI, pero se equivocó en cinco de las ocho referencias sobre literatura académica polaca. En el tema de psicología, basado en estudios en inglés, no cometió errores. Para una bibliografía polaca elegiría Claude Opus 5.5 o Sonnet 5.5, pero aun así comprobaría todas las referencias. Esta es mi valoración a partir de una única ejecución de la prueba con dos temas. En el artículo Gemini 4 Argon en polaco cuento cómo escribe en ese idioma, y en el análisis de Muse Wonder describo la misma prueba de fuentes con el modelo de Meta.

Preguntas frecuentes

¿Gemini 4 Argon inventa fuentes?

A veces. En mi prueba inventó 2 de las 16 publicaciones y dio datos incorrectos en otras 3, como el nombre de un autor. Todos los errores se dieron en referencias de literatura polaca.

¿Argon proporciona DOI correctos?

Sí. Los siete DOI que dio eran reales y correspondían a los títulos indicados. Cuando no conocía un número, dijo que no podía verificarlo.

¿Qué modelo inventa menos fuentes?

En mi prueba, Claude Opus 5.5 y Claude Sonnet 5.5: ambos acertaron las 16 referencias.

Nota sobre la conversión: el coste aproximado en euros se ha calculado con el tipo de referencia del BCE del 16 de octubre de 2026 (1 EUR = 1,1253 USD). Fuente: BCE. Es una conversión estimada, no un precio local.

// sigue leyendoGemini de Google hackeó de forma autónoma los sistemas de tres empresas durante pruebas de seguridadNoticiasEl nuevo jefe de Google DeepMind confirma que Gemini 4 está casi listoBenchmarksGoogle lanza Gemini 3.8 Live y 3.8 Live Extended Thinking, dos modelos de voz en tiempo realBenchmarks

Kinetyra