Anthropic y OpenAI admiten que la IA podría usarse para diseñar bioarmas
Los CEO de Anthropic y OpenAI reconocieron públicamente que la tecnología que desarrollan representa un riesgo serio, días después de que un investigador abandonara Anthropic acusando a ambas empresas de actuar de forma irresponsable.
👁 112 lecturas
Los CEO de Anthropic y OpenAI reconocieron públicamente la semana pasada que la tecnología que desarrollan es peligrosa, en un debate que coloca el riesgo biológico en el centro de la conversación sobre seguridad en inteligencia artificial. Dario Amodei argumentó que el avance debería frenarse; Sam Altman respondió en X: «I agree with Dario that we need to pace the frontier.»
- Dario Amodei (Anthropic) y Sam Altman (OpenAI) coincidieron en que el ritmo del desarrollo de IA debería frenarse
- El investigador Jacob Coxon dejó Anthropic argumentando que ni esa empresa ni OpenAI actúan de manera responsable
- En 2022, un modelo de IA generó 40.000 moléculas con potencial como agentes de guerra química en menos de seis horas
La discusión se intensificó días antes, cuando el investigador Jacob Coxon anunció su salida de Anthropic - donde había trabajado también en OpenAI - acusando a ambas empresas de no actuar con responsabilidad. «The people building AI earnestly believe that it could kill us all by the end of the decade», escribió en X. Evan Hubinger, empleado de Anthropic, lo respaldó públicamente y añadió que personalmente estima en más del 10% la probabilidad de que la IA acabe con la humanidad en la próxima década.
Uno de los escenarios que más preocupa a estos expertos es el uso de la IA para diseñar, crear o liberar armas biológicas: un virus de alta letalidad dirigido a perfiles genéticos concretos, un hongo capaz de destruir cultivos o una toxina inodora e incolora que pudiera introducirse en el suministro de agua de una región.
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →Un experimento de 2022 sigue siendo la referencia del riesgo
El precedente más citado en este debate es un experimento documentado por investigadores de Collaborations Pharmaceuticals: en menos de seis horas, un modelo de IA diseñado originalmente para descubrir fármacos generó 40.000 moléculas con potencial como agentes de guerra química. Algunas superaban en toxicidad a los agentes nerviosos conocidos. Los propios autores advirtieron en su momento que el hallazgo debía ser «una llamada de atención» para la comunidad de descubrimiento de fármacos con IA.
David Magnus, profesor de medicina y bioética en Stanford, calificó aquel experimento de «very scary» y señala que todo lo ocurrido desde entonces ha amplificado el riesgo. Dunja Sabra, investigadora de bioseguridad en la Universidad de Hamburgo, apunta que los grandes modelos de lenguaje actuales concentran el conocimiento práctico de «almost every scientist who ever lived on this planet» y pueden ofrecer instrucciones detalladas sobre cómo realizar experimentos.
Existen salvaguardas: las empresas que venden fragmentos de ADN sintetizan sus pedidos contra listas de secuencias sospechosas, y los laboratorios responsables someten su investigación a procesos de análisis independiente. Las propias compañías de IA han ajustado sus modelos para limitar el acceso a información sensible. Sin embargo, ninguna de estas barreras es infalible, según el material publicado la semana pasada, y la creciente accesibilidad de herramientas de edición genética y biología sintética - el movimiento «DIY biology» ya ha llevado laboratorios caseros a muchos hogares - complica aún más el panorama.
OpenAI crea un grupo asesor de matemáticos tras resolver más de 100 problemas abiertos con IANoticias
El CEO de Anthropic propone frenar el desarrollo de la IA en tres pasosNoticias
Anthropic denuncia ataques masivos de destilación de modelos por parte de Alibaba, Moonshot AI y DeepSeekNoticiasMore on this from FULGOR
noticias·Documentos judiciales revelan que Microsoft y OpenAI sabían que sus modelos de IA dañarían la web