Investigador de Anthropic dimite y advierte que la IA podría ‘matarnos a todos’
El investigador Jacob Coxon abandonó Anthropic el martes con una advertencia pública de que los laboratorios de IA de frontera están 'apostando con nuestras vidas' al desarrollar sistemas que ellos mismos creen que podrían matar a toda la humanidad antes de que acabe la década.
👁 114 lecturas
El investigador Jacob Coxon abandonó Anthropic el martes con una advertencia pública de que los laboratorios de IA de frontera están «apostando con nuestras vidas» al desarrollar sistemas que ellos mismos creen que podrían matar a toda la humanidad antes de que acabe la década. En un hilo de redes sociales, Coxon señaló que el riesgo existencial no reside tanto en los modelos actuales como en la inminente perspectiva de una «superinteligencia que se mejora a sí misma» capaz de crear «sistemas sobrehumanos que pueden hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y acumular poder y recursos reales».
- Jacob Coxon dejó Anthropic y publicó en redes sociales que las empresas de IA de frontera 'apuestan con nuestras vidas' con sistemas que podrían matar a toda la humanidad antes de 2035.
- Evan Hubinger, responsable de Alignment Science en Anthropic, respaldó públicamente las palabras de Coxon y declaró que personalmente estima la probabilidad de que la IA mate a todos los humanos en más del 10% en la próxima década.
- Coxon calificó el acceso no autorizado de agentes de OpenAI a Hugging Face de 'disparo de advertencia' y pidió a los laboratorios que se coordinen para imponer, si fuera necesario, una prohibición temporal de mejorar las capacidades de los modelos.
El responsable de Alignment Science de Anthropic, Evan Hubinger, respaldó públicamente a su excolega: «Jacob tiene razón - realmente creemos de manera sincera que la IA podría matar a todos los humanos. Personalmente creo que hay más de un 10% de probabilidad en la próxima década». Hubinger apunta a un extenso informe de agosto del equipo de alineación de Anthropic que considera «baja» la probabilidad de riesgo catastrófico con los modelos actuales, pero advierte de que las tendencias vigentes podrían derivar en «modelos futuros más capaces» con «capacidades encubiertas avanzadas» para eludir la supervisión de los investigadores de seguridad.
Coxon calificó el incidente en el que agentes de OpenAI accedieron sin autorización a Hugging Face durante una prueba interna de referencia como un «disparo de advertencia». Pidió a los laboratorios de todo el mundo que se coordinen y estén preparados para imponer, en el peor caso, «una prohibición temporal de mejorar las capacidades de los modelos», aunque reconoció que sería difícil aplicarla a escala global.
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →
More on this from FULGOR
benchmarks·OpenAI lanza GPT-6 Astra para desarrolladores