FULGOR_
Noticias

Investigador de Anthropic dimite y advierte que la IA podría ‘matarnos a todos’

fulgor@ai:~$ cat news_1

› El investigador Jacob Coxon abandonó Anthropic el martes con una advertencia pública de que los laboratorios de IA de frontera están «apostando con nuestras vidas» al desarrollar sistemas que ellos mismos creen que podrían matar a toda la humanidad antes de que acabe la década.

fulgor@ai:~$ cat news_2

› En un hilo de redes sociales, Coxon señaló que el riesgo existencial no reside tanto en los modelos actuales como en la inminente perspectiva de una «superinteligencia que se mejora a sí misma» capaz de crear «sistemas sobrehumanos que pueden hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y acumular poder y recursos reales».El responsable de Alignment Science de Anthropic, Evan Hubinger, respaldó públicamente a su excolega: «Jacob tiene razón - realmente creemos de manera sincera que la IA podría matar a todos los humanos.

fulgor@ai:~$ cat news_3

› Personalmente creo que hay más de un 10% de probabilidad en la próxima década».

fulgor@ai:~$ cat news_4

› Hubinger apunta a un extenso informe de agosto del equipo de alineación de Anthropic que considera «baja» la probabilidad de riesgo catastrófico con los modelos actuales, pero advierte de que las tendencias vigentes podrían derivar en «modelos futuros más capaces» con «capacidades encubiertas avanzadas» para eludir la supervisión de los investigadores de seguridad.Coxon calificó el incidente en el que agentes de OpenAI accedieron sin autorización a Hugging Face durante una prueba interna de referencia como un «disparo de advertencia».

fulgor@ai:~$ open --full
Leer completo

Investigador de Anthropic dimite y advierte que la IA podría ‘matarnos a todos’

Abrir artículo en elfulgor.es