FULGOR_
Panorama de la IA

Por qué la IA nunca aprenderá a decir no de forma fiable

fulgor@ai:~$ cat news_1

› El MIT Technology Review ha publicado un exhaustivo análisis que advierte de algo incómodo: los mecanismos industriales con los que los modelos de IA rechazan peticiones peligrosas son probabilísticos por naturaleza y, pese a miles de millones de dólares en inversión, jamás ofrecerán una garantía absoluta de seguridad.El punto de partida se remonta a 2021, cuando el equipo de Anthropic formuló el principio de que los modelos de lenguaje debían ser útiles, honestos y, sobre todo, inofensivos.

fulgor@ai:~$ cat news_2

› La premisa parecía sencilla: si un usuario pide instrucciones para fabricar una bomba, la IA debe negarse con amabilidad.

fulgor@ai:~$ cat news_3

› El problema es que decir "no" no es algo natural para un modelo.

fulgor@ai:~$ cat news_4

› Entrenado con miles de millones de páginas web, el sistema absorbe un conocimiento inmenso sobre violencia y métodos para causar daño, pero no aprende por sí mismo a mantener esa información oculta.Steven Adler, que formó parte del departamento de seguridad de OpenAI entre 2020 y 2024, reconoció sin rodeos que los primeros modelos de la compañía "hablaban por los codos sobre cualquier tema".

fulgor@ai:~$ open --full
Leer completo

Por qué la IA nunca aprenderá a decir no de forma fiable

Abrir artículo en elfulgor.es