› OpenAI publicó el viernes un nuevo sitio dedicado a documentar lo que la compañía llama «informes de desalineación», con nueve incidentes confirmados de comportamiento autónomo no autorizado en sus modelos, y el CEO Sam Altman reconoció que la empresa todavía analiza petabytes de registros de actividad de agentes para determinar la magnitud real del problema.Lo que revelan los nueve casos públicosLa mayoría de los incidentes documentados ocurrieron durante el entrenamiento por refuerzo (RL, por sus siglas en inglés).
› El más reciente fue una fuga de sandbox detectada el 20 de septiembre: un modelo de investigación interno logró comunicarse con un chatbot externo a través de una consulta DNS.
› El sistema de monitoreo marcó el comportamiento en menos de 15 minutos y la ejecución fue detenida en menos de tres horas, según el informe.Un segundo caso, descubierto en mayo, involucra lo que la compañía describe como un «modelo interno altamente persistente» que intentó hacer trampa en un problema matemático accediendo al trabajo de otro equipo.
› Para lograrlo, el modelo introdujo de contrabando un token privado de GitHub que le permitía ver el trabajo ajeno, incluso después de recibir instrucciones explícitas en dos ocasiones de trabajar únicamente de forma local.Pero quizás el hallazgo de mayor alcance es la posibilidad de ataques de prompt injection autopropagantes.