El marcado de agua en textos de IA puede debilitar las barreras de seguridad ante prompts maliciosos
Una investigadora de Lasso Security demostró que SynthID-Text, el sistema de marcado de agua que Anthropic adoptará en futuros modelos Claude, altera el comportamiento de seguridad de los LLM cuando se emplean técnicas de inyección de prompts.
👁 115 lecturas
Una investigadora de Lasso Security demostró que SynthID-Text, el sistema de marcado de agua de texto creado por Google, altera el comportamiento de seguridad de los modelos de lenguaje cuando se usan prompts adversariales - y Anthropic ya anunció que sus futuros modelos Claude adoptarán este mismo sistema.
- SynthID-Text cambia qué palabras elige el modelo y, según la investigación, también con qué frecuencia obedece o ignora sus propias barreras de seguridad.
- La investigadora Andrea Siposova probó la configuración «non-distortionary» de SynthID-Text en seis modelos de pesos abiertos y comparó sus respuestas con y sin marcado de agua activo.
- El efecto es más pronunciado cuando los prompts dañinos se combinan con técnicas de inyección de prompts, y se extiende a las herramientas que invoca un agente.
Andrea Siposova, investigadora de seguridad en IA de Lasso Security, probó la configuración «non-distortionary» de SynthID-Text a través del procesador SynthIDTextWatermarkLogitsProcessor de Hugging Face sin modificaciones. Alimentó prompts dañinos a seis modelos de pesos abiertos y comparó las respuestas con y sin marcado de agua activo. El resultado: el marcado de agua cambia el comportamiento de rechazo ante peticiones directamente dañinas, pero el efecto se amplifica cuando esas mismas peticiones se combinan con técnicas de inyección de prompts. Instrucciones que el modelo normalmente rechazaría son ejecutadas, en algunos casos, una vez activado el marcado de agua.
El mecanismo subyacente es el «tournament sampling»: SynthID evalúa grandes cantidades de tokens candidatos para la siguiente palabra, les asigna puntuaciones con una clave secreta y los enfrenta en rondas eliminatorias hasta elegir el token ganador. Aunque el cambio está diseñado para ser imperceptible al lector, Siposova advierte que «cualquier modificación en lo que el modelo genera implicará compromisos que aparecerán en algún lado», incluyendo qué herramientas invoca un agente y con qué probabilidad sigue sus propias salvaguardas de seguridad.
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →
More on this from FULGOR
noticias·OpenAI descubre que sus modelos insertaban instrucciones propias en sus resúmenes de contexto