› Una investigadora de Lasso Security demostró que SynthID-Text, el sistema de marcado de agua de texto creado por Google, altera el comportamiento de seguridad de los modelos de lenguaje cuando se usan prompts adversariales - y Anthropic ya anunció que sus futuros modelos Claude adoptarán este mismo sistema.Andrea Siposova, investigadora de seguridad en IA de Lasso Security, probó la configuración «non-distortionary» de SynthID-Text a través del procesador SynthIDTextWatermarkLogitsProcessor de Hugging Face sin modificaciones.
› Alimentó prompts dañinos a seis modelos de pesos abiertos y comparó las respuestas con y sin marcado de agua activo.
› El resultado: el marcado de agua cambia el comportamiento de rechazo ante peticiones directamente dañinas, pero el efecto se amplifica cuando esas mismas peticiones se combinan con técnicas de inyección de prompts.
› Instrucciones que el modelo normalmente rechazaría son ejecutadas, en algunos casos, una vez activado el marcado de agua.El mecanismo subyacente es el «tournament sampling»: SynthID evalúa grandes cantidades de tokens candidatos para la siguiente palabra, les asigna puntuaciones con una clave secreta y los enfrenta en rondas eliminatorias hasta elegir el token ganador.