Diccionario IA / Moderación de contenidos
🛡️ Seguridad y calidad
Moderación de contenidos
Filtrado automático de entradas y salidas del modelo para detectar contenidos prohibidos.
La moderación en contexto de IA es la revisión automática de contenidos para detectar categorías prohibidas: violencia, contenido sexual, discurso de odio, autolesiones. Los filtros se aplican tanto a lo que el usuario escribe como a lo que el modelo genera - y los sistemas de moderación son en sí modelos de IA. Para creadores de aplicaciones los proveedores ofrecen herramientas de moderación separadas, que conviene conectar antes y después del modelo principal. Para usuarios la moderación es fuente de frustración con falsas alarmas - ella es responsable de rechazos en peticiones inocentes pero ambiguas.
Conceptos relacionados