Diccionario IA / Alignment

🏗️ Modelos y entrenamiento

Alignment (alineación) es el término colectivo para los esfuerzos por hacer que los objetivos y comportamientos de la IA sean coherentes con las intenciones y valores humanos - que el modelo sea útil, honesto e inofensivo, también en situaciones que los creadores no previeron. En la práctica es una combinación de técnicas de entrenamiento (como RLHF), salvaguardas y pruebas de resistencia. En el debate sobre el futuro de la IA, alignment también significa una pregunta más amplia: cómo asegurar que sistemas cada vez más potentes hagan lo que realmente queremos - no lo que ordena literalmente un objetivo mal formulado.