Diccionario IA / Lip-sync

🎨 Imagen, vídeo y sonido

El lip-sync en contexto de IA es el ajuste automático del movimiento de labios de un personaje en vídeo a la pista de audio superpuesta. El modelo analiza el sonido y modifica los labios (y a menudo toda la mímica) para que parezca que el personaje realmente pronuncia esas palabras. Es la tecnología detrás de la nueva generación de doblaje - la película "habla" en idioma extranjero con los labios del actor - y de avatares parlantes para cursos y marketing. En dúo con la clonación de voz ofrece el paquete completo de hablante sintético, con todas sus consecuencias buenas y malas.