Kandinsky 6 y Wan 2.2: vídeos con una influencer de IA

👁 116 lecturas

Creé 5 influencers de IA a partir de imágenes (lo cuento en la prueba Influencers de IA con aspecto natural) y ahora les he dado vida. Cada una protagoniza un vídeo vertical de 5 segundos en el que dice una frase en polaco mirando al móvil. Los generé localmente con una RTX 4090 y tres modelos: Kandinsky 6.0 Lite y Pro, que crean imagen y voz, y Wan 2.2 5B, que genera solo la imagen. Los movimientos y los rostros parecen los de vídeos grabados con el móvil. La voz en polaco sigue siendo un punto débil: Whisper reconoció una media del 65 % de las palabras con el mejor modelo. La prueba se hizo en polaco; no mide el rendimiento en español.

Cómo hice la prueba

1. Usé un selfie de cada personaje creado con FLUX.2 Klein 4B, que en la prueba de imágenes me pareció el más natural y tiene licencia Apache 2.0.
2. Escribí para cada personaje una frase de 7-10 palabras y una breve descripción de lo que hace y de los sonidos de fondo.
3. En Kandinsky usé la imagen como primer fotograma, una descripción de la escena con la frase entre las etiquetas <S>...<E> y una descripción del sonido aparte. En Wan usé la misma descripción, pero sin sonido.
4. Formato de 480×864 en Kandinsky y 544×960 en Wan, con 121 fotogramas, es decir, 5 segundos.
5. Procesé el audio de cada clip con Whisper large-v3 y calculé cuántas palabras de la frase se entendían.

Este fue el prompt de vídeo, adaptado al español a partir del prompt original probado en polaco. La prueba real se hizo en polaco, no con esta traducción:

Vídeo vertical de selfie grabado con un móvil de la mujer de la imagen de referencia, con la misma cara, la misma ropa y en el mismo lugar. Algunos mechones de pelo le cruzan la cara por el viento; sonríe al móvil, mira a la cámara y dice en polaco: <S>Hace un viento tremendo, pero nos espera Morskie Oko. ¡Vamos!<E> Movimiento natural de cámara en mano, aspecto realista, sin filtros.

Sonido: viento fuerte de montaña, su voz enérgica

Clips: 5 personajes y 3 modelos

Para cada personaje, los clips aparecen en este orden: Kandinsky Pro, Kandinsky Lite y Wan 2.2. Los clips de Kandinsky tienen sonido generado por el modelo; los de Wan son mudos. Las frases mostradas a continuación son traducciones al español de las frases probadas en polaco. Las transcripciones entre paréntesis también son traducciones de lo que reconoció Whisper; no son transcripciones de audio en español.

Kasia, corredora de Gdańsk: «Diez kilómetros antes de desayunar. ¿Quién corre conmigo mañana?»

Amara, bloguera gastronómica de Breslavia: «Hoy, pierogi con arroz jollof. Suena raro, ¡pero está buenísimo!»

Halina, aficionada a la jardinería de Łódź: «Este año han salido muchas zanahorias. ¡Te invito a mi huerto!»

Mei, crítica de tecnología de Cracovia: «Estoy probando unos auriculares nuevos. Mañana, la reseña en el canal»

Zofia, guía de Zakopane: «Hace un viento tremendo, pero nos espera Morskie Oko. ¡Vamos!»

Voz en polaco: qué se entiende

Las frases de la tabla son traducciones al español de las frases originales probadas en polaco. Los porcentajes corresponden al reconocimiento de esas frases en polaco, no a una prueba en español.

Pro pronuncia las frases en polaco mejor que Lite de media, aunque no en todos los clips: en el de la guía de Zakopane, Lite llegó al 88 % y Pro se quedó en el 38 %. Ningún modelo es infalible. Los errores afectan sobre todo a palabras con sonidos difíciles del polaco y a nombres poco habituales, como «jollof rice». Las frases cortas y sencillas funcionan mejor: Lite pronunció casi sin errores «Hace un viento tremendo, pero nos espera Morskie Oko. ¡Vamos!». Para vídeos cortos de Instagram, donde de todos modos se suelen añadir subtítulos, Pro puede bastar. Para intervenciones más largas, es mejor generar la voz de IA por separado y añadirla al vídeo.

Comparativa de modelos

* Un clip de Pro tardó 40 minutos porque otro programa estaba usando la tarjeta gráfica. Medí todos los tiempos con la tarjeta parcialmente ocupada. Con la tarjeta libre, los clips anteriores tardaron unos 2 min con Kandinsky Lite y unos 6,5 min con Pro (prueba de Kandinsky 6.0 en local).

Qué salió bien y qué salió mal

• El rostro se parece a la imagen. Los tres modelos conservaron las pecas, las gafas, los peinados y la ropa del primer fotograma. Solo en Wan la corredora parece algo más joven al final del clip.
• Movimiento como el de un vídeo grabado con el móvil. La cámara se balancea ligeramente, una mano se aparta el pelo y los personajes entrecierran los ojos con el sol. Ninguno posa como en un anuncio.
• Gestos raros. En el clip de Wan, la bloguera gastronómica se acerca una cuchara con un pierogi casi hasta la nariz. La crítica de tecnología apenas se mueve delante del espejo.
• Palabras en polaco. En un clip de Lite, «pierogi» se convirtió en una palabra malsonante que prefiero no citar. Antes de publicar un clip, escúchalo hasta el final.

Cómo repetir la prueba en tu equipo

1. Crea una imagen del personaje siguiendo las pautas de la prueba Influencers de IA con aspecto natural.
2. Instala Kandinsky 6 en ComfyUI (consulta la guía de Kandinsky 6.0 en local) y abre la plantilla «Image to Video+Audio».
3. Carga la imagen en «Load Image», ajusta la anchura a 480 y la altura a 864, cambia enabled a false en «Beautify Prompt» y escribe una descripción con la frase entre <S>...<E>.
4. Escribe frases cortas, de 6-10 palabras y sin nombres extranjeros. Genera 2-3 versiones y elige aquella en la que se entiendan todas las palabras.
5. Elige Wan 2.2 5B (plantilla «Wan 2.2 5B ti2v») si quieres un clip sin voz, por ejemplo, para añadir música.

Recuerda indicar que el contenido se ha creado con IA. Explico cómo hacerlo en el apartado sobre etiquetado de la prueba de imágenes.

Preguntas frecuentes

¿Se puede crear gratis una influencer de IA que hable?

Sí, en local. Kandinsky 6.0 (MIT) y Wan 2.2 (Apache 2.0) son gratuitos y permiten el uso comercial. Necesitas una tarjeta NVIDIA con 24 GB de VRAM. Kandinsky Pro también requiere 64 GB de RAM.

¿Qué modelo habla mejor en polaco?

Kandinsky 6.0 Pro: reconoció una media del 65 % de las palabras en mis 5 clips. Lite llegó al 57 %. Wan 2.2 no genera sonido.

¿Cuánto pueden durar los clips?

Los modelos se entrenaron para generar clips de 5 segundos. Para crear un vídeo más largo, puedes unir varios clips y usar el último fotograma de uno como inicio del siguiente.

¿Cuánto tarda la generación?

En una RTX 4090, entre unos 1,5 min con Lite o Wan y unos 7 min con Pro para generar un clip de 5 segundos.

Fuentes

• Kandinsky 6.0 en Hugging Face (licencia MIT)
• Wan 2.2 TI2V 5B en Hugging Face (licencia Apache 2.0)
• Prueba propia con una RTX 4090, 17 de octubre de 2026: 15 clips, Whisper large-v3.

// sigue leyendoMovimiento de cámara en Gemini Omni 1.2: plano secuencia y FPVBenchmarksEditar fotos con IA: Krea 3 vs FLUX 3 Klein vs Nano BananaBenchmarksNemotron 3.5 Super VL vs Step 5: Pesos, licencias y testBenchmarks