Grupo Alibaba crea técnica "Animate Anyone" para videos realistas

Alibaba Group desarrolla una técnica de generación de videos de personas a partir de imágenes

Investigadores del Instituto de Computación Inteligente del Grupo Alibaba han desarrollado una nueva técnica de generación de videos que permite crear videos realistas de cualquier persona a partir de una sola imagen. Esta técnica, llamada "Animate Anyone", representa un avance significativo en comparación con los sistemas anteriores de generación de imágenes a video.

Mejoras en la generación de videos

La técnica de generación de videos de Alibaba comienza extrayendo detalles faciales, patrones y posturas de una imagen de referencia, como una fotografía de moda de un modelo vistiendo un vestido en venta. Luego, se crean una serie de imágenes en las que estos detalles se mapean en posturas ligeramente diferentes, que pueden ser capturadas por movimiento o extraídas de otro video.

Los modelos anteriores mostraron que esto era posible de hacer, pero había muchos problemas. La generación de detalles plausibles, como el movimiento de una manga o el cabello cuando una persona se mueve, resultaba en imágenes extrañas y poco convincentes. Sin embargo, "Animate Anyone" ha logrado mejorar significativamente esta técnica, aunque aún está lejos de ser perfecta.

El nuevo modelo de Alibaba se enfoca en la retención de detalles básicos y finos, lo que permite que las imágenes generadas tengan una base sólida y produzcan mejores resultados. Aunque aún existen desafíos, como la representación precisa de los ojos y las manos, este avance representa un gran salto en comparación con los modelos anteriores.

Resultados prometedores

Los investigadores de Alibaba han demostrado los resultados de su técnica en varios contextos. Los modelos de moda pueden adoptar posturas arbitrarias sin deformaciones ni pérdida de patrones en la ropa. Una figura de anime en 2D cobra vida y baila de manera convincente. Incluso Lionel Messi realiza algunos movimientos genéricos.

Aunque los resultados aún no son perfectos, especialmente en lo que respecta a los ojos y las manos, este avance muestra el potencial de la técnica de generación de videos. Sin embargo, también plantea preocupaciones sobre el mal uso de esta tecnología, ya que con una sola imagen de alta calidad, una persona malintencionada podría hacer que alguien haga cualquier cosa en un video.

Limitaciones y futuros desarrollos

Aunque "Animate Anyone" representa un gran avance, todavía existen limitaciones. El modelo tiene dificultades para seguir el ritmo de movimientos rápidos o cuando la persona se da la vuelta. Además, el código y la demostración de la técnica aún no se han lanzado públicamente, ya que los desarrolladores están trabajando en su preparación.

A pesar de las preocupaciones sobre el mal uso potencial de esta tecnología, los investigadores de Alibaba están comprometidos a proporcionar acceso a la demostración y al código fuente. Sin embargo, no se ha especificado una fecha exacta para su lanzamiento.

En conclusión, la técnica de generación de videos "Animate Anyone" desarrollada por Alibaba representa un avance significativo en la generación de videos realistas a partir de imágenes. Aunque todavía hay limitaciones y preocupaciones sobre su mal uso, este avance muestra el potencial de la tecnología y plantea preguntas sobre la autenticidad de los videos en el futuro.