Tencent lanza DynamiCrafter, su revolucionario modelo de generación de videos

Tencent lanza una nueva versión de su modelo de generación de videos DynamiCrafter

La gigante de internet china, Tencent, ha presentado una nueva versión de su modelo de generación de videos de código abierto, DynamiCrafter, en GitHub. Esta noticia demuestra que algunas de las mayores empresas tecnológicas de China han estado aumentando discretamente sus esfuerzos para hacerse un hueco en el espacio de la conversión de texto e imágenes a video.

El modelo DynamiCrafter utiliza el método de difusión para convertir subtítulos e imágenes estáticas en videos de varios segundos. Inspirado en el fenómeno natural de la difusión en la física, los modelos de difusión en el aprendizaje automático pueden transformar datos simples en datos más complejos y realistas, de manera similar a cómo las partículas se mueven de una zona de alta concentración a otra de baja concentración.

Segunda generación de DynamiCrafter con mejoras en la resolución

La segunda generación de DynamiCrafter está generando videos con una resolución de píxeles de 640×1024, una mejora con respecto a su lanzamiento inicial en octubre, que presentaba videos de 320×512 píxeles. Un artículo académico publicado por el equipo detrás de DynamiCrafter señala que su tecnología se diferencia de la de sus competidores en que amplía la aplicabilidad de las técnicas de animación de imágenes a un "contenido visual más general".

Según el artículo, la clave es utilizar la prioridad del movimiento de los modelos de difusión de texto a video incorporando la imagen en el proceso generativo como guía. En comparación, las técnicas "tradicionales" se centran principalmente en animar escenas naturales con dinámicas estocásticas (como nubes y fluidos) o movimientos específicos del dominio (como cabello humano o movimientos corporales).

Comparativa de DynamiCrafter con otros modelos

En una demostración que compara DynamiCrafter, Stable Video Diffusion (lanzado en noviembre) y el recientemente popularizado Pika Labs, el resultado del modelo de Tencent parece tener un poco más de animación que los demás. Sin embargo, las muestras elegidas favorecerían a DynamiCrafter, y ninguno de los modelos, después de mis primeros intentos, da la impresión de que la IA pronto podrá producir películas completas.

A pesar de esto, los videos generativos se han convertido en el próximo punto focal en la carrera de la IA después del auge de los textos e imágenes generativos. Por lo tanto, se espera que las startups y las empresas tecnológicas destinen recursos al campo. Esto no es una excepción en China. Además de Tencent, la empresa matriz de TikTok, ByteDance, Baidu y Alibaba han lanzado sus propios modelos de difusión de videos.

ByteDance, Baidu y Alibaba también se suman a la carrera de los videos generativos

Tanto MagicVideo de ByteDance como UniVG de Baidu han publicado demos en GitHub, aunque ninguno parece estar disponible para el público todavía. Al igual que Tencent, Alibaba ha lanzado su modelo de generación de videos VGen de código abierto, una estrategia cada vez más popular entre las empresas tecnológicas chinas que esperan llegar a la comunidad global de desarrolladores.