Innovación | IA

Tencent lanza DynamiCrafter, su revolucionario modelo de generación de videos

Tencent lanza una nueva versión de su modelo de generación de videos DynamiCrafter

La gigante de internet china, Tencent, ha presentado una nueva versión de su modelo de generación de videos de código abierto, DynamiCrafter, en GitHub. Esta noticia demuestra que algunas de las mayores empresas tecnológicas de China han estado aumentando discretamente sus esfuerzos para hacerse un hueco en el espacio de la conversión de texto e imágenes a video.

El modelo DynamiCrafter utiliza el método de difusión para convertir subtítulos e imágenes estáticas en videos de varios segundos. Inspirado en el fenómeno natural de la difusión en la física, los modelos de difusión en el aprendizaje automático pueden transformar datos simples en datos más complejos y realistas, de manera similar a cómo las partículas se mueven de una zona de alta concentración a otra de baja concentración.

Segunda generación de DynamiCrafter con mejoras en la resolución

La segunda generación de DynamiCrafter está generando videos con una resolución de píxeles de 640×1024, una mejora con respecto a su lanzamiento inicial en octubre, que presentaba videos de 320×512 píxeles. Un artículo académico publicado por el equipo detrás de DynamiCrafter señala que su tecnología se diferencia de la de sus competidores en que amplía la aplicabilidad de las técnicas de animación de imágenes a un "contenido visual más general".

Según el artículo, la clave es utilizar la prioridad del movimiento de los modelos de difusión de texto a video incorporando la imagen en el proceso generativo como guía. En comparación, las técnicas "tradicionales" se centran principalmente en animar escenas naturales con dinámicas estocásticas (como nubes y fluidos) o movimientos específicos del dominio (como cabello humano o movimientos corporales).

Comparativa de DynamiCrafter con otros modelos

En una demostración que compara DynamiCrafter, Stable Video Diffusion (lanzado en noviembre) y el recientemente popularizado Pika Labs, el resultado del modelo de Tencent parece tener un poco más de animación que los demás. Sin embargo, las muestras elegidas favorecerían a DynamiCrafter, y ninguno de los modelos, después de mis primeros intentos, da la impresión de que la IA pronto podrá producir películas completas.

A pesar de esto, los videos generativos se han convertido en el próximo punto focal en la carrera de la IA después del auge de los textos e imágenes generativos. Por lo tanto, se espera que las startups y las empresas tecnológicas destinen recursos al campo. Esto no es una excepción en China. Además de Tencent, la empresa matriz de TikTok, ByteDance, Baidu y Alibaba han lanzado sus propios modelos de difusión de videos.

ByteDance, Baidu y Alibaba también se suman a la carrera de los videos generativos

Tanto MagicVideo de ByteDance como UniVG de Baidu han publicado demos en GitHub, aunque ninguno parece estar disponible para el público todavía. Al igual que Tencent, Alibaba ha lanzado su modelo de generación de videos VGen de código abierto, una estrategia cada vez más popular entre las empresas tecnológicas chinas que esperan llegar a la comunidad global de desarrolladores.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Resilientes

Empresas de logística se mantienen fuertes a pesar de desaceleración

A pesar de la desaceleración en la financiación de la robótica, el impulso en empresas de almacenes y logística se mantiene fuerte debido a la...

Lanzamiento

Ex cofundador de OpenAI lanza Safe Superintelligence Inc. en Palo Alto

Ilya Sutskever, ex cofundador de OpenAI, ha lanzado Safe Superintelligence Inc. (SSI) con un enfoque en la seguridad de la IA. La empresa, con sede...

Redes

Snap presenta modelo de difusión de imágenes en tiempo real

Snap ha presentado un modelo de difusión de imágenes en tiempo real para dispositivos que genera experiencias de realidad aumentada vívidas. También ha lanzado herramientas...

Innovación

DeepMind crea tecnología V2A para bandas sonoras automáticas en videos

DeepMind, laboratorio de IA de Google, desarrolla tecnología V2A para generar bandas sonoras automáticas para videos. La herramienta sincroniza música, efectos de sonido y diálogos...

Innovación

Perplexity y Tako revolucionan búsqueda con resultados visuales directos

Perplexity mejora su motor de búsqueda con resultados visuales directos para consultas factuales como el tiempo y la conversión de divisas. La startup colabora con...

Tecnología

TikTok presenta avatares de IA generativa para creadores y marcas

TikTok presenta avatares de IA generativa para creadores y marcas, incluyendo avatares personalizados y de stock, así como una herramienta de doblaje de IA para...

Éxito

Tempus, empresa de pruebas genómicas debuta con éxito en Nasdaq

Tempus, empresa de pruebas genómicas fundada por Eric Lefkosky, debutó en Nasdaq con éxito a pesar de una valoración reducida. Se enfoca en inteligencia artificial...

Nombramiento

Paul Nakasone se une al consejo de OpenAI por ciberseguridad

El exjefe de la NSA, Paul Nakasone, se unirá al consejo de OpenAI para aportar su experiencia en seguridad y protección. Su incorporación refleja el...