Hoy os hablo de una nueva herramienta que va a revolucionar la generación de videos con IA.
StoryDiffusion: Revoluciona la generación de videos y comics, mantiene una consistencia increíble en la representación de los personajes y detalles a lo largo de múltiples imágenes y secuencias de video.
StoryDiffusion es un proyecto innovador de código abierto que aborda el desafío de generar secuencias de imágenes y vídeos consistentes utilizando modelos de difusión.
Introduce dos componentes novedosos: Atención Propia Consistente y un Predictor de Movimiento Semántico.
El mecanismo de Atención Propia Consistente mejora la coherencia entre las imágenes generadas, asegurando que los sujetos y detalles complejos permanezcan cohesionados a lo largo de una serie. Esto se logra construyendo conexiones entre múltiples imágenes en un lote durante el proceso de generación. Para ampliar esta capacidad a la generación de vídeos, el Predictor de Movimiento Semántico estima las condiciones de movimiento entre dos imágenes dadas en un espacio semántico comprimido. Esto permite transiciones más suaves y sujetos más estables, especialmente para secuencias de vídeo más largas.
Al combinar estos componentes, StoryDiffusion puede generar historias visuales impresionantes, incluyendo secuencias de imágenes consistentes, cómics y vídeos, basados en indicaciones textuales. Abre emocionantes posibilidades para aplicaciones en entretenimiento, educación y otros ámbitos creativos.
StoryDiffusion puede crear VIDEOS de largo alcance utilizando un Predictor de Movimiento Semántico. Este predictor estima los movimientos entre imágenes en un espacio semántico comprimido. Resultado: transiciones ultrasuaves y personajes súper estables, ¡incluso en videos largos!
Puede crear imágenes y videos tanto a partir de una descripción de texto como a partir de una imagen inicial, como las pruebas que hacen con fotogramas de Sora.
StoryDiffusion crea cómics en diversos estilos a través de la propuesta de autoatención consistente, manteniendo estilos y atuendos de personajes consistentes para una narración cohesiva.
Lo mejor: ¡StoryDiffusion es opensource!
Puedes probarlo gratis aquí: https://huggingface.co/spaces/YupengZhou/StoryDiffusion
Paper: https://arxiv.org/abs/2405.01434
Web del proyecto: https://storydiffusion.github.io/