Lumiere es un modelo de difusión de vídeo propuesto por investigadores de Google, el Instituto Weizmann de Ciencias y la Universidad de Tel Aviv. Su objetivo es generar vídeos realistas y estilizados con la posibilidad de editarlos. Los usuarios pueden introducir texto o subir imágenes fijas para transformarlas en vídeos dinámicos. También admite funciones como inpainting, cinemagraphs y generación estilizada. Lumiere adopta un enfoque diferente al de los modelos existentes, ya que genera toda la duración temporal del vídeo de una sola vez, lo que da lugar a un movimiento más realista y coherente. Se ha entrenado con un conjunto de datos de 30 millones de vídeos y es capaz de generar 80 fotogramas a 16 fps. En comparación con otros modelos de vídeo de IA, Lumiere produce vídeos de 5 segundos con mayor magnitud de movimiento, coherencia temporal y calidad general. Sin embargo, tiene limitaciones y no puede generar vídeos con múltiples tomas o transiciones de escenas. Lumiere aún no está disponible para pruebas, pero resulta prometedor en el mercado del vídeo con IA, que evoluciona rápidamente.
