Google ha desarrollado un nuevo modelo de IA de generación de vídeo llamado Lumiere, que utiliza un modelo de difusión llamado Space-Time-U-Net (STUNet). Este modelo permite a Lumiere determinar la ubicación de los objetos en un vídeo y cómo se mueven y cambian con el tiempo. A diferencia de otros métodos que cosen fotogramas fijos, Lumiere crea vídeos en un solo proceso. Comienza creando un fotograma base y luego utiliza STUNet para aproximar el movimiento de los objetos, creando un movimiento sin interrupciones. Lumiere genera 80 fotogramas, frente a los 25 de sus competidores. Google’Lumiere es un avance significativo en la generación de vídeos con IA, que se acerca más a los vídeos realistas. Compite con plataformas como Runway y Stable Video Diffusion. Lumiere también ofrece funciones como generación de imagen a vídeo, generación estilizada, cinemagraphs e inpainting. Sin embargo, preocupa el posible mal uso de esta tecnología, y Google reconoce la necesidad de herramientas para detectar sesgos y casos de uso malintencionados.
