Google hat ein neues KI-Modell zur Videoerzeugung namens Lumiere entwickelt, das ein Diffusionsmodell namens Space-Time-U-Net (STUNet) verwendet. Mit diesem Modell kann Lumiere die Position von Objekten in einem Video bestimmen und feststellen, wie sie sich im Laufe der Zeit bewegen und verändern. Im Gegensatz zu anderen Methoden, die Standbilder zusammenfügen, erstellt Lumiere Videos in einem einzigen Prozess. Es beginnt mit der Erstellung eines Basisbildes und verwendet dann STUNet, um die Bewegung von Objekten anzunähern und eine nahtlose Bewegung zu erzeugen. Lumiere erzeugt 80 Einzelbilder im Vergleich zu den 25 Einzelbildern der Konkurrenz. Google’s Lumiere ist ein bedeutender Fortschritt in der KI-Videogenerierung und nähert sich realistischen Videos an. Es konkurriert mit Plattformen wie Runway und Stable Video Diffusion. Lumiere bietet auch Funktionen wie Bild-zu-Video-Erzeugung, stilisierte Erzeugung, Cinemagraphs und Inpainting. Es gibt jedoch Bedenken hinsichtlich des potenziellen Missbrauchs dieser Technologie, und Google räumt ein, dass Werkzeuge erforderlich sind, um Verzerrungen und böswillige Anwendungsfälle zu erkennen.
