Nový systém umelej inteligencie spoločnosti Alibaba „EMO“ vytvára z fotografií realistické hovoriace a spievajúce videá

Illustrate an image that represents an advanced AI system, named EMO, in the style of digital and friendly animation, such as commonly found in late 20th century children's films. Show the AI converting audio into video, animating a portrait photo to realistically mimic talking and singing. To depict this, use elements such as fluctuating sound waves passing into a hi-tech device that has a calm portrait emerging from the other side showing various expressions. The portrait looks incredibly real and is talking in sync with the sound waves. Note that the aspect ratio should be 3:2 and the overall mood of the image should be positive and light.

Alibaba’s Institute for Intelligent Computing vyvinul systém umelej inteligencie s názvom EMO, ktorý dokáže animovať jednu portrétovú fotografiu a generovať realistické hovoriace alebo spievajúce videá. Systém využíva prístup priamej syntézy zvuku do videa, čím obchádza potrebu 3D modelov alebo orientačných bodov tváre. Systém EMO využíva difúzny model a bol vycvičený na súbore údajov obsahujúcom viac ako 250 hodín videí s hovoriacimi hlavami. Prekonáva existujúce metódy z hľadiska kvality videa, zachovania identity a expresivity. EMO dokáže generovať aj spievajúce videá s vhodnými tvarmi úst a výrazmi tváre. Systém dokáže vytvárať videá s ľubovoľnou dĺžkou trvania na základe dĺžky vstupného zvuku. Pretrvávajú však etické obavy týkajúce sa možného zneužitia tejto technológie. Výskumníci plánujú preskúmať metódy na detekciu syntetických videí.

Celý článok

Pridaj komentár