AI & computing › Generatieve AI & synthetische media
Google geeft ontwikkelaars meer grip op AI-video met Gemini Omni 1.1 Flash
Google DeepMind heeft een nieuwe versie van zijn videogeneratiemodel Gemini Omni uitgebracht. Gemini Omni 1.1 Flash laat ontwikkelaars scènes verlengen, camerabewegingen sturen met start- en eindbeeld en video's opschalen naar 4K. Het model moet AI-video geschikt maken voor professionele productie in plaats van alleen losse experimenten.
Google DeepMind heeft een update uitgebracht voor Gemini Omni, het AI-model waarmee ontwikkelaars video's laten genereren. De nieuwe versie, Gemini Omni 1.1 Flash, moet generatieve AI geschikt maken voor professionele videoproductie. Ontwikkelaars krijgen meer grip op lengte, camerabewegingen en beeldkwaliteit van AI-gegenereerde video's. Het model is vanaf nu te gebruiken via de Gemini API in Google AI Studio en op het Gemini Enterprise Agent Platform.
Video's verlengen zonder de rode draad te verliezen
Een van de belangrijkste nieuwe functies is scene-extensie: het naadloos doortrekken van een bestaande video. Voorheen keek het model maar naar de laatste seconde van een clip om te bepalen hoe het verder moest. Gemini Omni 1.1 Flash analyseert nu tot tien seconden aan voorafgaande beelden. Daardoor blijven personages, achtergronden en verhaallijnen beter herkenbaar wanneer een scène wordt voortgezet. Ontwikkelaars kunnen video's in stappen van tien seconden verlengen, tot een totale lengte van veertig seconden. Dat maakt langere, samenhangende verhalen mogelijk, iets wat eerdere versies van het model niet aankonden.
Sturen met start- en eindbeeld
Nieuw is ook de mogelijkheid om het eerste en laatste beeld van een shot vast te leggen. Het model vult vervolgens zelf de tussenliggende beelden in, een techniek die bekendstaat als keyframe-interpolatie. Dat is handig voor ingewikkelde camerabewegingen, zoals een draaiende opname rond een object, of voor video's die naadloos in een lus moeten lopen. Waar ontwikkelaars eerder afhankelijk waren van uitgebreide tekstprompts om een camerabeweging te beschrijven, geven ze nu simpelweg het begin- en eindplaatje mee.
Ook kunnen ontwikkelaars tot drie seconden bestaand videomateriaal als videoreferentie meegeven. Zo blijft bijvoorbeeld het uiterlijk van een personage consistent, ook als het in een compleet nieuwe scène verschijnt.
Goedkoop schetsen, scherp opleveren
Voor het testen van ideeën voegt Google een goedkopere modus toe. Video's in 360p-resolutie worden tot 60 procent sneller gegenereerd en kosten een derde van een render in de standaardresolutie van 720p. Dat maakt het betaalbaarder om snel meerdere versies van een video uit te proberen voordat er een definitieve keuze wordt gemaakt. Voor het eindresultaat kunnen ontwikkelaars vervolgens kiezen voor video-upscaling naar 1080p of zelfs 4K, de resolutie die nodig is voor professionele producties.
Volgens Google is de update vooral bedoeld voor bedrijven die zelf creatieve softwaretools of videomontageprogramma's bouwen bovenop multimodale AI-modellen. Door camerabewegingen, lengte en resolutie los van elkaar te kunnen instellen, moet AI-gegenereerde video minder als een gokspel aanvoelen en meer als gereedschap waarmee je gericht naar een eindresultaat toewerkt.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Deze update laat zien dat AI-videogeneratie verschuift van een experimentele curiositeit naar een gereedschap voor professionele productie. Doordat ontwikkelaars scènes gericht kunnen verlengen, camerabewegingen kunnen vastleggen met start- en eindbeelden en goedkoop kunnen prototypen, wordt het haalbaar om complete filmpjes, reclames of trainingsvideo's grotendeels met AI te maken. Dat kan de kosten en tijd voor videoproductie fors verlagen, maar vergroot ook de kans op overtuigende, volledig gegenereerde beelden.
- Generatieve AI
- Kunstmatige intelligentie die zelf nieuwe content maakt, zoals tekst, beeld of video, in plaats van bestaande content alleen te analyseren.
- Scene-extensie
- Een techniek waarbij een AI-model een bestaande video naadloos verlengt door aan te sluiten op eerdere beelden.
- Keyframe-interpolatie
- Het automatisch invullen van alle beelden tussen een opgegeven start- en eindbeeld van een video.
- Video-upscaling
- Het omzetten van een video met lagere resolutie naar een scherpere, hogere resolutie zoals 1080p of 4K.
- Multimodaal AI-model
- Een AI-model dat meerdere soorten input en output aankan, zoals tekst, beeld, video en geluid tegelijk.
- API
- Een programmeerinterface waarmee software van ontwikkelaars kan communiceren met een dienst, in dit geval het Gemini-videomodel.
- Resolutie (360p, 720p, 4K)
- De mate van scherpte van een video, uitgedrukt in het aantal beeldpunten; hogere waarden geven een scherper beeld maar kosten meer rekenkracht.
- Videoreferentie
- Bestaand videomateriaal dat aan een AI-model wordt meegegeven om het uiterlijk of de stijl van personages consistent te houden.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
