Az OpenAI a mesterséges intelligenciára épülő, Sora névre keresztelt, szöveges leírásból mozgóképeket generáló rendszerét mutatta be, ami már szinte hihetetlenül szofisztikált és élethű videókat produkál. A látottak alapján merem állítani, hogy még pár év, és már nem lesz szükség hús-vér ember színészekre, de az biztos, hogy a mostani filmanimációk sokkal élethűbbek lehetnek majd. A rövid szöveges leírások alapján is fotorealisztikus mozgóképet generáló rendszer a diffúziós modellek működési elvét használja, tehát statikus zajból indul a kép, ami aztán lépésenként alakul át lélegzetelállító filmekké.
Videó és címlapkép forrása: OpenAI
„A Sora képes egyszerre teljes videókat generálni, vagy kiterjeszteni a generált videókat, hogy azok még hosszabbak legyenek. Azáltal, hogy a modell egyszerre több képkockát is előre „lát”, megoldódott az a kihívást jelentő probléma, hogy a téma ugyanaz maradjon, még akkor is, ha ideiglenesen eltűnik a látómezőből” – mondja az OpenAI képviselője. A fenti videó például a következő pársoros leírás alapján készült: „Egy stílusos nő sétál egy tokiói utcán, amely tele van melegen izzó neonfénnyel és fényreklámokkal. Fekete bőrdzsekit, hosszú piros ruhát és fekete csizmát visel, valamint fekete erszényt hord. Napszemüveget és piros rúzst visel. Magabiztosan és lazán sétál. Az utca vizes és tükröződik, ami tükörhatást kelt a színes fényekből. Sok gyalogos látható még körülötte.”.
A Sora képes összetett jelenetek generálására, ahol több mozgó objektum, vagy karakter sem okoz gondot még akkor sem, ha bizonyos típusú mozgásokat a háttér részleteivel együtt ismételni kell. A modell ugyanis nem csak a szöveges leírást érti, hanem azt is, hogyan működik a fizikai, valós világ. A Sora több felvételt is készíthet egyetlen generált videón belül, amelyek pontosan megőrzik a karaktereket és a vizuális stílust. A Sora új, és mint ilyen, még messze nem tökéletes. Az OpenAI fejlesztői tisztában vannak ezzel: problémásak lehetnek még például az összetett jelenetek fizikáját szimuláló részek, és előfordulhat, hogy nem érti meg teljesen az ok-okozati összefüggéseket a rendszer. A felvételeken látszik, hogy – a MI képgenerátorok „jó szokásához” híven – problémás még a kezek lemodellezése és animálása. Azonban hatalmas potenciállal rendelkezik a rendszer, ami a jövőben elképesztő dolgokra lehet majd képes. (Forrás: petapixel.com)
