2D-s állóképeinkből készít pillanatok alatt teljesen élethű, térbeli jelenetet az nVidia Instant NeRF neurális renderelő technológiája. A folyamat inverz renderelésként is ismert, és lehetővé teszi a mesterséges intelligencia számára, hogy megítélje a fény viselkedését a való világban, amivel pillanatok alatt digitális 3D-s jelenetté lehet alakítani egy állóképsorozatot. Az nVidia kutatócsoportja kifejlesztett egy olyan eljárást, amely rendkívül gyorsan – szinte azonnal – végrehajtja a feladatot; ez az egyik első olyan modell, amely képes kombinálni az ultragyors neurális hálózatokat és a gyors renderelést.
Forrás: nVidia videó
A „NeRF” elnevezés a neurális sugárzási mezőket jelenti, illetve azt a módszert, amellyel összetett jelenetek újszerű nézeteit szintetizálhatjuk egy mögöttes folytonos volumetrikus jelenetfüggvény optimalizálásával, „foghíjas” bemeneti nézetek felhasználásával. Egyszerűbben kifejezve, a NeRF neurális hálózatok használatával építi fel és rendereli a térbeli jeleneteket egyszerű fotósorozatok alapján. A számításokhoz a neurális hálózatba a jelenetről/témáról pár tucatnyi, többféle irányból készített képet, illetve a kamera pozícióit kell betáplálnunk.
„Ha emberek, vagy mozgó elemek vannak a jelenetben, minél rövidebb záridejű képek készítésére kell törekednünk. Ha sok a mozgás a 2D képeken, akkor a MI alkotta 3D jelenet elmosódhat” – mondta az nVidia szakembere. A fentebb említett információk ismeretében a NeRF kvázi az „űrt kitöltve” hozza létre a térbeli jelenetet úgy, hogy közben a tetszőleges irányból érkező fény színét is megjósolja – mindezt ráadásul egy szempillantásnyi idő alatt.
„Ha a hagyományos 3D-s ábrázolásokat – például a sokszögű hálókat – hasonlítjuk a vektoros képekhez, akkor a NeRF-ek olyanok, mint a bittérképes (BMP) képek: sűrűn rögzítik, ahogy a fény egy tárgyról, vagy egy jeleneten belül tükröződik” – mondta David Luebke, az nVidia grafikai kutatásokért felelős alelnöke. „Ebben az értelemben az Instant NeRF ugyanolyan fontos lehet a 3D-ben, mint a digitális fényképezőgépek és a JPEG-tömörítés a 2D-s fotózásban – jelentősen megnöveli a 3D felvételkészítés és a megosztás sebességét, egyszerűségét és elérhetőségét” – folytatta.
Az nVidia azt állítja, hogy az Instant NeRF technológiát felhasználhatjuk a virtuális világok avatárjainak, vagy akár teljes jeleneteinek elkészítésére is: az új eljárás akár ezerszer gyorsabb a korábbi megoldásoknál! A lehetőségeknek szinte csak képzelőerőnk szab határt. (Forrás: petapixel.com, blog.nvidia.com)
