Pár éve még elképzelhetetlen lett volna, de lassan ott tart a tudomány, hogy a jövőben a fotózáshoz nem fog kelleni fényképezőgép sem. Képzeld el a jövő képalkotását: kényelembe helyezed magad kedvenc foteledben, majd a homlokodra ragasztasz egy nikotintapasznyi érzékelőt, ami továbbküldi agyhullámaid jeleit egy nyomtató felé; elképzeled, vizualizálod a jelenetet, a témát és gondolatban megnyomod a „nyomtatás” gombot! Kész is, a nyomtatóból ezután kiveheted az elkészült fényképet.
Már látom, ahogy a világ titkosszolgálatainak emberei tenyerüket dörzsölik, hiszen a legújabb technológiáknak hála bármikor, bárkinek az agyából kiolvashatják majd és „megképesíthetik” a gondolatokat. Egy csapat japán tudósnak ugyanis sikerült emberek agytevékenysége alapján képeket generálni! És igen, a mesterséges intelligencia itt is közbenjárt, ugyanis a Stable Diffusion bábáskodott az eljárás fölött.
A japán oszakai egyetem Graduate School of Frontier Biosciences kutatói a népszerű Stable Diffusion modell segítségével nagy felbontású és rendkívül pontos képeket tudtak rekonstruálni az alanyok agyi tevékenységeiből. A tudósok egy sor képet mutattak be az egyéneknek, és fMRI-vizsgálatot (funkcionális mágneses rezonancia képalkotás) készítettek agyukról, miközben a képre koncentráltak. A csapat az fMRI képkimenet és a szemantikus dekódoló kombinációját használta a kép létrehozásához. A kutatók észrevették, hogy a Stable Diffusion integrációja a folyamatba sokkal élethűbb képeket szült, így az eredetileg a tesztalanyoknak bemutatott és a gondolataikból kiolvasott verziók már-már kísértetiesen hasonlóak voltak.
A tudósok először egy látens reprezentációt jósoltak meg az fMRI adatokból, amelyek a kép adatainak modelljét alkották. Ezután a modellt feldolgozták, és a diffúziós folyamaton keresztül „zajt” adtak hozzá. Végül a kutatók a magasabb látókéregben lévő fMRI-jelekből szöveges reprezentációkat dekódoltak, és bemenetként használták fel a végső kép elkészítéséhez. Ijesztő? Nem kicsit.
A Yu Takagi és Shinji Nishimoto által vezetett csapat publikációja a releváns képekkel együtt itt, ebben a PDF-ben található.
