Hiába a modern szenzortechnológia, a képérzékelők messze nem tökéletesek, így a róluk érkező adatfolyam sem makulátlan. Az egyik, illetve talán „a” legkomolyabb hibajelenség, ami negatívan befolyásolja a képminőséget, az maga a zaj, illetve a „rossz” pixelek (beragadt, kiégett – érted). A Samsung ezeket a „rakoncátlan, színes pixeleket” egy újfajta eljárással óhajtja kiszűrni, amihez a neurális hálózatok segítségét hívják a mérnökök. Girish Kalyanasundaram, a Samsung egyik szakértője az International Conference on Computer Vision and Image Processing (Nemzetközi Konferencia a Számítógépes Látás- és Képfeldolgozásról) konferencián fejtette ki a rendszer működését. Az eredmények pedig igen bíztatóak, hiszen szinte 100%-os pontosság érhető el vele (csupán 0,045%-os a pixelvétés).
Kép forrása: Kalyanasundaram G., Pandey P., Hota M. (2021) A Pre-processing Assisted Neural Network for Dynamic Bad Pixel Detection in Bayer Images. In: Singh S.K., Roy P., Raman B., Nagabhushan P. (eds) Computer Vision and Image Processing. CVIP 2020. Communications in Computer and Information Science, vol 1377. Springer, Singapore. https://doi.org/10.1007/978-981-16-1092-9_43
Minél nagyobb a Bayer-színszűrővel ellátott képérzékelők felbontása, annál nagyobb a nemkívánatos zaj megjelenésének esélye – ez a jelenség az okostelefonokban alkalmazott, jellemzően kisebb méretű lapkákra halmozottan érvényes. Bármilyen is legyen a zaj jellege, az a pixel intenzitásának torzításához vezet, ami megint csak a szubjektív és objektív képminőség romlásához vezet. A „rossz pixelnek” is nevezett zajpixelek statikusak, vagy dinamikusak lehetnek. A statikusak azok a permanens defektet felmutató pixelek, amelyek mindig ugyanazon helyen találhatók, s ugyanolyan intenzitásúak (beragadt pixelek) – ezek korrekciója viszonylag egyszerű, hiszen koordinátájuk elraktározható a szenzor memóriájában, így a képalkotás során korrigálhatók. A dinamikus rossz pixelek térben is időben változnak, ami megnehezíti felismerésüket és korrekciójukat.
Az efféle dinamikus rossz pixelek eltávolítása ezért a Samsung szerint proaktív módon kell, hogy történjen, tehát olyan rendszerre van szükség, ami ezeket megjelenésükkor felismeri, és el is távolítja. A kutatók két különböző neurális hálózati architektúrával tesztelték a koncepció életképességét, majd megállapították, hogy mindkét eljárás sikeres lehet (az egyik azonban több hamis pozitív találatot produkált).
Kép forrása: Kalyanasundaram G., Pandey P., Hota M. (2021) A Pre-processing Assisted Neural Network for Dynamic Bad Pixel Detection in Bayer Images. In: Singh S.K., Roy P., Raman B., Nagabhushan P. (eds) Computer Vision and Image Processing. CVIP 2020. Communications in Computer and Information Science, vol 1377. Springer, Singapore. https://doi.org/10.1007/978-981-16-1092-9_43
A neurális hálózatok alkalmazása tehát hatékonyan segítheti a képminőséget, azonban még mindig van hely hova fejlődni, mivel a „rossz pixelek” felismerése – egyelőre – nem tökéletes, de már így is óriási különbség tapasztalható a szűrt és a szűrés nélküli felvételek minőségén. A fejlesztések, kutatások még zajlanak, egyelőre nem tudni, hogy mikor kerülhet be ez a technológia az okostelefonokba. (Forrás: petapixel.com)
