Key Takeaways
- Nvidia je nedavno pokazala tehniku koja pretvara 2D fotografije u 3D scene u samo nekoliko sekundi.
- Metoda koristi kompjutersku snagu za aproksimaciju kako se svjetlost ponaša u stvarnom svijetu.
- Metaverzum je jedno područje u kojem su 3D scene od pomoći jer se mogu gledati iz bilo koje perspektive kamere.
Nvidijina tehnologija umjetne inteligencije (AI) uskoro bi mogla pretvoriti 2D fotografije u 3D scene u samo nekoliko sekundi, čineći stvaranje impresivnih virtuelnih prostora poput metaverzuma trivijalnim poput obrade teksta.
Nvidia je nedavno demonstrirala foto metod pod nazivom Instant NeRF, koji koristi računarsku snagu da bi aproksimirao kako se svjetlost ponaša u stvarnom svijetu. Može pretvoriti vaše stare fotografije u scenu iz video igrice ili se može koristiti za obuku robota i samovozećih automobila kako bi razumjeli veličinu i oblik objekata iz stvarnog svijeta.
"3D slikanje donosi novi svijet transformacije", rekao je za Lifewire Oren Debbi, izvršni direktor Visionary.ai, kompanije za kompjuterski vid koja pokreće svoje 3D algoritme na Nvidia platformi. "Koristeći 3D, oponašate dubinu stvarnog svijeta u sceni i činite sliku življom i realnijom. Osim AR/VR i industrijskih kamera, gdje je 3D vrlo čest, sada vidimo da se koristi na skoro svakom pametnom telefonu bez korisnik čak zna."
Dodavanje dimenzija
Prva instant fotografija, snimljena prije 75 godina Polaroid kamerom, imala je za cilj da brzo uhvati 3D svijet u 2D slici. Sada, istraživači AI rade na suprotnom: pretvaraju kolekciju fotografija u digitalnu 3D scenu za nekoliko sekundi.
Poznat kao inverzno renderovanje, proces koristi AI za aproksimaciju kako se svetlost ponaša u stvarnom svetu, omogućavajući istraživačima da rekonstruišu 3D scenu iz nekoliko 2D slika snimljenih pod različitim uglovima. Nvidia tvrdi da je razvila pristup koji ovaj zadatak postiže gotovo trenutno.
Nvidia je koristila ovaj pristup sa novom tehnologijom koja se zove neuronska polja zračenja, ili NeRF. Kompanija kaže da je rezultat, nazvan Instant NeRF, najbrža NeRF tehnika do sada. Modelu je potrebno samo nekoliko sekundi da se uvježba na nekoliko desetina fotografija, a zatim može renderirati rezultirajuću 3D scenu u roku od nekoliko desetina milisekundi.
"Ako su tradicionalne 3D reprezentacije poput poligonalnih mreža srodne vektorskim slikama, NeRF-ovi su poput bitmap slika: gusto hvataju način na koji svjetlost zrači iz objekta ili unutar scene", David Luebke, potpredsjednik za grafička istraživanja u Nvidia je rekla u saopštenju za medije: “U tom smislu, Instant NeRF bi mogao biti jednako važan za 3D kao što su digitalne kamere i JPEG kompresija bile važne za 2D fotografiju – značajno povećavajući brzinu, lakoću i doseg 3D snimanja i dijeljenja.”
Prikupljanje podataka za napajanje NeRF-a zahtijeva od neuronske mreže da uhvati nekoliko desetina slika snimljenih sa više pozicija oko scene, kao i položaj kamere na svakom od tih snimaka.
NeRF trenira malu neuronsku mrežu da rekonstruiše scenu predviđajući boju svetlosti koja zrači u bilo kom pravcu, iz bilo koje tačke u 3D prostoru.
Privlačnost 3D-a
Metaverzum je jedno područje u kojem su 3D scene korisne jer se mogu gledati iz bilo koje perspektive kamere, rekao je Brad Quinton, osnivač Perceptus platforme za proširenu stvarnost (AR), u intervjuu za Lifewire. Baš kao što možemo hodati kroz sobu u stvarnom životu i vidjeti njen sadržaj iz mnogo različitih uglova, sa rekonstruiranom 3D scenom, možemo se virtualno kretati kroz prostor i gledati ga iz bilo koje perspektive.
"Ovo može biti posebno korisno za kreiranje okruženja za korištenje u virtuelnoj stvarnosti", rekao je Quinton.
Programi poput Apple-ovog Object Capture koriste tehniku zvanu fotogrametrija za kreiranje virtuelnih 3D objekata iz serije 2D slika. 3D modeli će se intenzivno koristiti u virtualnoj stvarnosti i AR aplikacijama, predvidio je Quinton. Na primjer, neki AI, poput onog na Perceptus AR platformi, koriste 3D modele za stvaranje razumijevanja stvarnog svijeta, što omogućava AR aplikacije u realnom vremenu.
Upotreba 3D slika također oponaša dubinu stvarnog svijeta u sceni i čini sliku življom i realnijom, rekla je Debbi. Za kreiranje Bokeh efekta (također portretni ili kinematografski način), potrebno je 3D mapiranje dubine. Tehnika se koristi na skoro svakom pametnom telefonu.
"Ovo je već standard za profesionalne videografe koji snimaju filmove, i ovo postaje standard za svakog potrošača", dodala je Debbi.
