Táto neurónová sieť AI od Nvidia vytvára fotorealistické falošné obrázky

Na prvý pohľad vyzerá vrchný obrázok ako obyčajná fotografia obyčajnej ulice, ktorá je buď z palubnej dosky, alebo z niekoho takého hlúpeho, že sa môže vydať na cestu, aby si vyfotil takúto svetskú scénu.

Ale pozrite sa trochu bližšie. Všimnite si, ako je dopravný signál mierne pokrivený, alebo ako sa niektoré autá zdajú byť rozmazané? Je tu niečo zlé. Nie je to vôbec fotografia. Je to obraz, ktorý bol vytvorený výlučne A.I.

Počítačoví vedci z technologickej spoločnosti Nvidia a Kalifornskej univerzity, Berkeley, napísali výskumný dokument, ktorý je k dispozícii v predtlači na arXiv a podrobne opisuje, ako boli schopní získať neurónovú sieť na vytvorenie realistických pouličných obrazov a ľudských portrétov. Zahrnuli aj používateľské rozhranie, ktoré vám umožní vylepšiť obrázky, ale chcete pridať ďalšie listy alebo dokonca zmeniť počasie.

„Hry sa rýchlo rozrastajú, pretože ľudia milujú vzájomnú interakciu vo virtuálnych prostrediach,“ hovorí Ming-Yu Liu, senior vedec spoločnosti Nvidia. obrátený e-mailom. „Budovanie virtuálnych svetov je však s dnešnými technológiami drahé, pretože vyžaduje, aby umelci explicitne modelovali a simulovali textúru a osvetlenie sveta, v ktorom stavajú. S prekladom z obrazu do obrazu môžeme namiesto toho ochutnať skutočný svet na vytvorenie virtuálnych svetov. “

Neurónové siete sú počítače modelované tak, aby fungovali ako ľudský mozog tým, že v nich získavajú informácie, uplatňujú ich a učia sa z výsledkov. Tento výskum využíval špeciálne typy neurónových sietí, ktoré predstavil Ian Goodfellow v roku 2014, nazývané generatívne sporné siete - alebo GAN - ktoré sa vo všeobecnosti skladajú z dvoch sietí, generátora a diskriminátora.

Generátor dostane fotografie a začne vytvárať syntetické obrazy podobné tým, ktoré boli dané. Potom ukazuje zmes obrazov, ktoré im boli dané, a falzifikáty diskriminátorovi, ktorého úlohou je odlíšiť ich od seba. Ako tento proces pokračuje, generátor sa stáva lepší pri napodobňovaní originálnych obrazov a diskriminátor sa stáva lepšie pri odhaľovaní falzifikátov. Výsledky sú dosť presvedčivé - a úplne falošné - obrázky.

Tento výskum je založený na tradičnom modeli GAN pridaním rozdelenia generátorových a diskriminačných sietí do niekoľkých čiastkových sietí, čo umožňuje výstup obrázkov s vyšším rozlíšením. Neurónové siete sú tiež schopné prijať sémantickú mapu - alebo plán, ako má vyzerať fotografia - a vyplniť textúry autonómne. Užívatelia môžu dokonca ísť do plánu a zmeniť veci, ak chcú pridať miesto namiesto stromov budovy do ulíc budovy alebo zväčšiť oči na portréte.

Práca porovnáva svoje výsledky s podobnými experimentmi vykonanými pomocou tejto metódy, najpozoruhodnejším z nich je pix2pix. Štúdia Nvidia a UC Berkeley je schopná vytvárať obrázky s detailmi tak malými a precíznymi ako čitateľné poznávacie značky, zatiaľ čo pix2pix produkuje obrazy, ktoré takmer vyzerajú ako akvarely.

Kým tento nástroj by mohol byť použitý na získanie nejakej voľnej karmy reddit s niekoľkými exotickými fotografiami, autori vidia obrovský potenciál pri využívaní tohto prístupu na generovanie realistickej grafiky s jednoduchým modelom.

Stovky hodín usilovnej práce idú do generovania virtuálnych svetov na použitie v Mapách Google, filmoch a videohrách. Liu hovorí, že tento model by mohol slúžiť ako spôsob, ako bezbolestne získať väčšinu projektovania a potom ísť ďalej a vylepšiť detaily neskôr.

„Namiesto toho, aby sme ho explicitne modelovali, môžeme svet implicitne vybudovať pomocou prekladu medzi obrázkami, aby sme mohli preložiť medzi jednoduchým modelom sveta, ktorý neobsahuje žiadnu textúru ani osvetlenie, a fotorealistický výstup., Táto schopnosť by mala oveľa lacnejšie budovať virtuálne svety, “hovorí obrátený.

Pre ďalší krok v tomto výskume, tím dúfa, že preskúma video-to-video preklad, ktorý by používal neurónové siete na vytvorenie realistických videí. Cieľom, ktorý Lui povedal, vyzval výskumníkov v tejto oblasti.

Teraz viete, ako ľahko možno vytvoriť falošné obrázky. Neverte všetkému, čo vidíte na obrázkoch Google.