Vnútri pincreen je tajná rozšírená realita a CGI

Rozšírená realita a výmena tvárí sa zdajú byť horúcimi kandidátmi na ďalšie mobilné aplikácie; Pozrite sa na nákupy služby MSQRD alebo Snapchat od spoločnosti Looksery. Ale jeden AR startup s názvom Pinscreen, v súčasnosti podporovaný vo výške 1,8 milióna dolárov z Lux Capital a Colopl VR fondu, sa snaží robiť veci inak v tejto oblasti. obrátený hovoril výhradne k zakladateľovi pincreen Hao Li o tom, čo by mohlo byť pre túto tajnú spoločnosť.

Možno ste nepočuli o Hao Li, ale tento výskum USC Assistant Professor ste pravdepodobne videli vo viacerých filmoch. Pri práci v štúdiu vizuálnych efektov Industrial Light & Magic, Li pomohol vyvinúť niektoré nástroje, ktoré umožnili zachytávanie výkonu v reálnom čase. Myšlienka bola, že herec mohol sedieť v prednej časti počítača s webovou kamerou, vystupovať na scéne, a potom by sa tento výkon v reálnom čase preložil na znak CG.

Li uskutočnil rozsiahly výskum aj v iných oblastiach, vrátane tvorby 3D modelov reálnych ľudí v reálnom čase a zachytenia dôležitých častí ich podobnosti, najmä tváre a vlasy. Najnovšie, Li predvádzal výskum, ktorý on a iní robili v zachytiť výkon od osoby len s jedným fotoaparátom, a prekladať, že na digitálny charakter.

Najprv to nie je tak nové. Vo vývoji už existuje niekoľko riešení na sledovanie tvárí, a to ako pre mobilné aplikácie, tak aj pre oveľa sofistikovanejšie systémy, ako je napríklad Faceshift (zakúpené spoločnosťou Apple v roku 2015). Mnohé z nich sa však spoliehajú na hĺbkové snímače, ktoré Li technológia nevyžaduje. Tento prístup je veľmi odlišný.

„Ak máte snímač hĺbky, stačí len optimalizovať parametre modelu tváre tak, aby model zodpovedal 3D vstupu čo najbližšie,“ vysvetľuje Li. „Ale v prípade čistého RGB vstupu sa celý svet premieta na dvojrozmerný obraz bez známych parametrov kamery, ako sú ohniskové vzdialenosti. Z tohto premietaného obrazu je preto potrebné vyvodiť presný model 3D tváre a byť schopný zvládnuť širokú škálu svetelných podmienok, ako aj vzhľad rôznych predmetov. “

Preto je dôležitý Liov výskum 3D avatarov. Pri mapovaní ľudskej tváre má veľa mapovacích programov problémy s vizuálnymi prekážkami, ako sú vlasy a okuliare. Aby sa tomuto problému predišlo, Pinscreen „vytvoril hlbokú konvolučnú neurónovú sieť, ktorá sa môže naučiť segmentovať oblasť tváre v úplne neobmedzenom obraze.“

Takže, čo je to pincreen pomocou tejto bláznivej modernej technológie pre?

„Budeme novým typom sociálnej mediálnej / komunikačnej platformy s niektorými zaujímavými schopnosťami AR,“ hovorí Li. "Nebude to aplikácia ako Snapchat šošovky alebo MSQRD, čo je pre väčšinu ľudí zaujímavé len pár minút."

Takže to nie je o nič viac, než len bzučanie. Pri pohľade hlbšie však jeho predchádzajúce práce naznačujú, že dúfajú, že sa im podarí vyvinúť schopnosť sledovať niekoho tvár napriek všetkým vlasom, okuliarom alebo iným objektom, ktoré bránia pohľadu na jediný fotoaparát. Pridajte si v niektorej rozšírenej realite a limit neba pre filmy, sociálne médiá a hry.

Znie to dosť prelomovo, ale je dôležité poznamenať, že Li a jeho tím nie sú jediní, ktorí v tejto oblasti skúmajú. Disney nedávno predstavil svoj pohľad na zachytenie výkonu tváre v reálnom čase, ako aj niektorí ďalší výskumníci s nástrojom s názvom Face2Face. Je tu aj spomínaný Faceshift, spolu s Facebook a Snapchat, ktorí tiež začali demonštrovať svoje výrobky.

Čo robí technológiu Pincreen inou? Li navrhuje, aby jeho riešenie bolo „omnoho robustnejšie a môže odvodiť presnejšie 3D modely, pretože explicitne manipulujeme s oklúziami“.

„Našou najvýznamnejšou inováciou je technológia, ktorá nám umožňuje vybudovať kompletný 3D model hlavy vrátane vlasov z akéhokoľvek obrázku automaticky,“ uvádza. „Tento typ úlohy tradične vyžaduje kvalifikovaného CG modelára a riggera na výrobu, ale môžeme ho vytvoriť úplne automaticky. Najnovšie články prezentované na SIGGRAPH (popredná konferencia počítačovej grafiky a interaktívnych techník) tiež vyžadujú viac vstupných obrazov ako vstup - zameriavame sa na riešenie s minimálnou požiadavkou na vstup, jeden 2D obraz. “

Samozrejme, kým ľudia nevidia a nepoužijú žiadnu aplikáciu z pincreen, porota sa nezmení o svojich možnostiach. Rozdiel je však v tom, že Li má za sebou pevnú históriu výskumu a inovácií, najmä pri tvorbe digitálnych avatarov.

Li je jednoznačne presvedčený o možnostiach spoločnosti Pinscreen v priestore sociálnych médií. „Keďže naša technológia bude demokratizovať generáciu 3D avatarov, bude to mať zjavné aplikácie v hrách, VR / AR aplikácie pre pohlcujúcu komunikáciu, alebo AI agentov,“ hovorí, „ale myslím si, že vytvoríme tú najlepšiu aplikáciu sami, čo je sociálna mediálna platforma, ktorú vyvíjame.

„A čo je najdôležitejšie,“ dodáva, „chceme vybudovať niečo, čo ľuďom umožní vytvoriť naozaj zaujímavý obsah bez potreby dnešného drahého potrubia VFX a môže používať naozaj zábavný obsah AR na vzájomné spojenie.“

Znie to, akoby pincreen zahŕňal celú škálu technológií, na ktorých pracoval Li a jeho tím. Ale, hovorí, to je len časť plánu. „Tech demo je naozaj len vlastnosťou toho, čo plánujeme používať,“ poznamenáva. „Pincreen bude niečo oveľa väčšie a technológia bude na začiatku zaujímavou vlastnosťou. Budeme tiež úplne iní ako iná platforma sociálnych médií. “

Pre túto chvíľu je Pincreen stále trochu tajomstvom a vyzerá to, že budeme musieť čakať, kým uvidíme, čo majú v obchode.