Nová technológia dokáže vymeniť výrazy tváre v reálnom čase

Pamätajte si, že Bizarro World "Myidol" aplikácia, ktorá šla vírusové tento rok na jar, pretože jeho schopnosť používať softvér na rozpoznávanie tváre, aby sa digitálny avatar, ktorý vyzerá a pohybuje sa presne väčšinou ako vy? To sa chystá stať sa skutočnosťou … tak trochu.

Výskumní pracovníci v Stanforde prišli na to, ako preniesť výrazy tváre jednej osoby na inú osobu v reálnom čase prostredníctvom videa.

Model uvedený v demonštračnom videu v Stanforde používa pre každého herca iba PC pre spotrebiteľov a hĺbkovú kameru, čo znamená, že nemusíte potrebovať fantastické vybavenie na spustenie tohto tromp l’oeil, stačí len zložité algoritmy.

Výskumníci vyvinuli nový real-time algoritmus, ktorý berie vysokokvalitné vizualizácie tvárí každého účastníka a používa ich na transponovanie výrazov od „zdrojového herca“ (osoby poskytujúcej výrazy tváre a / alebo reči) „cieľovému hercovi“ (osoba, ktorej tvár bude manipulovať podľa toho, čo robí zdrojový herec). Vizuálne informácie zdrojového herca prechádzajú programom a dostávajú sa na vrchole video streamu cieľového herca, takže vyzerá to, že cieľový herec sa usmieva, rozpráva, vyplazuje si jazyk alebo čokoľvek iné na mysli.

Vďaka sérii referenčných bodov zmapovaných okolo tváre (podobne ako aplikácia Myidol), typy vizuálnych informácií meraných systémom zahŕňajú tvar tváre a funkcie (ako sú vaše oči, nos, ústa, a dokonca aj vrásky), ako aj textúra a hĺbka tváre. Program potom zodpovedá referenčným bodom zdrojového herca cieľovému hercovi a prekrýva tieto výrazy do cieľa pre hyperrealistický informačný kanál.

Vzhľadom k tomu, že tento systém je stále v prácach (a bolo použité celkom primárne zariadenie), konečné výsledky sú stále trochu nezvyčajné - podobne ako semi-rušivé umelé zuby program navrstvený dovnútra ústnych úst, takže tam nie je otvorená čierna diera, keď je to “ otvorené “(pozri vyššie)… ako aj druh prázdneho vzhľadu v očiach cieľa. Ale to sú malé hranolky v porovnaní s tým, čo pre nás znamená vývoj tohto programu.

Tu je pár nápadov na to, čo by sme mohli použiť pre túto technológiu:

• Na Skype máte dôležitý pracovný pohovor a nie ste oblečený na úspech. Stačí použiť fantáziu vyzerajúci stojan, zatiaľ čo poskytujete výrazy tváre a odpovede na rozhovor s vrahom.

• Sledujete živú prednášku špičkového profesora v Nemecku - jediným problémom je, že nehovoríte po nemecky. Bez obáv, vďaka prekladateľovi v reálnom čase, ktorý používa tento softvér, môžete sledovať, ako sa jej profilovia dostavia do vášho rodného jazyka bez toho, aby sa vo vizuálnom obraze zdržiavalo otrasné dabovanie.

Sledujte výraz-swap v akcii: