Deepfakes nie sú zhodné pre strojové učenie - tu je prečo

Nová forma dezinformácií je pripravená šíriť sa prostredníctvom online komunít, keďže sa v polovici volebných kampaní v roku 2018 zahrieva. Nazvané „deepfakes“ po pseudonymnom online účte, ktorý popularizoval techniku ​​- ktorá si mohla vybrať svoje meno, pretože proces využíva technickú metódu nazývanú „hlboké učenie“ - tieto falošné videá vyzerajú veľmi realisticky.

Doteraz ľudia používali hlboké videá v pornografii a satire, aby sa ukázalo, že slávni ľudia robia veci, ktoré by normálne nemali. Počas sezóny kampane sa však objavia takmer isté prehry, ktoré majú za cieľ zobrazovať kandidátov, ktorí hovoria veci alebo miesta, na ktorých by skutočný kandidát nebol.

Pretože tieto techniky sú také nové, ľudia majú problémy s rozoznaním rozdielu medzi skutočnými videami a videami s hlbokými zábermi. Moja práca, s kolegom Ming-Ching Changom a našou doktorandkou. študent Yuezun Li našiel spôsob, ako spoľahlivo povedať skutočné videá z hlbokých videí. Nie je to trvalé riešenie, pretože technológia sa zlepší. Ale je to začiatok a ponúka nádej, že počítače budú schopné pomôcť ľuďom povedať pravdu z fikcie.

Čo je to „Deepfake“?

Urobiť hlboké video je veľa ako prekladať medzi jazykmi. Služby ako Google Translate používajú strojové učenie - počítačovú analýzu desiatok tisícov textov vo viacerých jazykoch - na detekciu vzorov použitia slov, ktoré používajú na vytvorenie prekladu.

Algoritmy Deepfake pracujú rovnakým spôsobom: používajú typ systému strojového učenia nazývaný hlboká neurónová sieť na skúmanie pohybov tváre jednej osoby. Potom syntetizujú obrazy tváre inej osoby, ktoré robia analogické pohyby. Ak tak urobíte, vytvorí sa video cieľovej osoby, ktorá sa zdá, že robí alebo hovorí veci, ktoré zdrojová osoba urobila.

Skôr, ako môžu pracovať správne, hlboké neurónové siete potrebujú veľa zdrojových informácií, ako sú fotografie osôb, ktoré sú zdrojom alebo cieľom zosobnenia. Čím viac obrázkov sa použije na trénovanie algoritmu hlbokého vyhľadávania, tým realistickejšie bude digitálne zosobnenie.

Detekcia Bliká

V tomto novom type algoritmu sú stále nedostatky. Jeden z nich má čo do činenia s tým, ako simulované tváre blikajú - alebo nie. Zdraví dospelí ľudia blikajú niekde medzi dvoma až desiatimi sekundami a jedno bliknutie trvá jednu desatinu až štyri desatiny sekundy. To je to, čo by bolo normálne vidieť vo videu osoby hovoriacej. Ale to nie je to, čo sa deje v mnohých hlbokofrekvenčných videách.

Keď je algoritmus hĺbkového snímania vycvičený na obrázkoch tváre osoby, závisí to od fotografií, ktoré sú k dispozícii na internete a ktoré možno použiť ako tréningové údaje. Dokonca aj pre ľudí, ktorí sú často fotografovaní, je k dispozícii on-line niekoľko obrázkov, v ktorých sú ich oči zatvorené. Nie sú to len fotky, ktoré sú zriedkavé - pretože oči ľudí sú otvorené väčšinu času - ale fotografi zvyčajne nezverejňujú obrázky, kde sú oči hlavných subjektov zatvorené.

Bez tréningových obrázkov ľudí, ktorí blikajú, algoritmy hlbokej falošnej tvorby menej pravdepodobne vytvárajú tváre, ktoré normálne blikajú.Keď vypočítame celkovú mieru blikania a porovnáme to s prirodzeným rozsahom, zistili sme, že postavy v hlbokofrekvenčných videách blikajú oveľa menej často v porovnaní so skutočnými ľuďmi. Náš výskum využíva strojové učenie na skúmanie otvárania a zatvárania očí vo videách.

Pozri tiež: Hollywood Won’t Cast Cast Asian-American Stars, ale A.I. Strojové učenie môže

To nám dáva inšpiráciu na detekciu hlboko nahraných videí. Následne vytvoríme metódu na zistenie, kedy osoba vo videu bliká. Ak chcete byť konkrétnejší, naskenuje každý snímku daného videa, zistí jeho tváre a potom automaticky vyhľadá oči. Potom využíva inú hlbokú neurónovú sieť na určenie, či je rozpoznané oko otvorené alebo zatvorené, s použitím vzhľadu oka, geometrických znakov a pohybu.

Vieme, že naša práca využíva chyby v údajoch, ktoré sú k dispozícii na trénovanie algoritmov hĺbkového vyhľadávania. Aby sme sa vyhli pádu za podobnú chybu, vyškolili sme náš systém na veľkej knižnici obrazov otvorených aj zatvorených očí. Zdá sa, že táto metóda funguje dobre av dôsledku toho sme dosiahli viac ako 95-percentnú mieru detekcie.

Samozrejme, toto nie je posledné slovo o odhaľovaní hlbokých zhôd. Technológia sa rýchlo zlepšuje a konkurencia medzi generovaním a odhaľovaním falošných videí je podobná šachovej hre. Konkrétne, blikanie môže byť pridané do hlbokých záberov videa zahrnutím obrázkov tváre so zatvorenými očami alebo pomocou videosekvencií na tréning. Ľudia, ktorí sa chcú zamieňať s verejnosťou, budú mať lepšiu podobu pri vytváraní falošných videí - a my a ďalší z technologickej komunity budeme musieť naďalej hľadať spôsoby, ako ich odhaliť.

Tento článok bol pôvodne uverejnený na Konverzácii Siwei Lyu. Prečítajte si pôvodný článok.