Inteligentné reproduktory môžu byť zasiahnutí zvukom, povedzte výskumníkom, aby ho zastavili

Čo keby sme vám povedali, že hacker by mohol dať váš Amazon Echo príkaz bez toho, aby ste si toho všimli - alebo dokonca museli urobiť nejaké hackovanie, ako si to normálne myslíme?

Moustafa Alzantot, počítačová veda Ph.D. Los Angeles tvrdí, že je teoreticky možné, aby škodlivý činiteľ poslal konkrétny zvuk alebo signál, ktorý by obyčajne úplne nevšimli ľudia, ale aby algoritmy hlbokého učenia A.I.

„Jedným z príkladov útoku by bolo ovládanie vášho domáceho zariadenia bez toho, aby ste vedeli, čo sa deje,“ hovorí Alzantot obrátený, „Ak hráte nejakú hudbu v rádiu a máte vo svojej izbe sedenie Echo. Ak je škodlivý hráč schopný vysielať vytvorený zvukový alebo hudobný signál tak, aby ho Echo interpretoval ako príkaz, útočníkovi by to umožnilo povedať, odomknúť dvere alebo niečo kúpiť. “

Je to útok známy ako príklad kontradiktórnosti, a to je to, čo sa Alzantot a zvyšok jeho tímu snažia zastaviť, ako je popísané v ich novinách, ktoré boli nedávno prezentované v dielni NIPS 2017 Machine Deception.

Ad interim nie je iná ako ľudská inteligencia, ktorá ju vytvorila na prvom mieste: má svoje nedostatky. Výskumní pracovníci v oblasti počítačovej vedy prišli na to, ako tieto systémy úplne oklamať tým, že mierne zmenia pixely na fotografii alebo pridajú slabé zvuky do zvukových súborov. Tieto drobné vylepšenia sú pre človeka úplne nezistiteľné, ale úplne menia to, čo A.I. počuje alebo vidí.

„Tieto algoritmy sú navrhnuté tak, aby sa pokúsili klasifikovať to, čo bolo povedané, aby na to mohli konať,“ hovorí Mani Srivastava, počítačový vedec UCLA. obrátený, „Snažíme sa zvrátiť proces manipuláciou so vstupom takým spôsobom, že človek v blízkosti počuje„ nie “, ale stroj počuje„ áno “. Takže môžete algoritmus vynútiť, aby interpretoval príkaz inak, než bolo povedané.

Najbežnejšími spornými príkladmi sú tie, ktoré sa týkajú algoritmov klasifikácie obrázkov, alebo úpravou fotografie psa tak ľahko, aby sa A.I. je to niečo úplne iné. Výskum Alzantot a Srivastava poukázal na to, že algoritmy rozpoznávania reči sú tiež citlivé na tieto typy útokov.

V práci skupina použila štandardný systém klasifikácie reči, ktorý sa nachádza v otvorenej knižnici spoločnosti Google, TensorFlow. Ich systém mal za úlohu klasifikovať jedno-slovné príkazy, takže by počúval zvukový súbor a snažil sa ho označiť slovom, ktoré bolo povedané v súbore.

Potom kódovali ďalší algoritmus, aby sa pokúsili napodobniť systém TensorFlow pomocou príkladov kontroverzie. Tento systém bol schopný oklamať klasifikáciu reči A.I. 87 percent času využíva tzv. Čierny box útok, v ktorom algoritmus nemusí ani vedieť nič o dizajne toho, čo útočí.

"Existujú dva spôsoby, ako pripojiť tieto druhy útokov," vysvetľuje Srivastava. „Jedným z nich je, keď ja ako protivník vediem všetko o prijímajúcom systéme, takže teraz môžem vytvoriť stratégiu na využitie týchto poznatkov, to je útok na biely box. Náš algoritmus nevyžaduje poznanie architektúry modelu obete, čo z neho robí útok na čiernu skrinku. “

Útoky čiernej skrinky sú zjavne menej účinné, ale sú to tiež tie, ktoré by sa s najväčšou pravdepodobnosťou použili pri útokoch v reálnom živote. Skupina UCLA dokázala dosiahnuť takú vysokú mieru úspešnosti 87 percent, aj keď neupravili svoj útok tak, aby využili slabé miesta vo svojich modeloch. Útok na biely box by bol o to účinnejší pri riešení tohto typu A.I. Virtuálni asistenti, ako je napríklad Alexa, však nie sú jedinými vecami, ktoré by sa dali využiť na základe príkladov.

„Stroje, ktoré sa spoliehajú na to, že vychádzajú zo zvuku, by sa mohli zmiasť,“ povedal Srivastava. "Je zrejmé, že Amazon Echo a taká je jeden príklad, ale existuje veľa ďalších vecí, kde sa zvuk používa na vyvodenie záverov o svete." Máte senzory spojené s alarmovými systémami, ktoré vydávajú zvuk. “

Uvedomenie si, že systémy umelej inteligencie, ktoré prijímajú zvukové podnety, sú tiež náchylné na protichodné príklady, je o krok ďalej v uvedomovaní si, aké silné sú tieto útoky. Kým skupina nebola schopná stiahnuť vysielaný útok, ako je ten, ktorý opísal Alzantot, ich budúca práca sa točí okolo toho, ako je to možné.

Hoci tento výskum testoval iba obmedzené hlasové príkazy a formy útokov, zdôraznil možnú úctu vo veľkej časti spotrebiteľských technológií. To slúži ako odrazový mostík pre ďalší výskum v obhajobe proti príkladom kontroverzie a výučbe A.I. ako ich rozoznať.