Face the Music: Ako "Eye Conductor" pomáha Paralytics Rock the Fuck Out

Andreas Refsgaard, dizajnér interakcie a tvorivý tvorca žijúci v Amsterdame, navrhol hudobné rozhranie, ktoré umožňuje ľuďom s telesným postihnutím robiť hudbu. Eye Conductor využíva softvér na sledovanie očí a webovú kameru počítača na prekladanie pohybov tváre do rôznych zložiek hudobnej kompozície. Používatelia sa môžu naučiť hrať svoju tvár tvárou, čo znamená, že paralyzovaní ľudia - ľudia, ktorí už nemôžu hrať nástroje - môžu mať druhú šancu urobiť krásne (alebo len hlasné) zvuky. Refsgaardov vynález vynára doslova pohľad. Správny výraz sa vyjadruje nahlas.

Refsgaard hovoril obrátený o motivácii jeho projektu, zápasoch, s ktorými narazil na ceste, a čo sa dozvedel, čo dal ľuďom, ktorí stratili schopnosť urobiť z hudby ďalšiu šancu.

Aké je vaše pozadie s hudbou?

Nechcel by som sa nazývať hudobníkom, pretože hrám len na zábavu, ale hrám na gitaru a basu. Ableton je hudobný program, digitálna pracovná stanica, ktorá je podobná nahrávaciemu softvéru ako Logic alebo Protools alebo Garage Band. Urobil som na ňom kurz a nebol som taký skvelý pri tvorbe hudby, ale bol som fascinovaný možnosťami, ktoré som videl. Potom sme začali spolupracovať a robiť nejaké ďalšie diletantské inštalácie typu inštalácie, kde by navrhol zvuky a ja by som zapojil senzory, napríklad hĺbkovú kameru, takže keď ľudia prechádzali okolo, ovládali by nejaký aspekt projektu.

Takže ste dizajnér interakcie a tvorivý tvorca. Mohli by ste vysvetliť, čo znamenajú tieto tituly?

Všetky veci, ktoré navrhujem, sú interaktívne. Takže ak by som mal urobiť nejaký nábytok, potom by to malo nejakú funkcionalitu, ktorá by na niečo reagovala. Som tiež kreatívny kodér. V porovnaní s mnohými ďalšími ľuďmi - napríklad som študoval v Kodani na Kodanskom inštitúte interakčného dizajnu, kde ľudia pochádzajú z mnohých rôznych prostredí - som trochu viac smerom k kódujúcej strane. Tiež sa nazývam „kreatívnym kóderom“, pretože nie som správny kódovač. Nie som v tom dobrý, ale môžem urobiť nejaké veci naozaj rýchlo a môžem spojiť veci a som dobrý pri príchode s novými nápadmi.

Čo vás inšpirovalo k tomu, aby ste pomohli ľuďom s telesným postihnutím robiť hudbu?

Po dvoch alebo troch mesiacoch na strednej škole som bola správcom pre niekoho so svalovou dystrofiou. Byť s ním po celú dobu som si uvedomil niektoré veci, s ktorými som mu nemohol pomôcť. Jeden z nich sa tvorivo vyjadril. Nebolo to, že som si myslel: „Dobre, tu je problém, ktorý musím vyriešiť,“ pretože v tom čase som bol mladý a nemal som žiadne odborné zručnosti. Ale so mnou to uviazlo.

A čo z hľadiska technickej inšpirácie?

Projekt s názvom Eyewriter som videl asi pred rokom je maľba program, ktorý bol navrhnutý pre chlapa, ktorý býval graffiti umelec, ale potom bol ochrnutý. Niektorí z jeho priateľov boli programátori a vytvorili pre neho nástroj na sledovanie očí, vďaka ktorému bol schopný kresliť. A potom, odkedy som si hrával so senzormi a hudobným softvérom, som sa pripojil. Urobil som to ako môj posledný projekt v škole.

Ako hudba skončila ako kreatívne pole, ktoré ste chceli preskúmať?

Myslím, že snáď preto, že sa mi veľmi páči hudba a čas na projekt. Bolo jasné, že hudba, s ktorou som chcela pracovať, bola. Potom som bol inšpirovaný Eyewriterom z hľadiska tvorby grafiky.

Hudba sa zdá byť skvelou voľbou, pretože je univerzálna. Nemôžem myslieť na nikoho, kto nemá rád hudbu.

Na začiatku som chcel skutočne vyskúšať, aká dôležitá bola hudba pre skupinu, pre ktorú som navrhoval. Prvé kroky boli len pozorovanie, ako ľudia s rôznymi telesnými postihnutiami komunikujú s hudbou. Jeden domov, ktorý som navštívil, mal vo štvrtok hudbu. Niektorí môžu trochu písať alebo hrať trochu na klávesnici a niektorí nemôžu nič robiť vôbec, ale faktom je, že sa objavia vo štvrtok v Music.

Medzi pozorovaním a následným vytvorením prístroja, ako dlho to trvalo?

Často by to v procese návrhu boli dve samostatné veci, ale tento prístup sa mi nepáči. Páči sa mi stavba od samého začiatku a potom, keď hovorím o tom, čo som postavil. A potom ho upravujem alebo vylepšujem.

Aké to bolo vidieť ľudí, ktorí ho prvýkrát používajú?

Bolo to celkom pekné, jo. Pretože niektorí ľudia nemohli hovoriť, spojenie môže byť ťažké. Ale potom, keď použili môj Oko Vodič, sme naozaj spojení. Pozerali sa na mňa a usmievali sa alebo konali naozaj šťastne, alebo keď som to demo predviedla, boli naozaj sústredení. Bol to krásny príklad toho, ako môže hudba pomôcť ľuďom komunikovať a vyjadriť emócie.

Čo bolo najväčším problémom, na ktorý ste narazili, keď ste navrhovali Eye Conductor?

Aby systém fungoval, musíte sedieť v tej istej pozícii, ako práve sedíme v prednej časti našich notebookov, pretože obraz, ktorý vidíte teraz, je priamo na mieste a je vhodný na sledovanie tváre a očí. Ale ak ste s niekým na invalidnom vozíku, ktorý nemá napríklad kontrolu nad svojím postojom alebo chrbtom alebo krkom, potom by niekedy sedeli viac nabok a systém nemohol sledovať pohyby tváre. Niekedy by bolo pre mňa trochu nepríjemné, keby som sa pokúsil povedať: „Dobre, aby ste pracovali, musíte sedieť rovno.“ A potom, keď sú neverbálne, ako to komunikujeme?

Ak bola takáto hlava človeka naklonená, mohli by ste teoreticky držať prenosný počítač spôsobom, ktorý zachytáva ich gestá na tvári?

Jo. Takže som naozaj nešiel do riešenia tohto problému, ale veľa ľudí má počítače namontované na invalidné vozíky a počítač je na stožiari a potom na tomto póle je tu montážne zariadenie a uhol ho v správnom smere tak, aby ukazoval na tváre osoby. Neexistuje žiadna pozícia, ktorá je správna alebo nesprávna, je to len o tom, aby sa senzory - čo je webová kamera a sledovač očí - dostali priamo na hlavu. To bolo trochu náročné. Bola to skôr hardvérová vec, pretože inak by som sa musela pokúsiť vybudovať štruktúru a to by bolo chaotický. V tom nie som tak dobrý.

Urobili ste celú vec sami alebo ste narazili na technické problémy, ktoré vedeli vyriešiť len iní ľudia?

Urobil som to sám, ale na zvukovej stránke som dostal pomoc od toho profesora, o ktorom som vám hovoril. V podstate len zvuk design veci. Mal som aj poradcu, ktorý mi dal nejaké odkazy na programovací jazyk Max, na ktorom bol naozaj skvelý. Pomohol mi byť viac spokojný s určitými programovými detailmi. Samozrejme, veľa z toho bolo nové, ale základy, ktoré som už poznal z predchádzajúcich skúseností. Za osem týždňov som vytvoril Eye Conductor a ľudia povedali: „Oh, to je bláznivé, ako to môžete urobiť za osem týždňov?“ Urobil som však nejaké ďalšie veci, ktoré sú tiež pokročilé, pokiaľ ide o prácu so senzormi a hudobným softvérom. Nevedel som, ako to urobiť. Teraz, keď viem, že to nie je také zložité, aj keď tento projekt bol zložitejší. Je tiež dôležité, aby som zdôraznil, že ide o plne funkčný prototyp, ale nie je to produkt. Takže ľudia nemôžu ísť von a kúpiť a nainštalovať ho na môj počítač.

Chcel som sa vás opýtať, či máte v pláne ho predať?

V skutočnosti to nechcem predávať, chcem to vzdať. Chcem, aby to bola vec otvoreného zdroja, ale teraz nič nemôžem sľúbiť. Nemám na to ešte žiadne finančné prostriedky a mám prácu a iné veci. Dostal som napríklad správu od chlapa v Michigane, ktorý býval výrobcom a potom dostal ALS. Musím to nejako sprístupniť všetkým týmto ľuďom. Je pre mňa veľmi dôležité, aby som v určitom okamihu, a nemôžem sľúbiť, kedy, ale dúfajme, že čoskoro, balíček je tak, aby ľudia mohli buď stiahnuť všetko ako jednu vec, a to by bežalo na väčšine počítačov alebo vlastne vyskúšať v prehliadači. Myšlienka robiť to prehliadač vec by len vyžadovať, aby ľudia mali počítač s online prístup a potom majú čokoľvek nahradiť myš, ktoré by mohli mať na svojom počítači. Ak urobím z neho open source, môžem poskytnúť základné demo a potom si ľudia môžu pridať svoje vlastné zvraty, aby to urobili sami.

Je príjemné počuť, že to robíte, pretože chcete pomôcť ľuďom a nie preto, že chcete zbohatnúť alebo niečo podobné.

Nástroje, ktoré som postavil - aspoň pracovný prototyp - sú open source. Prečo by som potom dostal kredit? Napríklad systém sledovania tváre, ktorý používam pre svoj prototyp, ktorý umožňuje ľuďom vytvoriť zvuk zvýšením obočia alebo otvorením úst, to je vec nazvaná FaceOSC, ktorú vytvoril človek menom Kyle McDonald a systém s otvoreným zdrojovým kódom. Nemyslím si, že by som sa dostal tak ďaleko, ako som to urobil bez toho kúska softvéru.