Rozhranie mozgového počítača dokáže preložiť myšlienky do reči

Neuroengineers vytvorili nový systém, ktorý dokáže preložiť jednoduché myšlienky do rozpoznateľnej reči pomocou umelej inteligencie a syntetizátora reči podľa štúdie publikovanej v utorok.

Tím výskumníkov z New Yorku dokázal zrekonštruovať slová len pomocou mozgovej aktivity, čo je inovácia, ktorá by mohla vydláždiť cestu pre technológie riadené mozgom, ako napríklad smartphone, ktorý dokáže preložiť vaše myšlienky do textových správ.

Dr Nima Mesgarani, docent na Kolumbijskej univerzite, viedol štúdiu a rozpráva obrátený že vidí veľký potenciál pomôcť obnoviť reč ľuďom, ktorí sa zotavujú z mŕtvice alebo žijú s amyotrofickou laterálnou sklerózou (ALS). Okrem toho by tento typ technológie mohol otvoriť dvere aj smartfónom pripojeným k mozgu, ktoré by umožnili používateľom text používať ich mysle, hoci to je ešte stále ďaleko. Jeho práca bola publikovaná v časopise Vedecké správy.

„Jednou z motivácií tejto práce je alternatívna metóda interakcie medzi človekom a počítačom, ako napríklad možné rozhranie medzi užívateľom a smartfónom,“ hovorí. „Avšak, to je stále ďaleko od reality, a v súčasnosti nie sú informácie, ktoré sa dajú extrahovať pomocou neinvazívnych metód, dosť dobré pre aplikáciu rozhrania reči mozgu a počítača.“

Vypočujte si reč vytvorenú rozhraním mozgu a počítača.

Na rozvoj novej techniky, Mesgarani a jeho kolega, Dr. Ashesh Dinesh Mehta z Northwell Health Physician Partners Neuroscience Institute, začal skúmaním mozgovej aktivity pacientov s epilepsiou na ich štúdium. Títo pacienti už mali vo svojich mozgoch elektródové implantáty na monitorovanie záchvatov, ktoré Mesgarani a Mehta dokázali použiť na zber údajov pre svoj výskum.

Duo požiadalo ochotných účastníkov, aby počúvali rečníkov recitovali čísla medzi nulou a deviatimi, a potom zaznamenali mozgové signály z tejto interakcie. Ďalej vyškolili neurónovú sieť - program, ktorý napodobňuje neurónovú štruktúru v ľudskom mozgu - rozpoznáva vzory v signáloch a prekladá ich do roboticky znejúcich slov pomocou syntetizátora reči, známeho ako vokodér.

Výsledkom bol krátky zvukový klip toho, čo znie ako Microsoft Sam od 0 do 9. Impozantná časť je taká, aká je jasná reč v porovnaní s inými metódami, ktoré výskumníci testovali. Je však ešte potrebné vykonať veľa práce.

„Môže trvať desať rokov, kým bude táto technológia dostupná,“ hovorí Mesgarani. „Potrebujeme väčší pokrok v dlhodobých, bio-kompatibilných implantovateľných elektródach a / alebo v prielomových technológiách v neinvazívnych metódach neurálneho záznamu. Potrebujeme tiež lepšie pochopiť, ako mozog predstavuje reč, aby sme mohli vylepšiť naše metódy dekódovania. “

Pacienti, ktorí boli súčasťou tejto štúdie, napríklad všetci mali operáciu mozgu na implantáciu elektrokortikografických monitorov. Ide o mimoriadne invazívny proces, ktorý si vyžaduje otvorenú operáciu mozgu, čo väčšina ľudí nemusí byť ochotná podstúpiť, aj keď existuje možnosť obnoviť niektoré z ich rečových schopností.

V súčasnosti táto štúdia zaviedla metódu dekódovania mozgových signálov do reči. Ak zistíme, ako presne odhaliť mozgovú aktivitu bez chirurgického zákroku, budeme o krok bližšie k revolúcii nielen v rečovej terapii, ale aj v oblasti zavádzania smartfónov spojených s mozgom.

Výskum rozhrania medzi mozgom a počítačom získal v posledných rokoch záujem. V apríli 2017 Facebook oznámil, že pracuje na BCI počas svojej výročnej konferencie F8. A Elon Musk oznámil v novembri 2018, že Neuralink, jeho vlastný BCI startup, bol najatý.

abstraktné

Rekonštrukcia sluchového stimulu je technika, ktorá nájde najlepšiu aproximáciu akustického stimulu od populácie vyvolanej nervovej aktivity. Rekonštrukcia reči z ľudskej sluchovej kôry vytvára možnosť neuroprostetickej reči na vytvorenie priamej komunikácie s mozgom a bolo preukázané, že je to možné v zjavných aj skrytých podmienkach. Nízka kvalita rekonštruovaného prejavu však výrazne obmedzila užitočnosť tejto metódy pre aplikácie rozhrania mozgu a počítača (BCI). Aby sme pokročili v súčasnom stave neuroprostézy reči, spojili sme nedávny pokrok v hlbokom učení s najnovšími inováciami v technológiách syntézy reči, aby sme zrekonštruovali zrozumiteľnú reč z ľudskej sluchovej kôry. Skúmali sme závislosť presnosti rekonštrukcie na regresných metódach lineárnej a nelineárnej (hlbokej neurónovej siete) a akustickú reprezentáciu, ktorá sa používa ako cieľ rekonštrukcie, vrátane parametrov zvukového spektrogramu a syntézy reči. Okrem toho sme porovnali presnosť rekonštrukcie z nízkych a vysokých frekvenčných rozsahov neurónov. Naše výsledky ukazujú, že model hlbokej neurónovej siete, ktorý priamo odhaduje parametre syntetizátora reči zo všetkých neurónových frekvencií, dosahuje najvyššie subjektívne a objektívne skóre v úlohe rozpoznávania číslic, čím zlepšuje zrozumiteľnosť o 65% oproti základnej metóde, ktorá používa lineárnu regresiu na rekonštruovať sluchový spektrogram. Tieto výsledky demonštrujú účinnosť algoritmov hlbokého učenia a syntézy reči pre navrhovanie nasledujúcej generácie systémov BCI pre reč, ktoré nielenže môžu obnoviť komunikáciu pre paralyzovaných pacientov, ale tiež majú potenciál transformovať technológie interakcie človek-počítač.

Súvisiace video: Mozog Wave Sensing Roboti môžu slúžiť ako rozšírenie ľudského tela