Smegenų ir mašinų sąsajos (KMI) leido saujelei testo dalyvių, kurie negali judėti ar kalbėti, bendrauti tiesiog mąstydami. Implantuotas prietaisas paima su tam tikra mintimi susijusius nervinius signalus ir paverčia juos valdymo signalais, kurie tiekiami į kompiuterį arba roboto galūnę. Pavyzdžiui, keturkampis žmogus yra prašomas pagalvoti apie žymeklio perkėlimą kompiuterio ekrane.
Kai KMI yra išmokytas atpažinti neurologinį aktyvumą kaip šį tikslą, žmogaus mintis perduodama per KMI, kad būtų atliktas žymeklio judėjimo veiksmas. Šiuo metu eksperimentinėje fazėje KMI taip pat gali būti sudaryta iš robotų galūnių, kurios gali atlikti rankines užduotis, kaip nurodo neįgaliojo mintys.
Šiam neįtikėtinam žygdarbiui reikalinga aparatinė įranga yra kompiuteris – laisvai stovintis arba robotizuotame įrenginyje – ir implantas žmogaus smegenyse, kuris naudoja KMI technologiją savo ketinimams per savo mintis pranešti. Caltech mokslininkai naudoja implantus, sudarytus iš 100 mikroelektrodų matricų, sumontuotų ant 4×4 mm lusto. Mikroelektrodai paprastai yra 1,5 mm ilgio ir prasiskverbia į smegenų žievę, kur gali įrašyti atskirų neuronų veiklą.
Deja, šių mikroelektrodų matricų veikimas nėra nuoseklus ir laikui bėgant blogėja. Kad įveiktų šį iššūkį, Caltech Azita Emami, Andrew ir Peggy Cherng elektrotechnikos ir medicinos inžinerijos profesorius bei Intelekto jutimo centro (S2I) direktorius, ir jos kolegos išsprendė šią problemą naudodami mašininį mokymąsi, kad efektyviai interpretuotų neuroną. signalai, kuriuos paima senesni implantai.
„Mes ne tik stebime kasdienius pokyčius, bet laikui bėgant smegenų ir kompiuterio sąsajų našumas blogėja dėl įvairių priežasčių“, – sako Emami. „Gali būti nedidelis implanto ar jo elektrodų judėjimas. Patys elektrodai gali pablogėti arba įsiskverbti į smegenų audinį. Kai kurie žmonės mano, kad laikui bėgant neuronai tolsta nuo implanto, nes reaguoja į jį kaip į svetimą objektą implanto viduje. Dėl kokių nors priežasčių gaunami signalai tampa triukšmingesni.
Kai pirmą kartą nustatomas KMI, mikroelektrodų matrica sukuria signalą, kuriam būdingi stiprūs veikimo potencialai, kurie įrašuose atrodo kaip smailės. Kai šio stipraus signalo nebeaptinka mikroelektrodų matrica, t. y. kai grįžtamasis ryšys iš matricos tampa triukšmingesnis ir nervinių smailių nebebus aiškiai aptikta, susieti nervinio aktyvumo modelį iš tolimesnių neuronų yra daug sudėtingesnė užduotis. konkrečiam tikslui, kurį galima sėkmingai perduoti į kompiuterį ar kitą įrenginį.
Tyrėjai bandė nustatyti alternatyvius signalus, tokius kaip vadinamieji slenksčio kirtimai arba vietiniai lauko potencialai, užfiksuoti iš tolimų neuronų. Vienas iš būdų buvo naudoti bangeles, kurios matuoja nedidelius neuronų aktyvumo svyravimus. Tačiau bangelių ir kitų metodų sėkmė buvo ribota.
Dabar Emami ir jos kolegos išsiaiškino, kad taikant mašininį mokymąsi, KMI galima išmokyti interpretuoti neuroninės veiklos duomenis net po to, kai signalas iš implanto tampa ne toks aiškus. Išvados paskelbtos žurnale Gamtos biomedicinos inžinerija.
Benyamin Haghi, buvęs Emami laboratorijos magistrantūros studentas, paaiškina: „Jei anksčiau rėmėmės neuronų šuolių skaičiavimu, dabar sukūrėme neuroninį tinklą, kuris automatiškai išgauna informaciją iš viso neuroninio signalo, iš visų mažų kritimų ir pokyčių. signalą ir paverčia jį paciento ketinimu. Emami priduria: „Laikui bėgant KMI buvo apmokytas tiek signalo, kuris yra nervinė veikla, tiek signalo, kuris atrodo kaip triukšmas, ir todėl gali interpretuoti vartotojo ketinimus.”
Emami aprašo vieno dalyvio JJ, kuris prarado judėjimą dėl transporto priemonės avarijos, patirtį. „Kai pirmą kartą pradėjome dirbti su juo, jo implantui buvo treji metai ir jis jau buvo sugedęs. Galvojome išimti implantą, bet pagal mūsų naują algoritmą jis džiaugiasi galėdamas toliau naudoti jau turimą sistemą. JJ gali labai tiksliai perkelti žymeklį ant tinklelio, kaip jis darė, kai implantas buvo naujas. Jis gali žaisti vaizdo žaidimus ir valdyti vairavimą imituojančią kompiuterio aplinką.
Komandos algoritmas vadinamas FENet, skirtas funkcijų ištraukimo tinklui. Pažymėtina, kad jį galima išmokyti remiantis vieno paciento duomenimis, o paskui sėkmingai panaudoti kitam. „Tai reiškia, kad mūsų renkamuose neuroniniuose duomenyse yra tam tikros esminės informacijos“, – sako Emami. Negana to, FENet gali apibendrinti skirtingus smegenų regionus ir elektrodų tipus ir būti lengvai įtrauktas į esamus KMI.
Richardas Andersenas, Jamesas G. Boswellas, neuromokslų profesorius ir vadovaujantis vadovas bei T&C Chen smegenų ir mašinų sąsajos centro direktorius, sako: „FENet jau dvejais metais pratęsė klinikinį tyrimą su JJ. KMI tyrimai yra puiki tarpdisciplininių tyrimų sritis. , šiuo atveju sujungiant inžinerijos, kompiuterių mokslo ir neurologijos disciplinas.
Šiandienos KMI reikia rankiniu būdu prijungti elektrodo implantą prie jungties, kuri vėliau susijungia su laidais, vedančiais į mikrosistemą, kuri apdoroja neapdorotus duomenis prieš siunčiant juos į kompiuterį – vizualinę sąsają, kuria pacientas manipuliuoja.
„Tai gana sudėtinga sistema“, – sako Emami. „Mūsų tikslas dabar, sukūrus FENet geriau interpretuoti smegenų signalus, yra miniatiūrizuoti sistemą, kad vieną dieną tai būtų nešiojamasis prietaisas arba implantas, belaidžiu ryšiu bendraujantis su kompiuteriu.