Smegenų veiklos skaitymas naudojant pažangias technologijas nėra nauja koncepcija. Tačiau dauguma metodų buvo sutelkti į atskirų žodžių, susijusių su objektu ar veiksmu, kurį asmuo mato ar galvoja, atpažinimą arba smegenų signalų, atitinkančių ištartus žodžius, suderinimą. Kai kuriuose metoduose buvo naudojamos antraštės duomenų bazės arba gilieji neuroniniai tinklai, tačiau šiuos metodus ribojo duomenų bazės žodžių aprėptis arba informacija, kurios nėra smegenyse. Vis dar sunku sukurti išsamius, struktūrizuotus sudėtingų vizualinių suvokimų ar minčių aprašymus.
Neseniai paskelbtas tyrimas Mokslo pažangataiko naują požiūrį. Tyrėjai, dalyvaujantys tyrime, sukūrė tai, ką jie vadina „proto užrašymo“ technika, kuri naudoja kartotinį optimizavimo procesą, kai užmaskuotos kalbos modelis (MLM) generuoja teksto aprašymus derindamas teksto ypatybes su smegenų dekoduotomis funkcijomis.
Ši technika taip pat apima linijinius modelius, išmokytus iššifruoti semantines ypatybes iš gilios kalbos modelio, naudojant smegenų veiklą iš funkcinio magnetinio rezonanso tomografijos (fMRI). Rezultatas yra išsamus teksto aprašymas, ką dalyvis mato savo smegenyse.
Vaizdo įrašų subtitrų generavimas pagal žmogaus suvokimą
Pirmoje eksperimento dalyje šeši žmonės žiūrėjo 2196 trumpus vaizdo įrašus, o jų smegenų veikla buvo nuskaityta naudojant fMRT. Vaizdo įrašuose buvo rodomi įvairūs atsitiktiniai objektai, scenos, veiksmai ir įvykiai, o šeši tiriamieji buvo gimtoji japonų kalba ir ne gimtoji anglų kalba.
Tuos pačius vaizdo įrašus anksčiau kiti žiūrovai naudojo savotiškai minios šaltinio teksto antraštėmis, kurias apdorojo iš anksto paruoštas LM, vadinamas DeBERTa-large, kuris išgavo tam tikras funkcijas. Šios savybės buvo suderintos su smegenų veikla, o tekstas buvo generuojamas kartotiniu būdu naudojant MLM modelį, vadinamą RoBERTa-large.
„Iš pradžių aprašymai buvo fragmentiški ir neturėjo aiškios prasmės. Tačiau dėl iteracinio optimizavimo šie aprašymai natūraliai išsivystė į nuoseklią struktūrą ir efektyviai fiksavo pagrindinius žiūrimų vaizdo įrašų aspektus. Pažymėtina, kad gauti aprašymai tiksliai atspindėjo turinį, įskaitant dinaminius peržiūrėtų įvykių pokyčius. Be to, net kai konkretūs objektai nebuvo tinkamai identifikuoti, tyrėjai vis dar sėkmingai identifikavo daugybę objektų. paaiškinti.
Tada komanda palygino sugeneruotus aprašymus su teisingomis ir neteisingomis antraštėmis įvairiuose kandidatų skaičiuose, kad nustatytų tikslumą, kuris, jų teigimu, buvo apie 50%. Jie pažymi, kad šis tikslumo lygis pranoksta kitus dabartinius metodus ir žada tobulėti ateityje.
Prisiminimų skaitymas
Tų pačių šešių dalyvių vėliau buvo paprašyta prisiminti vaizdo įrašus naudojant fMRI, kad būtų patikrintas šio metodo gebėjimas skaityti atmintį, o ne vizualinę patirtį. Šios eksperimento dalies rezultatai taip pat buvo daug žadantys.
„Analizė sėkmingai sukūrė aprašymus, kurie tiksliai atspindėjo atšauktų vaizdo įrašų turinį, nors tikslumas skirtingiems asmenims skyrėsi. Šie aprašymai buvo labiau panašūs į atšauktų vaizdo įrašų antraštes, o ne į nesusijusius, o įgudę tiriamieji pasiekė beveik 40% tikslumą atpažindami atšauktus vaizdo įrašus iš 100 kandidatų”, – rašo tyrimo autoriai.
Žmonėms, kurių gebėjimas kalbėti yra susilpnėjęs arba praradęs, pavyzdžiui, patyrusiems insultą, ši nauja technologija ilgainiui gali būti būdas atkurti ryšį. Tai, kad sistema įrodė esanti galinti suvokti gilesnes reikšmes ir ryšius, o ne paprastas žodžių asociacijas, gali leisti šiems asmenims atgauti daug daugiau savo bendravimo galimybių nei kai kurie kiti smegenų ir kompiuterio sąsajos metodai. Vis dėlto, prieš pasiekiant tą tašką, būtinas tolesnis optimizavimas.
Etiniai svarstymai ir ateities kryptys
Nepaisant kai kurių pozityvesnių minčių antraštės įrenginių, galinčių perskaityti žmogaus mintis, programų, tikrai kyla pagrįstų susirūpinimų dėl privatumo ir galimo piktnaudžiavimo iš smegenų į tekstą technologijos.
Tyrėjai, dalyvaujantys tyrime, pažymi, kad sutikimas išliks pagrindinis etinis aspektas, kai naudojami minčių skaitymo metodai. Prieš pradedant plačiau naudoti šias technologijas, reikės išspręsti svarbius klausimus apie psichinį privatumą ir smegenų bei kompiuterių sąsajų ateitį.
Vis dėlto tyrimas siūlo naują įrankį moksliniams tyrimams, kaip smegenys reprezentuoja sudėtingą patirtį ir galimą palaiminimą neverbaliniams asmenims.
Tyrimo autoriai rašo: „Mūsų požiūris kartu subalansuoja aiškinamumą, apibendrinimą ir našumą – sukuria skaidrią neverbalinio mąstymo į kalbą dekodavimo sistemą ir sudaro sąlygas sistemingam tyrimui, kaip struktūrinė semantika užkoduojama žmogaus smegenyse.
Parašė jums mūsų autorė Krystal Kasal, redagavo Lisa Lock, o faktus patikrino ir peržiūrėjo Robertas Eganas – šis straipsnis yra kruopštaus žmogaus darbo rezultatas. Pasitikime tokiais skaitytojais kaip jūs, kad nepriklausoma mokslo žurnalistika išliktų gyva. Jei ši ataskaita jums svarbi, apsvarstykite galimybę paaukoti (ypač kas mėnesį). Jūs gausite an be skelbimų sąskaitą kaip padėką.