Jeilio universitetas, Dartmuto koledžas ir Kembridžo universiteto tyrėjai sukūrė „Mindllm“, subjekto-agnostinį modelį, skirtą iššifruoti funkcinio magnetinio rezonanso tomografijos (FMRI) signalus į tekstą.
Integruodamas neuromokslą pagrįstą dėmesio mechanizmą su dideliu kalbos modeliu (LLM), modelis pralenkia esamus metodus, pagerinus 12,0% pasroviui skirtų užduočių, 16,4% padidėjusį nematytą subjekto apibendrinimą ir 25,0% naujų užduočių pritaikymo padidėjimą, palyginti su ankstesniais modeliais, tokiais kaip Umbrae, Brainchat ir Unibrain.
Smegenų veiklos dekodavimas į natūralią kalbą daro didelę įtaką neuromokslų ir smegenų ir kompiuterio sąsajos pritaikymams. Ankstesni bandymai susidūrė su iššūkiais prognozuojant atlikimą, ribotą užduočių įvairovę ir prastą apibendrinimą tarp dalykų. Esamoms metodams dažnai reikalingi konkretūs subjektams parametrai, ribojantys jų gebėjimą apibendrinti asmenis.
Tyrime „Mindllm: subjektas-agnostinis ir universalus modelis, skirtas dekoduoti fMRI iki teksto“, paskelbtas prieš spausdintą serverį Arxiv„Mindllm“ buvo įvertintas naudojant išsamius FMRI-TEXT etalonus, pagrįstus aštuonių asmenų (NSD-natūralių scenų duomenų rinkiniu), plačiai naudojamo standartinio duomenų rinkinio fMRI tyrimuose duomenis.
„Mindllm“ dizainą sudaro fMRI kodavimo įrenginys ir didelis kalbos modelis.
Pirmiausia fMRI nuskaitymai padalina smegenis į mažus 3D vienetus, vadinamus vokseliais (pvz., 3D taškais). Skirtingi žmonės turi skirtingas smegenų struktūras, kurios niekada nesutampa, kai atitinka standartizuotą smegenų atlasą. Kadangi aktyviųjų vokselių skaičius ir išdėstymas gali skirtis (tyrimo asmenims nuo 12 682 iki 17 907), kiekvienam tiriamajam reikalingi skirtingi įvesties matmenys.
Kadangi smegenų funkcijos išlieka vienodos tarp asmenų, net jei vokselio pasiskirstymas skiriasi, neuromokslų informuotas aktyvumo žemėlapis fMRI kodavimo įrenginyje (naudojant modifikuotą dėmesio mechanizmą) leidžia sistemai pritaikyti šias skirtingus įėjimo formas tarp tiriamųjų.
Atskiriant vokselio funkcinę informaciją nuo neapdorotos fMRI vertės, modelis pasitelkia ankstesnes žinias iš neuromokslų tyrimų, pagerindamas nuoseklumą tarp asmenų.
Smegenų instrukcijų derinimas (BIT) dar labiau padidina sistemos sugebėjimą išgauti įvairias semantines reprezentacijas iš fMRI signalų. „Bit“ yra instrukcijų derinimo metodas, kuriame naudojami didelio masto fMRI duomenų rinkiniai, kuriuose yra fMRI įrašų iš kelių žmonių, žiūrinčių tuos pačius vaizdus. Šie kelių subjektų fMRI duomenys ir susijusios tekstinės anotacijos sustiprina modelio semantinį supratimą.
Išsamūs FMRI-TEXT etalonai įvertino modelio atlikimą, parodydami aukštesnius smegenų antraštės rezultatus, atsakius į klausimus ir samprotavimo užduotis.
„Mindllm“ geriau prisitaiko prie naujų dalykų, pagerindamas rezultatus 16,4%, palyginti su ankstesniais subjekto agnostiniais modeliais. Tai yra 25% labiau pritaikoma prie naujų užduočių, leidžiančių efektyviai spręsti skirtingus iššūkius.
Modelio dėmesio modeliai rodo ryšius tarp specifinių smegenų regionų ir pažintinių funkcijų, tokių kaip suvokimas ir samprotavimai.
Daugelyje ankstesnių modelių daugiausia dėmesio skiriama fMRI signalų, susijusių su vaizdiniais dirgikliais, antraščių generavimui. „Mindllm“ pranoksta šiuos apribojimus integruodamas duomenų rinkinius, palaikančius žinių gavimą, simbolinį kalbos apdorojimą ir sudėtingus samprotavimus.
Atminties pagrįstų užduočių, tokių kaip anksčiau matytų vaizdų aprašymų, įtraukimas, sustiprina modelio pritaikymą kognityviniam neuromokslui. Atvirų klausimų ir atsakymų galimybės dar labiau išplečia galimų programų spektrą, naudingą tiek medicinos, tiek tyrimų nustatymams.
Nustatyti neuromoksliniai atlasai, įskaitant „Glasser and Rolls“, teikia funkcinius priorus, kurie padeda modeliui atskirti vokselio padėtį ir aktyvumo vertes. Integruodamas šiuos standartizuotus žemėlapius, modelis palaiko ir subjektų apibendrinimą, ir neuromokslinį vientisumą.
Dabartinis įgyvendinimas apdoroja statinius fMRI momentinius vaizdus, ribodami sistemos sugebėjimą užfiksuoti minties progresą bėgant laikui. Ateities pažanga gali apimti laikinojo modeliavimo metodų, tokių kaip pasikartojančios architektūros ar nuoseklūs dėmesio mechanizmai, įtraukimas, kad būtų galima išanalizuoti, kaip vystosi smegenų veiklos modeliai.
„Mindllm“ pateikia aiškinamų įžvalgų apie tai, kaip smegenų veikla virsta semantine informacija, sustiprinant jos, kaip neuromokslinių tyrimų įrankio, vaidmenį. Išplečiant realaus laiko fMRI dekodavimą, būtų galima atverti naujas neuroprotezijos, psichinės būklės stebėjimo ir smegenų ir kompiuterio sąsajų galimybes.