Pastaraisiais metais generatyviniam dirbtiniam intelektui (GenAI) keičiant socialinės sąveikos aplinką, dėmesio centre atsidūrė dideli kalbos modeliai (LLM), kurie naudoja gilaus mokymosi algoritmus, kad išmokytų GenAI platformas apdoroti kalbą.
Neseniai Honkongo politechnikos universiteto (PolyU) atliktas tyrimas parodė, kad LLM veikia labiau kaip žmogaus smegenys, kai jie mokomi panašiai kaip žmonės apdoroja kalbą, o tai suteikė svarbių įžvalgų smegenų tyrimams ir AI modelių kūrimui.
Dabartiniai LLM dažniausiai remiasi vieno tipo išankstiniu mokymu – kontekstiniu žodžių numatymu. Ši paprasta mokymosi strategija pasiekė stebėtiną sėkmę kartu su didžiuliais mokymo duomenimis ir modelio parametrais, kaip rodo populiarūs LLM, tokie kaip ChatGPT.
Naujausi tyrimai taip pat rodo, kad žodžių numatymas LLM gali būti patikimas modelis, kaip žmonės apdoroja kalbą. Tačiau žmonės ne tik nuspėja kitą žodį, bet ir integruoja aukšto lygio informaciją į natūralios kalbos supratimą.
Li Ping, Humanitarinių mokslų fakulteto dekanas ir Sin Wai Kin fondo PolyU humanitarinių mokslų ir technologijų profesorius, vadovaujama tyrimų grupė ištyrė kito sakinio numatymo (NSP) užduotį, kuri imituoja vieną centrinį diskurso lygio supratimo procesą. žmogaus smegenyse, kad įvertintų, ar sakinių pora yra nuosekli, į modelio išankstinį mokymą ir išnagrinėjo modelio duomenų ir smegenų aktyvinimo koreliaciją.
Tyrimas neseniai buvo paskelbtas žurnale Mokslo pažanga.
Tyrėjų komanda apmokė du modelius: vieną su NSP patobulinimu, o kitą be; abu taip pat išmoko nuspėti žodžius. Funkcinio magnetinio rezonanso tomografijos (fMRI) duomenys buvo renkami iš žmonių, skaitančių sujungtus sakinius arba atjungtus sakinius. Tyrimo grupė ištyrė, kaip kiekvieno modelio modeliai atitiko smegenų modelius iš fMRI smegenų duomenų.
Buvo aišku, kad mokymai su NSP davė naudos. Modelis su NSP daug geriau atitiko žmogaus smegenų veiklą keliose srityse nei modelis, mokytas tik nuspėti žodžius. Jo mechanizmas taip pat puikiai susietas su nusistovėjusiais neuroniniais žmogaus diskurso supratimo modeliais.
Rezultatai suteikia naujų įžvalgų apie tai, kaip mūsų smegenys apdoroja visą diskursą, pavyzdžiui, pokalbius. Pavyzdžiui, ne tik kairiosios, bet ir dešiniosios smegenų dalys padėjo suprasti ilgesnį diskursą. Modelis, parengtas naudojant NSP, taip pat galėtų geriau numatyti, kaip greitai kas nors skaitė – tai rodo, kad diskurso supratimo modeliavimas naudojant NSP padėjo AI geriau suprasti žmones.
Naujausi LLM, įskaitant ChatGPT, pasikliovė žymiai padidintais mokymo duomenimis ir modelio dydžiu, kad pasiektų geresnių rezultatų. Prof. Li Pingas sakė: „Tik pasikliauti tokiu mastelio keitimu yra apribojimų. Taip pat turėtų būti siekiama, kad modeliai būtų veiksmingesni, remiantis mažiau, o ne daugiau duomenų. Mūsų išvados rodo, kad įvairios mokymosi užduotys, pvz., NSP, gali pagerinti LLM būti panašesniam į žmogų ir galbūt arčiau žmogaus intelekto“.
„Dar svarbiau yra tai, kad išvados rodo, kaip neurokognityviniai tyrėjai gali panaudoti LLM, kad galėtų ištirti aukštesnio lygio mūsų smegenų kalbos mechanizmus. Jie taip pat skatina AI ir neurokognityvinių tyrinėtojų sąveiką ir bendradarbiavimą, o tai paskatins būsimus dirbtinio intelekto tyrimus. smegenų tyrimai, taip pat smegenų įkvėptas AI“.