UCL (Londono universiteto koledžo) mokslininkų vadovaujamas tyrimas rodo, kad dideli kalbų modeliai, tekstą analizuojantis dirbtinio intelekto tipas, gali tiksliau nuspėti siūlomų neurologijos tyrimų rezultatus nei žmonių ekspertai.
Išvados, paskelbtos m Gamta Žmogaus elgesysparodo, kad dideli kalbų modeliai (LLM), parengti naudojant didžiulius teksto duomenų rinkinius, gali išsklaidyti modelius iš mokslinės literatūros, todėl jie gali numatyti mokslinius rezultatus nepaprastai tiksliai.
Tyrėjai teigia, kad tai išryškina jų, kaip galingų tyrimų paspartinimo priemonių, potencialą, neapsiribojant vien tik žinių gavimu.
Pagrindinis autorius Dr. Ken Luo (UCL Psychology & Language Sciences) sakė: „Nuo tada, kai atsirado generatyvus dirbtinis intelektas, pvz., ChatGPT, daugelis tyrimų buvo sutelkti į LLM gebėjimus atsakyti į klausimus, demonstruojant jų puikius įgūdžius apibendrinti žinias iš gausių mokymo duomenų. , užuot pabrėžę jų atgalinį gebėjimą gauti praeities informaciją, mes ištyrėme, ar LLM gali susintetinti žinias prognozuoti ateities rezultatus.
„Mokslo pažanga dažnai priklauso nuo bandymų ir klaidų, tačiau kiekvienas kruopštus eksperimentas reikalauja laiko ir išteklių. Net labiausiai įgudę mokslininkai gali nepastebėti kritinių įžvalgų iš literatūros. Mūsų darbe tiriama, ar LLM gali nustatyti modelius dideliuose moksliniuose tekstuose ir prognozuoti eksperimentų rezultatus. “
Tarptautinė tyrimų grupė pradėjo savo tyrimą kurdama „BrainBench“ – įrankį, leidžiantį įvertinti, kaip dideli kalbos modeliai (LLM) gali numatyti neurologijos rezultatus.
„BrainBench“ sudaro daugybė neurologijos studijų santraukų porų. Kiekvienoje poroje viena versija yra tikra studijų santrauka, kurioje trumpai aprašomas tyrimo pagrindas, naudojami metodai ir tyrimo rezultatai. Kitoje versijoje pagrindas ir metodai yra tokie patys, tačiau atitinkamos neurologijos srities ekspertai pakeitė rezultatus, kad gautų tikėtiną, bet neteisingą rezultatą.
Tyrėjai išbandė 15 skirtingų bendrosios paskirties LLM ir 171 žmogaus neurologijos ekspertą (kurie visi buvo išlaikę atrankos testą, kad patvirtintų savo žinias), kad išsiaiškintų, ar dirbtinis intelektas arba asmuo gali teisingai nustatyti, kuris iš dviejų suporuotų santraukų yra tikrasis. faktinių studijų rezultatų.
Visi LLM aplenkė neurologus: LLM vidutinis tikslumas buvo 81%, o žmonių – 63%. Net kai tyrimo grupė apribojo žmonių atsakymus tik tiems, kurie turi aukščiausią tam tikros neurologijos srities kompetencijos laipsnį (remiantis pačių pateiktomis žiniomis), neurologų tikslumas vis tiek buvo mažesnis už LLM – 66%.
Be to, mokslininkai nustatė, kad kai LLM buvo labiau pasitikintys savo sprendimais, jie buvo labiau teisingi. Tyrėjai teigia, kad šis atradimas atveria kelią ateičiai, kurioje žmonių ekspertai galėtų bendradarbiauti su gerai sukalibruotais modeliais.
Tada mokslininkai pritaikė esamą LLM (Mistral, atvirojo kodo LLM versiją), mokydami ją specialiai neurologijos literatūra. Naujasis LLM, besispecializuojantis neuromokslų srityje, kurį jie pavadino BrainGPT, dar geriau numatė studijų rezultatus ir pasiekė 86 % tikslumą (patobulinimas, palyginti su bendrosios paskirties Mistral versijos, kurios tikslumas buvo 83 %).
Vyresnysis autorius profesorius Bradley Love'as (UCL Psychology & Language Sciences) sakė: „Atsižvelgdami į mūsų rezultatus, manome, kad neilgai trukus mokslininkai naudos dirbtinio intelekto įrankius, kad sukurtų veiksmingiausią jų klausimo eksperimentą. Nors mūsų tyrimas sutelkė dėmesį į neurologijos, mūsų požiūris buvo universalus ir turėtų būti sėkmingai taikomas visame moksle.
„Nuostabu, kaip gerai LLM gali nuspėti neurologijos literatūrą. Ši sėkmė rodo, kad daugelis mokslo nėra tikrai nauji, bet atitinka esamus literatūros rezultatų modelius. Įdomu, ar mokslininkai yra pakankamai novatoriški ir tyrinėjantys. “
Dr. Luo pridūrė: „Remdamiesi savo rezultatais, kuriame dirbtinio intelekto įrankius, kurie padėtų tyrėjams. Mes įsivaizduojame ateitį, kurioje mokslininkai galės pateikti savo siūlomus eksperimentų planus ir numatomus rezultatus, o dirbtinis intelektas siūlys įvairių rezultatų tikimybę. Tai leistų greitesnė iteracija ir labiau pagrįstų sprendimų priėmimas kuriant eksperimentą.
Tyrime dalyvavo UCL, Kembridžo universiteto, Oksfordo universiteto, Maxo Plancko elgesio neurobiologijos instituto (Vokietija), Bilkento universiteto (Turkija) ir kitų JK, JAV, Šveicarijos, Rusijos, Vokietijos, Belgijos, Danijos institucijų, Kanada, Ispanija ir Australija.