Nacionalinių sveikatos institutų (NIH) mokslininkai nustatė, kad dirbtinio intelekto (AI) modelis labai tiksliai išsprendė medicininės viktorinos klausimus, skirtus patikrinti sveikatos specialistų gebėjimą diagnozuoti pacientus remiantis klinikiniais vaizdais ir trumpa teksto santrauka. Tačiau gydytojai-greideriai nustatė, kad dirbtinio intelekto modelis padarė klaidų aprašydamas vaizdus ir aiškindamas, kaip priimant sprendimą buvo gautas teisingas atsakymas.
Išvados, kurios atskleidžia AI potencialą klinikinėje aplinkoje, buvo paskelbtos npj Skaitmeninė medicina. Tyrimui vadovavo mokslininkai iš NIH Nacionalinės medicinos bibliotekos (NLM) ir Weill Cornell Medicine, Niujorkas.
„AI integravimas į sveikatos priežiūrą yra daug žadantis kaip priemonė, padedanti medicinos specialistams greičiau diagnozuoti pacientus ir greičiau pradėti gydymą“, – sakė NLM laikinai einantis direktoriaus pareigas, mokslų daktaras Stephenas Sherry. „Tačiau, kaip rodo šis tyrimas, AI dar nėra pakankamai pažengęs, kad pakeistų žmogaus patirtį, kuri yra labai svarbi norint tiksliai diagnozuoti.”
AI modelis ir žmogaus gydytojai atsakė į klausimus Naujosios Anglijos medicinos žurnalas Vaizdo iššūkis. Iššūkis yra internetinė viktorina, kurioje pateikiami tikri klinikiniai vaizdai ir trumpas tekstinis aprašymas, kuriame pateikiama išsami informacija apie paciento simptomus ir pristatymą, o tada vartotojų prašoma pasirinkti teisingą diagnozę iš atsakymų su daugybe atsakymų.
Tyrėjai pavedė dirbtinio intelekto modeliui atsakyti į 207 vaizdo iššūkio klausimus ir pateikti rašytinį pagrindimą kiekvienam atsakymui pagrįsti. Raginime nurodyta, kad pagrindime turėtų būti vaizdo aprašymas, atitinkamų medicinos žinių santrauka ir nuoseklūs motyvai, kaip modelis pasirinko atsakymą.
Buvo įdarbinti devyni gydytojai iš įvairių institucijų, kurių kiekvienas turi skirtingą medicinos specialybę, ir atsakė į jiems paskirtus klausimus iš pradžių „uždarytoje knygoje“ (neatsižvelgiant į jokią išorinę medžiagą, pvz., internetinius išteklius), o vėliau – „atviroje knygoje“. “ nustatymas (naudojant išorinius išteklius). Tada mokslininkai gydytojams pateikė teisingą atsakymą, AI modelio atsakymą ir atitinkamą pagrindimą. Galiausiai gydytojų buvo paprašyta įvertinti AI modelio gebėjimą apibūdinti vaizdą, apibendrinti atitinkamas medicinines žinias ir pateikti nuoseklius argumentus.
Tyrėjai nustatė, kad AI modelis ir gydytojai surinko aukštus balus pasirinkdami teisingą diagnozę. Įdomu tai, kad dirbtinio intelekto modelis dažniau pasirinko teisingą diagnozę nei gydytojai uždaroje knygoje, o gydytojai, turintys atviros knygos įrankius, pasirodė geriau nei AI modelis, ypač atsakydami į sunkiausius klausimus.
Svarbu tai, kad remiantis gydytojų vertinimais, dirbtinio intelekto modelis dažnai klydo aprašydamas medicininį vaizdą ir paaiškindamas diagnozės motyvus, net tais atvejais, kai jis padarė teisingą galutinį pasirinkimą. Viename pavyzdyje AI modeliui buvo pateikta paciento rankos su dviem pažeidimais nuotrauka. Gydytojas lengvai atpažins, kad abu pažeidimus sukėlė ta pati būklė. Tačiau, kadangi pažeidimai buvo pateikti skirtingais kampais, sukeldami skirtingų spalvų ir formų iliuziją, AI modelis nesugebėjo pripažinti, kad abu pažeidimai gali būti susiję su ta pačia diagnoze.
Tyrėjai teigia, kad šios išvados patvirtina, kaip svarbu toliau vertinti daugiarūšį AI technologiją prieš pradedant ją taikyti klinikinėje aplinkoje.
„Ši technologija gali padėti gydytojams išplėsti savo galimybes pasitelkiant duomenis pagrįstą įžvalgą, kuri gali padėti geriau priimti klinikinius sprendimus“, – sakė NLM vyresnysis tyrėjas ir atitinkamas tyrimo autorius, Ph.D. Zhiyong Lu. „Šios technologijos rizikos ir apribojimų supratimas yra būtinas norint panaudoti jos potencialą medicinoje.”
Tyrime buvo naudojamas AI modelis, žinomas kaip GPT-4V (Generative Pre-Tained Transformer 4 with Vision), kuris yra „multimodalinis AI modelis”, galintis apdoroti kelių tipų duomenų, įskaitant tekstą ir vaizdus, derinius. Tyrėjai pažymi, kad nors tai nedidelis tyrimas, jis atskleidžia daugiarūšio AI potencialą padėti gydytojams priimti medicininius sprendimus. Reikia daugiau tyrimų, kad suprastume, kaip tokie modeliai lyginami su gydytojų gebėjimu diagnozuoti pacientus.
Tyrimą parengė bendradarbiai iš NIH Nacionalinio akių instituto ir NIH klinikinio centro; Pitsburgo universitetas; UT Pietvakarių medicinos centras, Dalasas; Niujorko universiteto Grossmano medicinos mokykla, Niujorkas; Harvardo medicinos mokykla ir Masačusetso bendroji ligoninė, Bostonas; Case Western Reserve universiteto medicinos mokykla, Klivlandas; Kalifornijos San Diego universitetas, La Jolla; ir Arkanzaso universitetas, Litl Rokas.