Pacientai neturėtų pasikliauti AI varomomis paieškos sistemomis ir pokalbių robotais, kad jie visada pateiktų tikslią ir saugią informaciją apie vaistus, teigia žurnalo tyrėjai. BMJ kokybė ir saugaradę nemažai atsakymų buvo klaidingi arba potencialiai žalingi.
Be to, dėl pateiktų atsakymų sudėtingumo pacientams, neturintiems išsilavinimo, gali būti sunku juos suprasti, priduria mokslininkai.
2023 m. vasario mėn. paieškos sistemos smarkiai pasikeitė, nes buvo pristatyti dirbtinio intelekto pokalbių robotai, siūlantys geresnius paieškos rezultatus, išsamius atsakymus ir naujo tipo interaktyvią patirtį, aiškina mokslininkai.
Nors šie pokalbių robotai gali būti apmokyti naudotis dideliais duomenų rinkiniais iš viso interneto, kad jie galėtų kalbėtis bet kokia tema, įskaitant su sveikatos priežiūra susijusias užklausas, jie taip pat gali generuoti dezinformaciją ir nesąmoningą ar žalingą turinį, priduria jie.
Ankstesni tyrimai, nagrinėję šių pokalbių robotų pasekmes, daugiausia buvo skirti sveikatos priežiūros specialistų, o ne pacientų požiūriui. Siekdami išspręsti šią problemą, tyrėjai ištyrė pokalbių robotų atsakymų į 50 populiariausių 2020 m. JAV išrašytų vaistų skaitomumą, išsamumą ir tikslumą, naudodami Bing copilot – paieškos variklį su AI varomomis pokalbių roboto funkcijomis.
Siekdami modeliuoti pacientus, kurie ieško informacijos apie vaistus konsultuojasi su pokalbių robotais, mokslininkai peržiūrėjo tyrimų duomenų bazes ir konsultavosi su klinikiniu vaistininku ir gydytojais, turinčiais farmakologijos patirties, kad nustatytų su vaistais susijusius klausimus, kuriuos pacientai dažniausiai užduoda savo sveikatos priežiūros specialistams.
Pokalbių robotui buvo užduota 10 klausimų apie kiekvieną iš 50 vaistų, iš viso sugeneruojant 500 atsakymų. Klausimai apėmė, kam vaistas buvo naudojamas, kaip jis veikė, naudojimo instrukcijas, dažnus šalutinius poveikius ir kontraindikacijas.
Pokalbių roboto pateiktų atsakymų skaitomumas buvo įvertintas apskaičiuojant Flesch skaitymo lengvumo balą, kuris įvertina išsilavinimo lygį, reikalingą tam tikram tekstui suprasti.
Tekstas, kurio balai yra nuo 0 iki 30, laikomas labai sunkiai skaitomu, todėl būtinas išsilavinimas. Kitame skalės gale 91–100 balų reiškia, kad tekstas labai lengvai skaitomas ir tinkamas 11 metų vaikams.
Siekiant įvertinti pokalbių roboto atsakymų išsamumą ir tikslumą, atsakymai buvo lyginami su informacija apie vaistus, pateiktą recenzuojamoje ir naujausioje sveikatos priežiūros specialistams ir pacientams skirtoje vaistų informacijos svetainėje (drugs.com).
Dabartinį mokslinį sutarimą ir galimos žalos tikimybę bei mastą, jei pacientas laikysis pokalbių roboto rekomendacijų, įvertino septyni vaistų saugos ekspertai, naudodami 20 pokalbių roboto atsakymų, kurie rodo mažą tikslumą ar išsamumą arba galimą pavojų pacientų saugai.
Pacientų saugos įvykiams įvertinti buvo naudojamos Sveikatos priežiūros tyrimų ir kokybės agentūros (AHRQ) žalos skalės, o galimos žalos tikimybę įvertino ekspertai pagal patvirtintą sistemą.
Bendras vidutinis „Flesch Reading Ease“ balas buvo šiek tiek didesnis nei 37, o tai rodo, kad skaitytojui reikės išsilavinimo. Net ir geriausiai skaitomiems pokalbių robotų atsakymams vis tiek reikėjo aukštosios (vidurinės) mokyklos išsilavinimo.
Apskritai didžiausias pokalbių roboto atsakymų išsamumo vidurkis buvo 100%, o vidutiniškai 77%. Į 5 iš 10 klausimų buvo atsakyta maksimaliai, o į 3 klausimą (Į ką turiu atsižvelgti vartodamas vaistą?) buvo atsakyta mažiausiai – tik 23 proc.
„Chatbot“ teiginiai neatitiko nuorodos duomenų 126 iš 484 (26 %) atsakymų ir buvo visiškai nenuoseklūs 16 iš 484 (šiek tiek daugiau nei 3 %).
Įvertinus 20 atsakymų poaibį, paaiškėjo, kad tik 54 % buvo įvertinti kaip atitinkantys mokslinį sutarimą. Ir 39% prieštaravo moksliniam konsensusui, o likusių 6% mokslinio sutarimo nebuvo.
Galima žala, kurią padarė pacientas, vadovaudamasis pokalbių roboto patarimais, buvo įvertinta kaip labai tikėtina 3 % ir vidutiniškai tikėtina 29 % šių atsakymų. Trečdalis (34 proc.) buvo vertinami kaip mažai tikėtina arba visai mažai tikėtina, kad bus padaryta žala, jei bus laikomasi.
Tačiau, neatsižvelgiant į galimos žalos tikimybę, manoma, kad 42 % šių pokalbių robotų atsakymų sukelia vidutinio sunkumo ar lengvą žalą, o 22 % – mirtį arba didelę žalą. Manoma, kad maždaug trečdalis (36 %) nepadarė jokios žalos.
Tyrėjai pripažįsta, kad jų tyrimas nebuvo pagrįstas realia pacientų patirtimi ir kad raginimai skirtingomis kalbomis arba iš skirtingų šalių gali turėti įtakos pokalbių roboto atsakymų kokybei.
„Šiame skerspjūvio tyrime pastebėjome, kad paieškos sistemos su AI valdomu pokalbių robotu pateikė išsamius ir tikslius atsakymus į pacientų klausimus“, – rašo jie.
„Tačiau pokalbių robotų atsakymus buvo sunku perskaityti, o atsakymuose nuolat trūko informacijos arba buvo netikslumų, o tai galėjo kelti grėsmę pacientų ir vaistų saugumui“, – priduria jie.
Pagrindinis trūkumas buvo pokalbių roboto nesugebėjimas suprasti pagrindinio paciento klausimo ketinimo, teigia jie.
„Nepaisant jų potencialo, pacientams vis dar labai svarbu pasikonsultuoti su savo sveikatos priežiūros specialistais, nes pokalbių robotai ne visada gali generuoti informaciją be klaidų. Rekomenduojame būti atsargiems rekomenduodami dirbtinio intelekto pagrindu veikiančias paieškos sistemas, kol nebus prieinami citavimo varikliai su didesniu tikslumu.” jie daro išvadą.