Chirurgai dabar gali sukurti interaktyvesnius mokomuosius vaizdo įrašus stažuotojams, naudodami žiniatinklio sistemą, kuri naudoja vaizdo segmentavimo AI algoritmus, kad suskirstytų vaizdo elementus, kad būtų pateikti vaizdiniai klausimai ir atsiliepimai. Sistema, pavadinta Surgment, buvo pristatyta 2024 m. CHI konferencijoje apie žmogiškuosius veiksnius skaičiavimo sistemose Honolulu, Havajuose.
Straipsnis, kuriame aprašomas tyrimas, yra paskelbtas arXiv išankstinio spausdinimo serveris.
Vaizdo įrašai yra pagrindinis chirurginio mokymo komponentas, tačiau dauguma mokymuose naudojamų vaizdo įrašų vartojami pasyviai. Stažuotojai tiesiog žiūri chirurginių procedūrų vaizdo įrašus, turėdami mažai galimybių įsitraukti ar bendrauti su turiniu.
„Surgment pasitelkia naujausius dirbtinio intelekto metodus, kad į chirurgų mokymo arsenalą įtrauktų dar vieną įrankį, suteikiantį stažuotojams patrauklesnių galimybių mokytis prieš įeinant į operacinę“, – sakė Xu Wangas, Informatikos mokslų ir inžinerijos profesorius iš Universiteto. Mičiganas ir tyrimo bendraautorius.
Prieš kurdama Surgment, tyrimo grupė apklausė ir stebėjo keturias chirurgines procedūras iš viso aštuonias valandas, kad suprastų, kaip jie naudoja įvaizdžiu pagrįstus klausimus treniruodami stažuotojus, ir nustatytų iššūkius, su kuriais jie susiduria.
Jie nustatė, kad chirurgai kuria klausimus, remdamiesi įrašytų operacijų vaizdais, kuriais siekiama nustatyti anatomiją, procedūrinių sprendimų priėmimą ir instrumentų valdymo įgūdžius. Laiko apribojimai buvo dažnas iššūkis, nes norint išgauti mokomuosius vaizdus, reikia kruopščiai peržiūrėti vaizdo įrašą, kad būtų galima tiksliai nustatyti geriausią kadrą pagal vaizdinius nurodymus.
„Vaizdo pagrindu sukurtas instruktavimas chirurginio mokymo srityje gali suteikti veiksmingą ir efektyvų grįžtamąjį ryšį stažuotojams. Tačiau diegiant tokias sistemas, susiduriama su tokiais iššūkiais kaip vaizdo apdorojimas, saugojimas ir vaizdo navigacijos laikas. Šiame tyrime mūsų naujai sukurta sistema leidžia specialistams chirurgams kurti vaizdinius klausimus. ir atsiliepimai chirurgijos vaizdo įrašuose, siekiant pagerinti stažuotojo mokymąsi ir įgūdžių vertinimą“, – sakė Vitalijus Popovas, UM medicinos mokyklos sveikatos mokslų mokymosi docentas.
Visi dalyviai sutiko, kad vaizdo įrašais pagrįsti viktorinos klausimai su tiesioginiu atsiliepimu galėtų geriau paruošti stažuotojus operacinei.
Atsižvelgdami į pradinį interviu ir stebėjimo tyrimą, mokslininkai, vadovaujami kompiuterių mokslų ir inžinerijos doktorantūros Jingying Wang, sukūrė Surgment su įrankiais, leidžiančiais greitai pasirinkti vaizdo kadrus pagal norimus reikalavimus ir sukurti vaizdinius klausimus su integruotu grįžtamuoju ryšiu.
Paieškos pagal kaukę įrankis leidžia pasirinkti vaizdo kadrą, suskirstant vaizdo įrašo komponentus į redaguojamus daugiakampius, leidžiančius vartotojams nustatyti dominančius kadrus ir koreguoti elementų padėtį, dydį ir formą scenoje. Pavyzdžiui, vartotojas gali pakoreguoti „riebalų“ daugiakampį, kad nurodytų, jog nori kadrų su „mažiau riebalų užkimštų tulžies pūslėje“, o paieškos įrankis pateiks šias specifikacijas atitinkančius vaizdus.
Gavus viktorinos kūrimo įrankį, chirurgai gali kurti interaktyvius klausimus, susijusius su operacijos procedūra, anatomija ar chirurginio įrankio valdymu, naudojant kelis pasirinkimus, išgauti komponentą arba nubrėžti kelio nurodymus, o pateikiant vaizdinį grįžtamąjį ryšį.
„Surgment“ veikia kelių etapų mokymasis pagrįstas dujotiekis – mašininio mokymosi modelio tipas, mokantis apibendrinti iš nedidelio duomenų rinkinio, kuris sujungia du modelius, žinomus kaip SAM ir SegGPT. Tyrėjai sujungė du modelius, nes jie nustatė, kad tai padėjo kompensuoti klaidas, kurias kiekvienas padarė atskirai.
Dujotiekio tikslumas buvo 92 %, kai buvo išbandytas su dviem viešais chirurginių duomenų rinkiniais, pranokdamas pirmaujančius regresijos modelius UNet ir UNet++, kurių tikslumas atitinkamai buvo 73 % ir 76 %.
Paieškos pagal kaukę įrankis atrinko vaizdus, kurie atitiko vartotojo reikalavimus 88 % tikslumu, gerokai pranokstančiu 31,1 % tikslumą, esantį vieninteliame kitame įrankyje, kuris siūlo šią galimybę.
Tyrimo grupė atliko vertinimo tyrimą su 11 chirurgų. Visi jie nustatė, kad įrankis turi didelę mokomąją vertę, o dauguma pranešė, kad tai sutaupo laiko, nes atliekant tiesioginę paiešką nebereikėjo žiūrėti vaizdo įrašų.
„Visi dalyviai puikiai kalbėjo apie Surgment gebėjimą lengvai pateikti vizualinį grįžtamąjį ryšį apie anatomijas“, – sakė Jingying Wang.
Vienas tyrimo dalyvis sakė: „Vizualinis grįžtamasis ryšys suteikia papildomų pakartojimų, atpažįstant anatomines struktūras. Yra vadovėlio diagrama, kaip turėtų atrodyti anatomija, bet kiekvienam žmogui ji atrodo šiek tiek kitaip.”
„Malonu matyti, kad chirurgai gali sukurti klausimus, kurie, jų nuomone, turi didelę mokomąją vertę, naudodami „Surgment”. Daugelis chirurgų teigė, kad jų sukurti klausimai buvo panašūs į tuos, kuriuos jie uždavė arba buvo užduoti operacijos metu”, – sakė Xu Wang.
Aptardami tolesnius veiksmus, skirtus Surgment patobulinimui, kai kurie chirurgai pažymėjo, kad įrankis turi mokymosi kreivę ir kad smulkesnis vaizdų segmentavimas būtų naudingas norint pateikti labai tikslingą grįžtamąjį ryšį. Jie taip pat pabrėžė, kad Surgment gali pagerinti įgūdžius, kurių galima išmokti prieš įeinant į operacinę, tačiau 3D suvokimo ir sprendimų priėmimo reikia mokytis asmeniškai.
„Šis darbas parodo AI įrankių galią, siekiant pagerinti švietimo išteklius tiek medicinoje, tiek už jos ribų“, – sakė Xu Wang.