Tyrėjai sukūrė dešimtis COVID-19 prognozavimo modelių – ar jie iš tikrųjų padėjo?

Tyrėjai sukūrė dešimtis COVID-19 prognozavimo modelių – ar jie iš tikrųjų padėjo?

Ligos, sindromai

Tikslus modeliavimas pandemijų metu yra labai svarbus dėl kelių priežasčių. Politinės institucijos turi priimti politinius sprendimus, kurie gali užtrukti savaites, kol jie taps įstatymu, o įgyvendinti – dar ilgiau. Panašiai visuomenės sveikatos organizacijoms, tokioms kaip ligoninės, mokyklos, dienos priežiūros centrai ir sveikatos centrai, reikia iš anksto planuoti didelius antplūdžius ir paskirstyti svarbiausius išteklius, tokius kaip personalas, lovos, ventiliatoriai ir deguonies tiekimas.

Tikslūs prognozavimo modeliai gali padėti priimti pagrįstus sprendimus dėl būtinų atsargumo priemonių konkrečioms vietoms ir laikui, nustatyti regionus, į kuriuos reikia vengti keliauti, ir įvertinti riziką, susijusią su tokia veikla kaip vieši susirinkimai.

COVID-19 pandemijos metu buvo pasiūlyta dešimtys prognozavimo modelių. Nors jų tikslumas laikui bėgant ir pagal modelio tipą lieka neaiškus, jie buvo nevienodai naudojami formuojant politiką.

Pagrindiniai klausimai

Mūsų neseniai paskelbtas tyrimas Visuomenės sveikatos riboskuriuo siekiama atsakyti į keletą svarbių klausimų, susijusių su pandemijos modeliavimu.

Pirma, ar galime sukurti standartizuotą metriką pandemijos prognozavimo modeliams įvertinti? Antra, kokie modeliai buvo našiausi per keturias COVID-19 bangas JAV ir kaip jie veikė per visą laiko juostą? Trečia, ar yra tam tikrų kategorijų ar tipų modelių, kurie gerokai lenkia kitus? Ketvirta, kaip modelio prognozėms sekasi su padidintais prognozių horizontais? Galiausiai, kaip šie modeliai lyginami su dviem paprastais baziniais taškais?

Netinka politikos formavimui

Pagrindiniai tyrimo rezultatai rodo, kad daugiau nei du trečdaliai modelių nesugeba viršyti paprasto statinio atvejo bazinio lygio, o trečdalis – paprastos linijinės tendencijos prognozės.

Norėdami analizuoti modelius, pirmiausia juos suskirstėme į epidemiologinius, mašininio mokymosi, ansamblio, hibridinius ir kitus metodus. Tada palyginome modelių atliktus įvertinimus su vyriausybės praneštais atvejų skaičiais ir tarpusavyje, taip pat su dviem bazinėmis linijomis, kai atvejų skaičius išlieka statinis arba atitinka paprastą tiesinę tendenciją.

Šis palyginimas buvo atliktas pagal bangas ir per visą pandemijos laiko juostą, atskleidžiant, kad nė vienas modeliavimo metodas nuosekliai nepralenkė arba nebuvo pranašesnis už kitus, o modeliavimo klaidų laikui bėgant daugėjo.

Sukurta dešimtys COVID-19 prognozavimo modelių.  Ar jie iš tikrųjų padėjo?

Kas nutiko ir kaip tai ištaisyti?

Kas nutiko ir kaip tą atotrūkį panaikinti? Patobulintas duomenų rinkimas yra labai svarbus, nes modeliavimo tikslumas priklauso nuo duomenų prieinamumo, ypač ankstyvų protrūkių metu. Šiuo metu modeliai remiasi atvejų duomenimis iš įvairių ataskaitų teikimo sistemų, kurios skiriasi priklausomai nuo apskrities ir kenčia nuo regioninio ir laiko vėlavimo. Pavyzdžiui, kai kurios apskritys gali rinkti duomenis per kelias dienas ir visus iš karto paskelbti viešai, todėl susidaro įspūdis, kad bylų gausa staiga. Duomenų trūkumas gali apriboti modeliavimo tikslumą apskrityse, kuriose taikomos ne tokios patikimos testavimo programos.

Be to, šie metodai nėra vienodi tarp duomenų rinkimo grupių, todėl atsiranda nenuspėjamų klaidų. Duomenų formatų standartizavimas gali supaprastinti duomenų rinkimą ir sumažinti nenuspėjamų klaidų skaičių.

Duomenų paklaidos, pvz., nepakankamas ataskaitų teikimas, gali sukelti nuspėjamų modelio kokybės klaidų, todėl modelius reikia koreguoti, kad būtų galima numatyti būsimus klaidingus pranešimus, o ne tikrus atvejų skaičius. Pavyzdžiui, dėl greitųjų namų testų rinkinių daugelis žmonių nepranešė tyrimų rezultatų vyriausybės duomenų bazėms. Serologiniai duomenys ir per didelis mirtingumas atskleidė tokius nepakankamus pranešimus.

Žvelgiant į priekį

Nors padaryta didžiulė pažanga, modeliai vis dar turi būti geresni įvairiose srityse, darant realistiškesnes prielaidas apie kelių variantų plitimo poveikį atvejų skaičiui, skiepijimo programų sustiprintam imunitetui, užblokavimo poveikiui, daugybė viruso variantų, dažnesnis skiepijimas, pacientui skiriamų dozių skaičius, skirtingi skiepijimo rodikliai įvairiose apskrityse ir skirtingi karantino įgaliojimai.

Visi šie veiksniai turi įtakos atvejų skaičiui, o tai apsunkina prognozavimo užduotį. Net ir ansamblio modelių atveju tyrimas parodė, kad šios papildomos individualios modelio klaidos ir todėl neparodė jokio reikšmingo veikimo skirtumo.

Modelio prognozavimo paklaida JAV CDC duomenų bazėje didėjo kiekvieną savaitę nuo prognozavimo momento. Kitaip tariant, prognozavimo tikslumas mažėjo kuo toliau. Praėjus vienai savaitei nuo prognozės, daugumos modelių numatymo paklaidos buvo šiek tiek mažesnės nei 25%, bet keturių savaičių prognozės metu padidėjo iki maždaug 50%.

Tai rodo, kad dabartiniai modeliai gali nesuteikti pakankamai laiko sveikatos priežiūros subjektams ir vyriausybėms įgyvendinti veiksmingą politiką.

Sukurta dešimtys COVID-19 prognozavimo modelių.  Ar jie iš tikrųjų padėjo?

Tikslus nuspėjamasis modeliavimas išlieka būtinas kovojant su būsimomis pandemijomis. Tačiau tyrimas kelia susirūpinimą, kai politika formuojama tiesiogiai remiantis šiais modeliais. Modeliai su didelėmis prognozių paklaidomis gali lemti nevienalytį išteklių, pvz., kaukių ir ventiliatorių, pasiskirstymą, o tai gali sukelti nereikalingo mirtingumo riziką.

Be to, šių modelių talpinimas oficialiose viešosiose sveikatos organizacijų platformose (įskaitant JAV CDC) rizikuoja suteikti jiems oficialų imprimatūrą. Tyrimas rodo, kad prioritetas turėtų būti sudėtingesnių pandemijos prognozavimo modelių kūrimas.

Ši istorija yra „Science X Dialog“ dialogo dalis, kurioje mokslininkai gali pranešti apie savo paskelbtų mokslinių straipsnių išvadas. Apsilankykite šiame puslapyje, kad gautumėte informacijos apie „Science X Dialog“ ir kaip dalyvauti.

Aviral Chharia yra Carnegie Mellon universiteto magistrantas. Jam suteikta ATK-Nicko G. Vlahakio absolventų stipendija CMU, studentų bakalauro studijų absolventų meistriškumo (SURGE) stipendija IIT Kanpure (Indija) ir MITACS Globalink mokslinių tyrimų stipendija Britų Kolumbijos universitete. Be to, bakalauro studijų metu jis du kartus gavo dekano sąrašo stipendiją. Jo mokslinių interesų sritis yra žmogaus jutimas, kompiuterinė vizija, gilus mokymasis ir biomedicininė informatika.

Christin Glorioso, medicinos mokslų daktarė, yra skaičiavimo biologė, gydytoja ir serijinė verslininkė. Ji yra ne pelno mokslo propagavimo ir tyrimų organizacijos „Academics for the Future of Science“ įkūrėja ir generalinė direktorė bei „Global Health Research Collective“ pagrindinė įmonė. Ji gavo daktaro laipsnį. Neurologijos ir MD iš Carnegie Mellon universiteto-Pittsburgo universiteto medicinos mokyklos ir buvo MIT doktorantas.