Dopaminas yra galingas signalas smegenyse, įtakojantis mūsų nuotaiką, motyvaciją, judesius ir kt. Neuromediatorius yra labai svarbus atlygiu pagrįstam mokymuisi – funkcijai, kuri gali būti sutrikdyta esant įvairioms psichikos sąlygoms, nuo nuotaikos sutrikimų iki priklausomybės.
Dabar mokslininkai, vadovaujami MIT instituto profesorės Ann Graybiel, atrado stebinančius dopamino signalizacijos modelius, kurie rodo, kad neurologams gali tekti patobulinti savo modelį, kaip sustiprinti mokymąsi vyksta smegenyse. Grupės išvados neseniai buvo paskelbtos žurnale Gamtos komunikacijos.
Dopaminas vaidina labai svarbų vaidmenį mokant žmones ir kitus gyvūnus apie užuominas ir elgesį, kurie numato teigiamus ir neigiamus rezultatus; Klasikinis tokio mokymosi pavyzdys yra šuo, kurį Ivanas Pavlovas išmokė numatyti maistą skambant varpui.
Graybielis, kuris taip pat yra MIT McGovern instituto tyrėjas, paaiškina, kad pagal standartinį sustiprinimo mokymosi modelį, kai gyvūnas yra veikiamas užuominos, susietos su atlygiu, dopaminą gaminančios ląstelės iš pradžių užsidega reaguodamos į atlygį. Kai gyvūnai išmoksta ryšį tarp signalo ir atlygio, dopamino išsiskyrimo laikas keičiasi, todėl jis tampa susietas su užuomina, o ne pačiu atlygiu.
Tačiau naudodama naujus įrankius, leidžiančius detaliau analizuoti, kada ir kur smegenyse išsiskiria dopaminas, Graybiel komanda nustato, kad šis modelis visiškai nepasitvirtina.
Grupė pradėjo rinkti užuominų, kad šios srities sustiprinimo mokymosi modelis buvo neišsamus, daugiau nei prieš 10 metų, kai laboratorijos absolventas Markas Howe’as pastebėjo, kad dopamino signalai, susiję su atlygiu, buvo išleisti ne staigiai tą akimirką, kai buvo gautas atlygis, bet prieš tai statant palaipsniui, kai žiurkė priartėjo prie savo malonumo. Jie samprotavo, kad dopaminas iš tikrųjų gali perduoti likusioms smegenų dalims apie atlygio artumą. „Tai visiškai neatitiko standartinio, kanoninio modelio“, – sako Graybiel.
Dopamino dinamika
Kai kiti neurologai svarstė, kaip sustiprinto mokymosi modelis galėtų atsižvelgti į šias išvadas, Graybiel ir postdoc Min Jung Kim nusprendė, kad laikas atidžiau pažvelgti į dopamino dinamiką. „Pagalvojome: grįžkime prie paprasčiausio eksperimento ir pradėkime iš naujo“, – sako ji.
Tai reiškė, kad buvo naudojami jautrūs nauji dopamino jutikliai, siekiant sekti neuromediatorių išsiskyrimą pelių smegenyse, kai jos išmoko susieti mėlyną šviesą su patenkinamu vandens gurkšniu. Komanda sutelkė dėmesį į striatumą – smegenų bazinių ganglijų regioną, kuriame neuronai naudoja dopaminą, kad paveiktų nervines grandines, dalyvaujančias įvairiuose procesuose, įskaitant mokymąsi, pagrįstą atlygiu.
Tyrėjai nustatė, kad dopamino išsiskyrimo laikas įvairiose striatumo dalyse skiriasi. Tačiau Graybiel komanda niekur nerado dopamino išsiskyrimo laiko perėjimo nuo atlygio iki laiko iki užuominos – pagrindinio perėjimo, kurį numato standartinis sustiprinimo mokymosi modelio modelis.
Paprasčiausiuose komandos eksperimentuose, kai kiekvieną kartą, kai pelė pamatė šviesą, ji buvo suporuota su atlygiu, šoninė juostelės dalis patikimai išskirdavo dopaminą, kai gyvūnams buvo duodama vandens. Šis stiprus atsakas į atlygį niekada nesumažėjo, net kai pelės išmoko tikėtis atlygio, kai pamatė šviesą.
Priešingai, vidurinėje striatumo dalyje dopaminas niekada nebuvo išleistas atlygio metu. Ląstelės visada sušaudydavo, kai pelė pamatydavo šviesą, net mokymosi proceso pradžioje. Graybiel sako, kad tai buvo mįslinga, nes mokymosi pradžioje buvo prognozuojama, kad dopaminas reaguos į patį atlygį.
Dopamino išsiskyrimo modeliai tapo dar labiau netikėti, kai Graybiel komanda pristatė antrąją savo eksperimentinę sąranką. Nauja šviesa, kitoje padėtyje nei pirmoji, nereiškė atlygio. Pelės stebėjo, kaip bet kuri šviesa buvo duodama kaip signalas, po vieną, o vanduo lydėjo tik pradinį signalą.
Šių eksperimentų metu, kai pelės pamatė su atlygiu susijusią šviesą, dopamino išsiskyrimas padidėjo centromedialiniame striatum ir stebėtinai išliko tol, kol buvo suteiktas atlygis. Šoninėje regiono dalyje dopaminas taip pat apėmė ilgalaikį periodą, kai signalizacija sumažėjo.
Graybiel sako nustebusi pamačiusi, kiek pasikeitė dopamino atsakai, kai eksperimentuotojai pristatė antrąją šviesą. Reakcija į apdovanojamą šviesą buvo kitokia, kai kitą šviesą buvo galima rodyti kituose bandymuose, nors pelės vienu metu matydavo tik vieną šviesą. „Turi būti kognityvinis aspektas“, – sako ji. „Smegenys nori išlaikyti informaciją, kad užuomina atėjo tam tikrą laiką.”
Atrodo, kad juostelėje esančios ląstelės tai pasiekia per nuolatinį dopamino išsiskyrimą, kuris tęsėsi per trumpą uždelsimą nuo šviesos iki atlygio komandos eksperimentuose. Iš tiesų, Graybiel sako, kad nors toks ilgalaikis dopamino išsiskyrimas anksčiau nebuvo susijęs su mokymosi stiprinimu, jis primena nuolatinį signalizavimą, susietą su darbo atmintimi kitose smegenų dalyse.
Pastiprinimo mokymasis, persvarstytas
Galų gale, Graybiel sako, „daugelis mūsų rezultatų neatitiko sustiprinimo mokymosi modelių, kaip tradiciškai ir iki šiol kanoniškai laikoma“. Tai rodo, kad neurologų supratimas apie šį procesą turės tobulėti kaip dalis gilesnio smegenų supratimo.
„Tačiau tai tik vienas žingsnis, padėsiantis mums visiems patobulinti savo supratimą ir performuluoti modelius, kaip baziniai ganglijos veikia judesius, mintis ir emocijas. Šiose pertvarkymuose turės būti staigmenų apie mokymosi sistemos sustiprinimą, palyginti su šiais dalykais. plynaukštės, bet jie galbūt galėtų mums padėti suprasti, kaip viena patirtis gali išlikti šioje su pastiprinimu susijusioje mūsų smegenų dalyje“, – sako ji.