A funkcionális mágneses rezonancia képalkotás vagy az fMRI az egyik legfejlettebb eszköz a gondolkodásunk megértéséhez. Miközben egy fMRI-szkennerben lévő személy különféle mentális feladatokat hajt végre, a gép lenyűgöző és színes képeket készít az agyáról működés közben.Míg ez a speciális típusú mágneses rezonancia képalkotás átalakította a kognitív idegtudományt, ez nem egy gondolatolvasó gép: az idegtudósok nem tudják kiolvasni egy agyvizsgálatból, hogy ki mit látott, hallott vagy gondolt a szkennerben. A tudósok – Jerry Tang, az austini Texasi Egyetem számítógépes idegkutatója és a tanulmány vezetőjével – azonban fokozatosan dolgoznak ennek az alapvető akadálynak a leküzdésén, hogy a gondolatokat, agyi képalkotás segítségével szavakká alakítsák. Ez a technológia segíthet azoknak az embereknek, akik nem tudnak beszélni vagy más módon kifelé kommunikálni, például agyvérzésen átesettek, vagy amiotrófiás laterális szklerózisban szenvedők. A jelenlegi agy-számítógép interfészek megkövetelik az eszközök agyba történő beültetését, de az idegtudósok azt remélik, hogy nem invazív technikákat, például fMRI-t fognak alkalmazni a belső beszéd megfejtésére.
A kutatók most elég nagyot léptek előre azáltal, hogy az fMRI neurális aktivitás monitorozási képességét kombinálták a mesterséges intelligencia nyelvi modelljeinek előrejelző erejével.
A hibrid technológia olyan dekódert eredményezett, amely meglepő pontossággal képes reprodukálni azokat a történeteket, amelyeket egy személy hallgatott vagy elképzelt a szkennerben.
A dekóder technológia gyerekcipőben jár. Alaposan ki kell képezni minden egyes felhasználó számára, aki használja, és egyértelműen nem tudja elkészíti a hallottak vagy elképzelt szavak pontos leiratát. De ez akkor is jelentős előrelépés. A kutatók már tudják, hogy a mesterséges intelligencia nyelvi rendszere – amely a ChatGPT mögötti modell korai rokona –, segíthet megalapozott találgatásokban az agyi aktivitást kiváltó szavakkal kapcsolatban, pusztán az fMRI-agyvizsgálatok alapján. Míg a jelenlegi technológiai korlátok megakadályozzák a dekóder széles körben történő használatát, jó vagy rossz céllal, a szerzők hangsúlyozzák, hogy olyan proaktív irányelveket kell bevezetni, amelyek megvédik a belső mentális folyamatok magánéletét.
A modell sokat kihagy az általa dekódolt történetekből. Olyan nyelvtani jellemzőkkel küszködik, mint például a névmások. Nem tudja megfejteni a tulajdonneveket, a neveket és a helyeket és néha teljesen elrontja a dolgokat. De a korábbi módszerekkel összehasonlítva, magas szintű pontosságot ér el. A történetekben az esetek 72-82 százalékában a dekóder pontosabban dekódolta a jelentésüket, mint az véletlenszerűen várható lenne.
A vizsgálatok
Az új tanulmányban három résztvevő egy fMRI-szkennerben 15 alkalommal, összesen 16 órán keresztül feküdt be. Fejhallgatón keresztül olyan podcastokból és rádióműsorokból hallgattak részleteket, mint a The Moth Radio Hour és a New York Times Modern Love című műsora. Eközben a szkenner nyomon követte a véráramlást az agy különböző nyelvi régióiban. Ezeket az adatokat azután egy olyan mesterséges intelligencia modell képzésére használták fel, amely mintákat talált arra vonatkozóan, hogy az egyes alanyok agya hogyan aktiválódik bizonyos szavakra és fogalmakra reagálva.
Ezeknek a mintáknak a feltárása után a modell egy új agyi képsorozatot készített, és megjósolta, hogy az ember mit hall a felvételkor. Fokozatosan dolgozta végig a történetet, összehasonlítva az új szkenneléseket a mesterséges intelligencia által megjósolt mintákkal egy sor jelölt szóra. Annak érdekében, hogy ne kelljen minden angol szót ellenőrizni, a kutatók a GPT-1 segítségével előre jelezték, mely szavak jelennek meg a legnagyobb valószínűséggel egy adott kontextusban. Ezzel létrejött a lehetséges szósorok egy kis készlete, amelyből kiválasztható volt a legesélyesebb jelölt. Ezután a GPT-1 a következő szósorozatra lépett, mígnem dekódolt egy egész történetet.
A kutatók ugyanazokat a módszereket alkalmazták a történetek dekódolására, amelyeket a résztvevők csak elképzeltek. Arra utasították a résztvevőket, hogy képzeljék el magukat, amint egy részletes, egyperces történetet mesélnek el. Míg a dekóder pontossága csökkent, a véletlenszerű véletlenhez képest még mindig jobban működött a vártnál. Ez azt jelzi, hogy hasonló agyi régiók vesznek részt valaminek elképzelésében, szemben annak egyszerű észlelésében. Az elképzelt beszéd szavakká való lefordításának képessége kritikus fontosságú az agy-számítógép interfészek tervezésében olyan emberek számára, akik nem tudnak kommunikálni a nyelvvel.
Ráadásul a megállapítások túlmutattak a nyelven. A legmeglepőbb eredmény az, hogy a kutatók animációs rövidfilmeket néztek meg hang nélkül a szkennerben. Annak ellenére, hogy kifejezetten a beszélt nyelvre oktatták, a dekóder még mindig képes megfejteni a történeteket a némafilmeket nézõ résztvevők agyi szkenneléseiből.
Ennek ellenére a technológia még sok évre van attól, hogy agy-számítógép interfészként használják a mindennapi életben. Egyrészt a szkennelési technológia nem hordozható – az fMRI-készülékek kórházak és kutatóintézetek egész szobáit foglalják el, és dollármilliókba kerülnek. Huth csapata azonban azon dolgozik, hogy ezeket az eredményeket adaptálja a meglévő agyi képalkotó rendszerekre, amelyek sapkaként viselhetők, mint például a funkcionális közeli infravörös spektroszkópia (fNIRS) és az elektroencefalográfia (EEG).
Az új tanulmány technológiája szintén intenzív testreszabást igényel, és minden egyénhez több órányi fMRI-adatra van szükség. Az AI-modelleket minden felhasználónál meg kell tanítani, hogy alkalmazkodjanak az egyén agyához.
A csapat tesztelte a technológiát is, hogy megnézze, mi történhet, ha valaki ellenállni akar a vizsgálatnak vagy szabotálni akarja őket. A vizsgálatban résztvevők meghamisíthatják, ha csak egy másik történetet mondanak el a fejükben. Amikor a kutatók erre kérték a résztvevőket, az eredmények hamisak voltak: „A dekóder teljesen szétesett.”
