Generic selectors
Exact matches only
Search in title
Search in content
Post Type Selectors
post

A katasztrofális felejtés misztériuma

MEGOSZTÁS

A memória létünk és identitásunk szempontjából alapvető fontosságú. A tanulás célja, hogy az agyban tárolt ismeretek szükség esetén gyorsan vagy intuitív módon előhívhatók legyenek. Ez mindenre vonatkozik, amit a mindennapi életben teszünk: készségekre, szokásokra, érvelésre, társadalmi interakciókra és döntéshozatalra is. Bár születésünktől fogva folyamatosan tanulunk, azt kívánjuk, bárcsak gyorsabban tanulnánk és többre emlékeznénk.

(Kiemelt kép: Unsplash+)

A valóságban gyakran panaszkodunk a felejtés miatt, miközben néha nem tudjuk eltávolítani a rossz emlékeket, melyeket el akarunk felejteni. Ahogy öregszünk, a demencia az egyik legfőbb aggodalomra okot adó tényezővé válik, mely hatással lehet az életünkre és a körülöttünk élőkre.

Miközben a mesterséges intelligencia az emberi agyakból merített ihletet, és figyelemre méltó eredményeket ért el a mélytanulás terén, a mesterséges neurális hálózatok (ANN) egyik kihívása a katasztrofális felejtés, amikor a hálózat új információk megtanulása során hirtelen és drasztikus teljesítménycsökkenéssel szembesül a korábban elsajátított feladatokban. A katasztrofális felejtés jellemzően akkor következik be, amikor egy ANN-t több feladat egymás utáni megtanulására képeznek ki.

Az emberek azonban életük során nagyszámú feladatot képesek megtanulni anélkül, hogy a korábban megtanultakat elfelejtenék.

A felejtés misztériuma
Miközben a mesterséges intelligencia az emberi agyakból merített ihletet, és figyelemre méltó eredményeket ért el a mélytanulás terén, a mesterséges neurális hálózatok (ANN) egyik kihívása a katasztrofális felejtés, amikor a hálózat új információk megtanulása során hirtelen és drasztikus teljesítménycsökkenéssel szembesül a korábban elsajátított feladatokban (Fotó: Unsplash+)

Az elmúlt évtizedekben a mesterséges intelligencia fenomenális fejlődést ért el az emberi teljesítmény elérésében vagy meghaladásában az emberi agy által inspirált mély neurális hálózatok átvételét követően. Ezeket a hálózatokat elsősorban speciális feladatokra és problémákra valósítják meg, hatalmas képzési adatokat és számítási erőforrásokat igényelve. Ezzel szemben

az emberi agyak gyorsan és inkrementálisan képesek tanulni, lényegesen kevesebb adattal és figyelemre méltó energiahatékonysággal.

Az ANN-ek katasztrofális felejtésének kezelése terén elért eredmények azt az irányt mutatják, hogy ez a szakadék csökkenthető. A legújabb tanulmányok azt mutatják, hogy egyetlen agyi ihletésű módszer nem elegendő a katasztrofális felejtés leküzdésére. Ehelyett több eljárás kombinálása elengedhetetlen a felejtés megakadályozásához, különösen a feladatok számának vagy összetettségének növekedése esetén. Érdekes módon ezek az agy által inspirált megoldások következetesen energiahatékonyságot mutatnak. Az ezen a területen végzett további kutatások továbbra is megvilágítják a mesterséges intelligencia útját a hatékonyabb és általánosabb tanulás eléréséhez a belátható jövőben.

Ezzel szemben az emberi memóriafolyamatok vizsgálatából származó döntő felismerés az, hogy agyunk nemcsak az agysejtek plaszticitását finomítja a tanulás során, hanem aktívan megszilárdítja és fenntartja a tanultakat egész életünk során. Az idegtudósok jelenleg csak korlátozottan ismerik ezeket a mechanizmusokat. A mélytanulási modellek értékes eszközökkel egészítik ki kutatásukat, megkönnyítve az elméleti kereteket, a szisztematikus teszteket és a hálózati szintű kísérleteket. E két terület folyamatban lévő konvergenciája

az agy belső működésének mélyebb megértését ígéri a tanulás és a memória terén, amelyek az emberi megismerés és intelligencia alapját képezik.

A felejtés misztériuma
A legújabb tanulmányok azt mutatják, hogy egyetlen agyi ihletésű módszer nem elegendő a katasztrofális felejtés leküzdésére. Ehelyett több eljárás kombinálása elengedhetetlen a felejtés megakadályozásához, különösen a feladatok számának vagy összetettségének növekedése esetén (Fotó: Unsplash+)

A katasztrofális felejtés kezelése mesterséges neurális hálózatokban

Mielőtt elmélyednénk a mesterséges intelligenciában és a katasztrofális felejtésben, először három kulcsfontosságú szempontra összpontosítva megvizsgáljuk, hogy az emberi agy hogyan szerez és tart meg emlékeket:

Deklaratív és nem-deklaratív emlékezet időbeli időbeli gradiensekkel: A deklaratív és nem-deklaratív memória időbeli aspektusai betekintést nyújtanak abba, hogy az emberi agy hogyan szervezi az információt az idő múlásával.

Az emberi emlékezet erősen szabályozott és szelektív jellege: Az emberi memória nagy fokú szabályozottságot és szelektivitást mutat, ami befolyásolja az információk megőrzését és előhívását.

Az emlékezet konszolidációja alvás közbeni ismétlések révén: Az alvás közbeni ismétléseken keresztül történő emlékezeti konszolidáció rávilágít az emlékeket megerősítő és megszilárdító folyamatokra.

Tekintettel az agyi mechanizmusok összetettségére, melyek az emlékezést és a tanulást párhuzamosan, egymásból való következtetés nélkül biztosítják, jobban megértjük az agy és az ANN-architektúrák közötti lehetséges réseket, és megvizsgáljuk, hogy az agy által inspirált megoldások hogyan enyhítik a katasztrofális felejtést a mélytanuló rendszerekben.

A tanulás és memória biológiai építőkövei

Az agy alapvető tanulási egysége a neuronok közötti kapcsolat, az úgynevezett szinapszisok, melyek a pre-szinaptikus neuronok axonjaitól az poszt-szinaptikus neuronok dendritjeihez továbbítják az elektromos impulzusokat. A tanulási folyamat során az érintett szinapszisok erőssége fokozódik, ami hosszú ideig (órákig vagy tovább) tartó és erősebb válaszokat eredményez a poszt-szinaptikus sejtben, amikor a bemeneti axonról érkező azonos ingereknek van kitéve. Ezt a jelenséget hosszú távú potenciálásnak (LTP) nevezik.

Az LTP-t eredetileg az állati agy hippokampusz régiójában fedezték fel. Későbbi kutatások bizonyítják, hogy a szinapszisok erősödésével járó LTP univerzális tanulási mechanizmus a különböző állatfajokban, így az emberben is. Tartós hatása a memória alapja, és a szinapszist körülvevő mögöttes sejtes és molekuláris változásokon keresztül valósul meg. Ez a biológiai mechanizmus inspirálta a mélytanulásra szolgáló ANN-ek áttörését, melyek mesterséges neuronok sok rétegéből és mesterséges szinapszisként szolgáló, összekapcsolt súlyokból állnak. Ezek a kapcsolatok az LTP-khez hasonló hatásokkal, kiterjedt képzési adathalmazokból való tanulással állíthatók.

A felejtés misztériuma
A tanulási folyamat során az érintett szinapszisok erőssége fokozódik, ami hosszú ideig (órákig vagy tovább) tartó és erősebb válaszokat eredményez a poszt-szinaptikus sejtben, amikor a bemeneti axonról érkező azonos ingereknek van kitéve. Ezt a jelenséget hosszú távú potenciálásnak (LTP) nevezik (Fotó: Unsplash+)

Az emberi memória kialakulása és megszilárdulása

Ahhoz, hogy megértsük, hogyan emlékszünk dolgokra, hihetetlen felismeréseket nyújtott annak tanulmányozása, hogyan felejtünk. 1957-ben Brenda Milner idegtudós publikálta először a Henry Molaison nevű, H.M. néven ismert beteg mélyreható, de szelektív memóriavesztését, miután műtéti úton eltávolították a kétoldali mediális temporális lebenyét. A műtét sikeresen enyhítette a súlyos epilepsziát, mely megzavarta H.M. mindennapi életét. A műtét előtt szerzett emlékeit azonban elvesztette, melyek percektől hónapokig terjedtek, és némelyik akár néhány évvel előbbre is kiterjedt.

Elvesztette azt a képességét is, hogy új emlékeket alakítson ki. Akik az elkövetkező évtizedekben vele dolgoztak, minden egyes alkalommal be kellett mutatkozniuk, amikor meglátogatták.

Érdekes módon H.M. gyermekkori emlékei érintetlenül maradtak. Ráadásul elvesztett emlékezete olyan tényekre, eseményekre és ismeretekre korlátozódott, amelyekhez korábban tudatosan jutott hozzá. A műtét nem befolyásolta H.M. motoros tanulását és emlékezetét (pl. biciklizés); egyéb érzékelési és kognitív funkciói is normálisak voltak. H.M. esete arra utal, hogy az emlékezeti folyamat az agyban egy különálló funkció. Az idegtudományban évtizedekig tartó intenzív memóriakutatást indított el. Napjainkig még mindig sok ismeretlen kérdés van, különösen a különböző régiók közötti kölcsönhatások és a hosszú távú tárolás természete tekintetében.

Magas szinten a memóriát három típusba sorolják: munkamemória, deklaratív memória és nem-deklaratív memória.

  1. A munkamemória olyan agyi funkció, mely korlátozott kapacitással képes ideiglenesen információt tárolni. Kritikus szerepet játszik az érvelésben és az információk mentális manipulálásában, de elkülönül az információtárolási folyamattól. A leghíresebb példa erre, hogy egy új telefonszámot korlátozott ideig tudunk a fejünkben tartani, mielőtt a figyelmünk elkalandozik. H.M. munkamemóriája is ép volt, ami arra utal, hogy ez más agyterületeket érint, mint a mediális temporális lebeny.
  2. A deklaratív memóriát explicit memóriának is nevezik, mert tudatosan felidézhető (pl. a legutóbbi születésnapi ünnepség, Magyarország fővárosának neve). Ez az a memória is, melyre általában hivatkozunk. Amint a H.M.-esetében látható, a deklaratív emlékezetnek van egy időbeli gradiense aszerint, hogy mennyi ideig tart fenn, amit rövid távú (másodpercektől órákig), hosszú távú (óráktól hónapokig) és igen hosszú távú (hónapoktól az élethosszig tartó) memóriaként ábrázolunk. A medialis temporális lebenyben található hippokampusz régió felelős a rövid és hosszú távú emlékek kialakításáért. A hosszú távú emlékezet feltehetően a neokortexben, a hippokampusztól független agyi végső tárolóhelyen, elosztott módon tárolódik.
  3. A nem deklaratív emlékezet a tudatos kontrollon kívüli viselkedéseken keresztül fejeződik ki (pl. hangszeren való játék vagy biciklizés), ezért procedurális emlékezetnek vagy implicit emlékezetnek is nevezik. Ide tartoznak a szokásaink tanulása és az automatikus reflexek, mint például a csokoládé láttán való nyálcsorgatás vagy a medve láttán való lefagyás. Mind a deklaratív, mind a nem deklaratív emlékezet alapvető fontosságú az emberi életben, és párhuzamosan működnek, hogy támogassák döntéseinket és viselkedésünket. Amint az H. M. esetében kiderült, a nem deklaratív emlékezet nem a hippokampuszban, hanem más régiókban, többek között a kisagyban és a motoros kéregben tárolódik. Ugyanakkor az idegi áramkörök szintjén ugyanazokkal az építőelemekkel rendelkezik, és hasonló rövid és hosszú távú időbeli gradienssel rendelkezik, mint a deklaratív emlékezet.

Ezért a memóriáról szóló későbbi értekezés mindkét típusra vonatkozik, hacsak nem szükséges megemlíteni egy említésre méltó különbséget.

A felejtés misztériuma
A nem deklaratív emlékezet a tudatos kontrollon kívüli viselkedéseken keresztül fejeződik ki (pl. hangszeren való játék vagy biciklizés), ezért procedurális emlékezetnek vagy implicit emlékezetnek is nevezik. Ide tartoznak a szokásaink tanulása és az automatikus reflexek, mint például a csokoládé láttán való nyálcsorgatás vagy a medve láttán való lefagyás (Fotó: Unsplash+)

Az emberi emlékezet szabályozott és szelektív jellege

Annak ellenére, hogy az embereket érzékszervi információkkal bombázzák, amikor egy környezetbe lépnek, ezeknek csak egy kis részét tároljuk a memóriánkban. Figyelmünk irányítja az elsajátítási folyamatot, és lehetővé teszi az agy számára, hogy az adott pillanatban szükséges jelekre összpontosítson, miközben figyelmen kívül hagyja a többi irreleváns információt.

A figyelem folyamata párosul a kontextusváltással és a memória előhívásával is.

Meglepetés hatására elterelődhet a figyelmünk, és elterelhetjük az érdeklődésünket az eredeti tárgyról. A figyelem időszakában aktívan vagy automatikusan korábbi, hasonló információt tartalmazó emlékeket keresünk, és eldöntjük, hogy az információ teljesen új-e, vagy egy korábbi emlékhez kapcsolható. Az agyban található prefrontális kéreg tudatos központként szolgál, irányítja és koordinálja a tevékenységeket, és más agyi területeket, például a hippokampuszt vagy a kisagyat irányítja az információk rövid távú memóriába való elsajátításában. Továbbá

az érzelmek befolyásolják a figyelmünket és alakítják az emlékezetünket.

Az érzelmeket kiváltó ingerek vonzzák a legtöbb figyelmet, és az embereknek motivációra vagy jutalomra van szükségük ahhoz, hogy információt szerezzenek. Az érzelmeket kiváltó eseményekre jellemzően jobban emlékszünk, mint az érzelmileg semleges eseményekre. Amikor felidézünk egy múltbeli eseményt vagy élményt, az adott pillanatban érzett érzéseink az emlékezés lényeges részét képezik.

Az érzelmek az amygdala nevű agyi régió és számos modulátornak nevezett neurális molekula bevonásával fokozzák az emlékezést, melyek az agyban az idegi plaszticitást szabályozzák. Jellemzően dopamin szabadul fel motiváció esetén, a noradrenalin (NE) pedig hirtelen meglepetések vagy akut stresszhatások (pl. hideg vízbe merülés) hatására. Ezek az idegi modulátorok jelentősen növelik az idegi plaszticitást azáltal, hogy egyetlen tanulási tapasztalat során fogékonyabbá teszik a megerősítésre, és hozzájárulnak az emlékek fokozott kialakulásához és hosszú távú erejéhez.

A felejtés misztériuma
Annak ellenére, hogy az embereket érzékszervi információkkal bombázzák, amikor egy környezetbe lépnek, ezeknek csak egy kis részét tároljuk a memóriánkban. Figyelmünk irányítja az elsajátítási folyamatot, és lehetővé teszi az agy számára, hogy az adott pillanatban szükséges jelekre összpontosítson, miközben figyelmen kívül hagyja a többi irreleváns információt (Fotó: Unsplash+)

Az emlékezet konszolidációja

Daniel Kahneman a „Thinking, Fast and Slow” című könyvében megjegyezte, hogy az emlékezetünk nem a tapasztalataink összege vagy integrálja. Amikor például nyaralni megyünk vagy kórházi kezelési rutinunk van, jellemzően a legérzelmesebb pillanatra és a befejező élményre emlékszünk. A többi mindennapi részlet nagy valószínűséggel háttérbe szorult, vagy sehol sincs meg az emlékezetünkben.

Az élményről szóló emlékezetünk tömörített és konszolidált, mint egy romantikus regény, melynek van egy csúcspontja és egy „szívbe markoló” befejezése, miközben az időszak hossza, mely lehet napok, hónapok vagy évek, látszólag nem számít.

Ahhoz, hogy a rövid távú emlékezet a hippokampusztól független hosszú távú és végül tartós emlékezetté váljon, konszolidációs folyamatra van szükség. Ez a memória konszolidációs folyamat a tanulási viselkedés befejezése után a „színfalak mögött” zajlik, ami az embernél napokig vagy hónapokig is eltarthat. Ez magában foglalja a hippokampusz és a neokortex közötti kölcsönös kapcsolatokat, ami a belső reprezentáció újraszerveződéséhez vezet.

A memória konszolidáció időbeli fokozatosságát, ahogyan az H. M. esetében is megmutatkozott, állatoknál is megerősítették, az időszak hossza fajonként változik. Minden bizonyíték azt mutatja, hogy a hippokampusz zavarai (pl. elektrosokk vagy gyógyszeres beavatkozás) ebben a kritikus időszakban retrográd amnéziát okozhatnak. Számos bizonyíték utal arra is, hogy az emlékezet konszolidációja emlékismétlések révén valósul meg, főként alvás közben, amikor semmilyen külső információ nem zavarja a folyamatot. Konkrétan a mély, nem gyors szemmozgású alvás (NREM), más néven lassú hullámú alvás elengedhetetlen a memóriaismétlésekhez több agyterületen, többek között a hippokampuszban és a neokortexben, mind a deklaratív, mind a procedurális emlékek konszolidációjához.

Az idegi áramkörök szempontjából két mechanizmus, nevezetesen a memória-visszajátszás és a szinaptikus skálázás működését javasolták az alvás során. A memória-visszajátszás a kéregben a releváns szinaptikus kapcsolatokat erősíti a belsőleg mintavételezett hálózati minták reaktiválásával. Ezzel szemben a szinaptikus skálázás gyengíti az ellentétes szinaptikus súlyokat, hogy növelje a jel-zaj arányt és az agy új tanulási képességét.

Ezek a mechanizmusok megmagyarázzák, hogy a legérzelmesebb pillanatok és befejező vonások miért maradnak fenn az emlékeinkben, mivel ezek a legkiemelkedőbb jellemzők, melyeket a reaktiválások során kivonunk és megerősítünk. Ezzel szemben a gyengébb és homályosabb emlékek valószínűleg gyengülnek vagy elvesznek a skálázási hatás miatt.

Az agy által inspirált megoldások

Az elmúlt évtizedekben a mesterséges intelligencia jelentős előrelépéseket tett a nagy méretű, mély ANN-ek megvalósítása terén, melyek elegendő képzési adat és számítási teljesítmény mellett képesek a feladatok széles körének megtanulására. Az ANN-ek azonban hajlamosak arra, hogy az új információk megtanulása után súlyosan elfelejtsék a korábban megtanult feladatokat.

A jelenséget katasztrofális felejtésnek vagy katasztrofális interferenciának nevezik, amikor az új tanulás megzavarja vagy megzavarja a korábbi tudás megőrzését.

Az embernél ezzel szemben a különböző tanulási tapasztalatok közötti interferencia mértéke viszonylag csekély vagy nem létezik.

A katasztrofális felejtésnek semmi köze a hálózat kapacitásához, mivel ugyanaz a hálózat képes egyidejűleg több feladatot is megtanulni, amennyiben a feladatok ugyanazon képzési adatok között váltakoznak. Ez akkor következik be, amikor egy új feladat képzési adatai az előző feladatok megtanulása után kerülnek bemutatásra. A hálózat mélyére tekintve a felejtés a rejtett rétegekben lévő korábbi reprezentációk elvesztéséből adódik, ahol a megtanult feladatok súlyai az új célokkal történő későbbi tanulás során módosulnak.

A kutatók az 1990-es évek óta keresik a katasztrofális felejtés leküzdésére alkalmas algoritmusokat. Nevezetesen, sokan az agy által inspirált megoldások felé fordultak, melyek ígéretes eredményekhez vezettek. A megközelítések két fő csoportba sorolhatók az elért hatásuk alapján:

Hálózati reaktiválások: Belső reprezentációs minták újrajátszása az emberi alvásban történő memóriaismétlések utánzásával, hogy megkönnyítsék a korábban megtanult feladatok megtartását.

A kapcsolati súlyok átfedésének csökkentése: Helyi szabályozások alkalmazása a hálózatban a feladatok közötti interferencia csökkentése érdekében.

A felejtés misztériuma
A katasztrofális felejtésnek semmi köze a hálózat kapacitásához, mivel ugyanaz a hálózat képes egyidejűleg több feladatot is megtanulni, amennyiben a feladatok ugyanazon képzési adatok között váltakoznak. Ez akkor következik be, amikor egy új feladat képzési adatai az előző feladatok megtanulása után kerülnek bemutatásra (Fotó: Unsplash+)

Hálózati reaktiválások

Az újrajátszás legegyszerűbb módszere az eredeti képzési adatok újbóli alkalmazása. Ez azonban nem skálázható megoldás, és az sem, ami az agyban történik. Ehelyett, az emberi agyak által inspirálva, az újrajátszásoknak a tanulás belső reprezentációját kell használniuk (azaz a hippokampuszból), a nyers érzékszervi bemeneti információk zavarai vagy interferenciája nélkül (mint alvás közben).

A Nature-ben megjelent tanulmány egy külön generatív modellt fejleszt ki, amely megtanulja a múltbeli információkat, és a megtanult reprezentációkat kiadja az elsődleges hálózatnak, mely minden feladatot szekvenciálisan tanul. A modell kezdetben nem akadályozta meg a katasztrofális felejtést. A szerzők ezután négy, az alábbiakban felsorolt, agyi ihletésű módosítást adtak hozzá, amelyek hatékonyan megállították a felejtést.

A generatív modell beolvasztása az elsődleges modellbe felső rétegként, hogy részt vegyen az előre és hátra visszacsatolásban. Ez utánozza az agyban a hippokampusz és a neokortex közötti kölcsönös kapcsolódásokat.

A generatív modell csak egy mintát küld a korábban megtanult példákból visszajátszásra.

A visszajátszás a mély neurális hálózat rejtett rétegeire vonatkozik, nem pedig a bemeneti rétegekre, amelyek a kezdeti képzési adatokat fogadják.

Adjunk hozzá egy kontextusfüggő gating (XdG) mechanizmust a feladatok közötti súlyátfedések csökkentésére a nem fontos csomópontok tevékenységének gátlásával az újrajátszás során. (Megjegyzés: Ez az XdG mechanizmus lényeges kiegészítő megközelítésnek tűnik, melyről a következő szakaszban még egyszer említést teszünk.)

Ezekkel a módosításokkal az agy által inspirált ismétlések megőrzik a korábban megtanult feladatok pontosságának több mint 90 százalékát,

miközben a mély tanulási modell 100 kézírás-osztályozási feladatot tanul meg egymás után az MNIST-adatkészletek és protokoll segítségével. Ezzel szemben az ismétlések nélkül a modell teljesítménye 15 feladat után exponenciálisan nullára romlik (vagyis teljesen elfelejtődik). Továbbá az ismétlés rendkívül hatékony, és nem igényel extra adattárolást.

Egyetlen minta egyszerű visszajátszása megakadályozza a katasztrofális felejtést. A tanulástól különálló folyamatként a generatív modell a memóriát erősíti és a felejtést megakadályozza azáltal, hogy lényegesen kevesebb jóval kevesebb elégséges információt küld. Egy összetettebb forgatókönyvben, a képosztályozási feladatoknál azonban az újrajátszás csak mérsékelten enyhíti a katasztrofális felejtést, de nem akadályozza meg azt. Az eredmény azt sugallja, hogy az újrajátszás önmagában nem elegendő az ilyen típusú forgatókönyvekben, hanem a kapcsolati súlyok átfedésének csökkentésével kombinálva kell alkalmazni.

A felejtés misztériuma
Egyetlen minta egyszerű visszajátszása megakadályozza a katasztrofális felejtést. A tanulástól különálló folyamatként a generatív modell a memóriát erősíti és a felejtést megakadályozza azáltal, hogy lényegesen kevesebb jóval kevesebb elégséges információt küld (Fotó: Unsplash+)

A kapcsolati súlyok átfedésének csökkentése

Az emberi és állati agyakban az LTP a megerősödött szinapszisokban egy sor sejtes és molekuláris változást indít el, melyek a hosszú távú emlékezet neurális alapjaként idővel fennmaradnak. E szerkezeti változások megzavarása törölné a megfelelő emlékezetet is. Az idegi hálózat szempontjából ez azt jelenti, hogy az egy feladat során megerősített súlyok egy részének stabilizálódnia kell, hogy kevésbé plasztikus legyen, ami a hosszú távú tudás tartósságának alapja anélkül, hogy az új memóriakészületek megzavarnák.

A DeepMind kutatói az agyból merítve ezt az inspirációt, egy elasztikus súlykonszolidációnak (EWC) nevezett algoritmust terveztek, hogy megvédjék az ANN paramétereinek súlyait, melyek hozzájárulnak a korábban megtanult feladatokhoz. Konkrétan Bayes-féle következtetést használnak e paraméterek utólagos valószínűségeinek levezetésére. Egy megszorítással megakadályozzák, hogy a korábban megtanult feladat szempontjából fontos paramétereket az újabb feladatok módosítsák.

A modell megállította a katasztrofális felejtést tíz egymást követő feladat megtanulásakor

az MNIST-adatkészlet segítségével. Ez a vizsgálat a Bayes-tanulás elveivel is összhangban van. Nevezetesen, egy adott kapcsolati súly Bayes-féle utólagos valószínűsége az adott súlyra vonatkozó bizonytalanságot jelenti. A bizonytalanság vezérli mind a jövőbeli tanulási sebességet, mind a saját plaszticitását. Az alacsonyabb bizonytalanság a szinaptikus súly nagyobb védelméhez vezet, csökkentve a módosítás valószínűségét egy új környezetben vagy feladatban. Ezzel szemben a nagyobb bizonytalanság érzékenyebbé teszi azt az új tapasztalatok általi módosításra.

Hálózati szinten ez az EWC-mechanizmus nem attól függ, hogy mikor van szükség az emlékezésre, hanem attól, hogy az emlékezés mennyire biztos. Ez azt jelenti, hogy a hálózat idővel képes fenntartani a szakértelmet vagy tudást, feltéve, hogy a súlyok érintetlenek maradnak. Ez összhangban van az emberi neokortexben tárolt hosszú távú memóriánk koncepciójával. Például az emberi Alzheimer-kór esetében az egész életen át tartó emlékek pusztító elvesztését valószínűleg e tartós szinapszisok fokozatos romlása okozza.

A tanulmány egyik korlátja, hogy csak tíz szekvenciális feladatot vizsgáltak. A Chicagói Egyetem tudósainak tanulmányában az EWC stabilizációs hatását 100 szekvenciális feladatban vizsgálták. Bár a kezdeti tíz feladaton belül hasonló hatékonyságot ér el, a feladatok számának növekedésével a teljesítmény folyamatosan csökken. Más tanulmányok különböző algoritmusokat használnak a szinapszis súlyok helyi modulálására az ANN-ek rejtett rétegeiben, hogy hasonló hatást érjenek el. Egy nemrégiben a Science-ben megjelent tanulmány azt mutatja, hogy egy ANN a szimulált neuro-modulátor (pl. dopamin és NE) hatásokkal nemlineáris módon specifikusabbá teszi a megerősített súlyokat, és ezért katasztrofális felejtés nélkül tanulja a szekvenciális feladatokat.

A felhalmozódó bizonyítékok arra utalnak, hogy

a megtanult feladathoz tartozó kapcsolati súlyok egy specifikus részhalmazának megerősítése és a több feladatra kiterjedő átfedésük minimalizálása hatékonyan mérsékelheti a mesterséges neurális hálózatokban a katasztrofális felejtést.

Az eredmények összhangban vannak a biológiai agyban végzett megfigyelésekkel, ahol a neurális plaszticitást nagyobb robusztussággal és pontossággal szabályozzák. Várhatóan a jövőben olyan erőfeszítéseket fogunk látni, melyek ezeket a mechanizmusokat kiterjedtebb és mélyebb neurális hálózatokban skálázzák ki, és összetettebb valós felhasználási eseteket alkalmaznak.

A felejtés misztériuma
Az emberi és állati agyakban az LTP a megerősödött szinapszisokban egy sor sejtes és molekuláris változást indít el, melyek a hosszú távú emlékezet neurális alapjaként idővel fennmaradnak (Fotó: Unsplash+)

Hogyan tanítsuk meg a felejtést az MI-chatbotoknak?

A technológia folyamatos fejlődésével, különösen az MI chatbotok területén, az adatvédelmi aggályok minden eddiginél nagyobb méreteket öltenek. A felhasználók egyre inkább aggódnak amiatt, hogy személyes adataikat korlátlan ideig tárolják. E probléma megoldására a fejlesztők azt kutatják, hogyan lehet az MI-chatbotokat felruházni a felhasználói adatok elfelejtésének képességével.

A felejtés szükségessége

A felhasználói élmény fokozására tervezett MI-chatbotok gyakran gyűjtik és tárolják a felhasználói interakciókat. Bár ez javíthatja a chatbot teljesítményét, jelentős adatvédelmi aggályokat vet fel. A felhasználóknak kellemetlen lehet a gondolat, hogy beszélgetéseiket korlátlan ideig tárolják, ami a chatbotok felejtésének szükségességéhez vezet. Ez az igény a magánélethez való alapvető jogból fakad, amely biztosítja, hogy a felhasználók rendelkezzenek személyes adataik felett. A fejlesztők felismerték, hogy a felhasználók bizalmának fenntartása érdekében fontos kezelni ezeket az aggályokat. A felejtési mechanizmusok MI-chatbotokba való integrálásával egyensúlyt teremthetünk a funkcionalitás és a felhasználói adatvédelem között.

A felejtési mechanizmusok megvalósításának kihívása

A felejtési mechanizmusok MI-chatbotokba való beépítése számos kihívással jár. Az egyik fő akadály a megfelelő egyensúly megtalálása a zökkenőmentes beszélgetés érdekében a kontextus megtartása és az érzékeny felhasználói adatok törlése között. Ennek az egyensúlynak a megtalálása árnyalt megközelítést igényel, hogy a chatbot hatékony maradjon, miközben tiszteletben tartja a felhasználók magánéletét. Ráadásul a fejlesztőknek olyan felejtési mechanizmusok megtervezése jelent kihívást, amelyek nemcsak hatékonyak, hanem felhasználóbarátok is. Az utolsó dolog, amit a felhasználók szeretnének, az az adataik kezelésének bonyolult folyamata. A felhasználói felület egyszerűsítése és az adatok törlésére vonatkozó egyértelmű lehetőségek biztosítása kulcsfontosságú szempontok e kihívás leküzdésében.

A felejtés misztériuma
A felhasználói élmény fokozására tervezett MI-chatbotok gyakran gyűjtik és tárolják a felhasználói interakciókat. Bár ez javíthatja a chatbot teljesítményét, jelentős adatvédelmi aggályokat vet fel (Fotó: Unsplash+)

Technikai megoldások

Számos technikai megoldás alkalmazható annak érdekében, hogy az MI-chatbotok képesek legyenek a felhasználói adatok elfelejtésére. Az egyik megközelítés az automatikus adatlejárás beépítése, ahol a felhasználói interakciók egy előre meghatározott idő után automatikusan törlődnek. Ez biztosítja, hogy az érzékeny információk ne maradjanak feleslegesen a rendszerben. Egy másik technika a felhasználók számára az adatok manuális törlésének lehetőségét biztosítja. A chatbot felületén belül egy egyszerű opciót kínálva a felhasználók kezükbe vehetik a magánéletük irányítását, eldönthetik, hogy mikor és milyen információkat töröljenek.

Felhasználói oktatás és átláthatóság

Miközben a technikai megoldások alkalmazása létfontosságú, a felhasználók oktatása és az átláthatóság ugyanilyen fontos szerepet játszik az adatvédelmi aggályok kezelésében. A fejlesztőknek világosan kell kommunikálniuk a felhasználókkal a chatbot adatmegőrzési irányelveiről. Ez magában foglalja annak elmagyarázását, hogy mennyi ideig tárolják az adatokat, mi a céljuk, és milyen lépéseket tehetnek a felhasználók az adataik törlése érdekében. A felhasználóknak a chatbot adatkezelési gyakorlatával kapcsolatos ismeretekkel való felruházása elősegíti a bizalom kialakulását. Az átláthatóság hidat képez a fejlesztők és a felhasználók között, így tájékozottabb és kényelmesebb felhasználói bázist hoz létre.

A felejtés és a személyre szabás egyensúlya

A fejlesztők egyik kihívása a megfelelő egyensúly megtalálása a felhasználói adatok elfelejtése és a személyre szabott élmény nyújtása között. Miközben az adatvédelem prioritást élvez, a felhasználók értékelik azokat a chatbotokat is, amelyek emlékeznek a korábbi interakciókra, így személyre szabottabb és hatékonyabb szolgáltatást nyújtanak. Ennek az egyensúlynak az elérése magában foglalja az algoritmusok finomítását, hogy különbséget tudjanak tenni az érzékeny és a nem érzékeny adatok között, amelyek hozzájárulnak a jobb felhasználói élményhez. Átgondolt megközelítést igényel annak biztosítása, hogy a felejtési mechanizmusok a felhasználók által értékelt személyre szabottság veszélyeztetése nélkül fokozzák az adatvédelmet.

A felejtés misztériuma

PODCAST

ICT Global News

VIDEOGALÉRIA
FOTÓGALÉRIA

Legnépszerűbb cikkek