Az LLM-ek meglepték a világot képességeikkel. Néha azonban ezek a modellek látványosan elbuknak a következtetési feladatokban. Ezért aktív kutatás folyik e modellek javítására mind az architektúra, mind az érvelési képességek javítását célzó technikák szintjén.
Másrészt még mindig vannak homályos pontok azzal kapcsolatban, hogyan alakulnak ki ezek a képességek. Hasonlóképpen, mit jelent maga a tanulás fogalma? Mit jelent az, hogy egy neurális hálózat is tanul? Az emberi tanulás megértése irányíthatja-e a jövő mesterséges intelligenciáinak új tanulási módját?
Hogyan tanulnak a nagy nyelvi modellek (LLM)? Hogyan tanulják ezeket a hihetetlen képességeket? A nyelvi modell a klasszikus módszer, mellyel a GPT ámulatba ejtette a világot. Egyszerűen fogalmazva, adott egy szavakból álló szekvencia, a modellnek meg kell jósolnia a következőt. Alternatív megoldásként egy vagy több szót maszkolunk egy szövegrészletben, és megkérjük a modellt, hogy jósolja meg a maszkolt darabot. A nyelvi modell megbecsüli a következő szavak valószínűségét a szekvencia előző szavának valószínűsége alapján. Majd büntetjük a modellt, ha a szó eltér attól, ami eredetileg a szekvenciában szerepelt.
Megtanulni tanulni
Ezeknek a módszereknek vannak többé-kevésbé kifinomult változatai, de a lényeg ugyanaz. Az ötlet lényege, hogy egy ilyen triviális feladattal a modell megtanulja a szekvencia különböző részei közötti kapcsolatokat. Amint a különböző szavak közötti szemantikai és logikai kapcsolatok megértésre kerülnek, a modell sikeresen generálhat már. Ez azért működik jól, mert az önmegfigyelést pontosan arra tervezték, hogy hatékonyan modellezze a szekvencia különböző részei közötti kapcsolatokat. Minél több a figyelem, annál több különböző kapcsolatot tanulunk meg, és minél több rétegben, annál összetettebbek lesznek ezek a kapcsolatok.
Ezt nevezzük felügyelet nélküli tanulásnak. A modell magától tanul, mi pedig csak annyi adatot szolgáltatunk a modellnek, hogy megértse a mintákat. Ez a paradigma hatékonynak bizonyult: elegendő adat megadásával a modell képes kifinomult és összetett összefüggéseket, például retorikai alakzatokat megtanulni. Miért van mindez? Mert rengeteg szövegünk van, és túl drága lenne annotálni ezeket. Végül a veszteségfüggvény nagyon egyszerű, a modellnek csak a következő szavakat kell(ene) megjósolnia a szekvenciában, és ha téved, akkor büntetjük rögvest. Ez olyan, mintha egy hatalmas mennyiségű szöveget memorizálnánk, de mégis lehetővé teszi, hogy parancsra szöveget is generáljunk. Természetesen annak meghatározása, hogy mi a jó szöveg, egy másik kérdés, és ez szubjektív és kontextusfüggő. Mivel nem rendelkezünk a „jó szöveg” egyedi definíciójával, a veszteségfüggvény létrehozása és a modell betanítása rémálom. Ezért találták ki a Reinforcement Learning from Human Feedback (RLHF) módszert.
Fogunk egy már betanított modellt, összegyűjtjük az emberi preferenciákat a szövegkimenetekkel kapcsolatban, és megerősített tanulással finomhangoljuk a modellünket. Ez lehetővé teszi, hogy az LLM jobban igazodjon az összetett emberi értékekhez. Az RLHF az a kulcs, mely lehetővé tette a GPT3 átalakulását ChatGPT-vé, egy olyan modellé, mely tudja, hogyan kell jobban együttműködni az emberekkel, és kihasználni az általa megtanult hatalmas tudást. Az eredmény azonban egy értelmesebbnek tűnő papagáj lett.
Ha működik, akkor nem nyúlunk hozzá. Valójában minden problémája ellenére a Transzformátor-modell remekül működik. Vagy legalábbis addig, amíg észhez nem tér. Eddig az előképzés során a modellt egy adott szósorozat megjóslásában értékeltük. Az RLHF során a modellt egy ember válaszpreferenciáin képezzük ki. De vajon tényleg a tanulását értékeljük? Egy szó megjóslása a kontextus alapján azt jelenti, hogy megtanultuk? Az, hogy megtanuljuk, milyen válaszokat preferál, azt jelenti, hogy megértettük a témát? Vagy csak azt tanultuk meg, hogyan kapjunk jó jegyet? Oké, jó kérdések. De először is, mit jelent valójában a tanulás? Az első probléma az, hogy nem tudjuk pontosan meghatározni, mit is jelent maga a tanulás folyamata. Így azt sem tudjuk, hogyan értékeljük egy modell tényleges „tanulását”. További magyarázat: egy diák bemagol egy történelemkönyvet, és egy tesztben minden kérdésre pontosan válaszol. Vajon megtanulta? Vagy csak memorizált az adatokat?
És ezért a mi LLM-ünk memorizál, vagy helyesen tanul? A transzformátorok sokat és jól memorizálnak. A mi diákunk számára a matekkönyv bemagolása nem teszi lehetővé, hogy matematikai feladatokat oldjon meg. Az LLM-ek ugyanis látványosan megbuknak, ha matematikai feladatokról van szó (legalábbis anyanyelvi formában). Ezért egy egész arzenálnyi technikát találtunk ki, hogy a modelleket rávegyük olyan problémák megoldására, ahol érvelésre lenne szükség. Az olyan technikákat, mint a gondolatlánc (Chain-of-Thought, CoT) és az önkonzisztencia, ezeket az inspirálta, ahogyan a diákok tanulnak a való világban, hogy növeljék a modell érvelési képességeit.
Ezek a technikák azonban olyanok, mintha foltot ragasztanánk egy lyukra. Természetesen a víz már nem ömlik be a csónakunkba, de a problémát magát még nem oldottuk meg. Vegyük észre, hogy ha egy következtetésben prompt mérnöki technikákat használnak, nem frissítik magukat a „súlyokat”, és így nincs tanulás valójában. Ebben a pillanatban még sok kérdés nyitva marad: Mit jelent a tanulás? Hogyan különböztetjük meg a tanulást a memorizálástól? Hogyan tanulunk mi, emberek? Lefordíthatjuk-e ezt mesterséges intelligencia modellekre vagy sem?
Tanulni annyit tesz, mint küzdeni
Lépjünk egy lépést hátra. próbáljuk meg megkülönböztetni a tanulást a memorizálástól, és hogy ez mit jelent a neurális hálózatok számára. Hasonlóképpen, melyek azok a tényezők, melyek lehetővé teszik a tanulást? Tegyük fel, hogy felteszünk egy diáknak egy kérdést, és a diák helyesen válaszol. Honnan tudjuk, hogy a diák megtanulta, és nem memorizálta a könyvet? Feltehetünk neki egy olyan kérdést, melynek a válasza nem szerepel a könyvben, de a szövegben található tudás lehetővé teszi számára a kérdés megválaszolását. Ez működik az emberi tanulók esetében. Mi a helyzet a neurális hálózatokkal? A neurális hálózatok esetében ott van a „tesztkészlet”. Olyan példák halmaza, melyeket a modell még nem látott, és melyekről megkérdezzük. Az ötlet az, hogy a modellnek képesnek kell lennie arra, hogy általánosítani tudja azt, amit a képzése során megtanult.
Ez egy jó rendszernek tűnik annak tesztelésére, hogy a modell tanul-e vagy sem. De ez még mindig nem mond semmit a memorizálás és az általánosítás közötti kapcsolatról. Némileg véletlenül a Grokking nevű bizarr jelenséggel kapcsolatos tanulmányok jobb megértést adtak nekünk erről a kapcsolatról. A grokking késleltetett általánosítás: a modell látszólag nem tanul, majd hirtelen elkezd általánosítani. Röviden: a modellnek két fázisa van, az egyikben megjegyzi a gyakorlóhalmazt, a másikban pedig elkezd általánosítani (azaz ténylegesen tanulni). Ezek az erők ellentétesek, és a paraméterek számától és az adatok mennyiségétől függnek. Emellett a memorizálás könnyebb, ezért ez jelenik meg először.
A transzformátor számára a paraméterek nagy száma „kétélű kard”; lehetővé teszi, hogy nagyon sok adatot megjegyezzen, és kétségeket hagy bennünk: amikor megkérdezzük, lehet, hogy már látta a választ a gyakorlóhalmazban. A másik érdekes pont a grokkinggal kapcsolatban az, hogy a megjelenéshez ki kell iktatni az úgynevezett memorizáló köröket. Másképp fogalmazva: először megjegyezzük, aztán elfelejtjük, és végül tanulunk. Nem lenne hatékonyabb úgy tanulni, hogy előbb nem kell memorizálnunk? Igen, határozottan. Valójában a neurális hálózatoknak rengeteg paramétert kell kidobniuk, és gyakran elég sok adatunk is van. A természet ehelyett brutális, az energiaforrások és a hely korlátozott, és egy agynak képesnek kell lennie optimalizálni az összetett feladatokra anélkül, hogy túl sok energiát fogyasztana vagy túlnőne a koponyá(já)n.
A működő agyak kulcsfontosságú szervezeti jellemzőkkel rendelkeznek, melyek számítási képességekkel ruházzák fel őket, hogy a kognitív műveletek széles skáláját hatékonyan és rugalmasan végezzék el. Az történik, hogy ezen erők (a tér és az energia szűkössége) hatására az agy megszabadul a neuronok közötti minden felesleges kapcsolattól, és olyan struktúrákat alakít ki, melyek lehetővé teszik az információk optimális továbbítását. Egyrészt a hatékonyabb struktúrák kevesebb paramétert jelentenek, a kevesebb paraméter pedig kisebb mintákat, és kisebb modelleket. Vagyis kevesebb pénzt energiában és hardverben. Éppen ezért ugyanerre törekedtek a mesterséges neurális hálózatokban is.
A súlyok számának csökkentésének elegáns módja a képzés során a regularizáció ötlete. Egyes csoportok térbeli büntetést (minél több információnak kell terjednie, annál nagyobb büntetést kap) és konnektivitás-alapú büntetéseket alkalmaztak. Egy nemrégiben készült tanulmány azt mutatja, hogy a kapcsolatok távolság szerinti büntetésével az agyban megfigyeltekhez hasonló struktúrák alakulnak ki a neurális hálózatokban. Valójában az információ továbbításának optimalizálása érdekében moduláris struktúrák alakulnak ki, melyek hajlamosak a specializálódásra. Ez a specializáció lehetővé teszi a jobb tanulást, de ami még fontosabb, hatékonyabbá teszi azt.
A paraméterek túlzott száma elősegíti a memorizálást. Viszont ehelyett a modell korlátozásának biztosítása elősegíti a tanulást. Más szóval, korlátozások nélkül a modell hajlamos a memorizálásra, mert elegendő kapacitással rendelkezik, és a memorizálás könnyű. Ha hozzáadunk egy olyan korlátozást, mint például a súlycsökkenés, hosszú távon grokking-ot kapunk: a modell megszünteti a memorizáló áramköröket, és általánosító áramkörök jönnek létre. Nyilvánvalóan ez azt jelenti, hogy először memorizálunk, és mielőtt tanulni tudnánk, felejtenünk kell (megszüntetni a súlyokat). Másrészt, ha a modellnek optimalizálnia kell a helyet (a paraméterek számát) és az információátadást, a modell hatékonyabban tanul. Agyszerű struktúrák alakulnak ki természetes módon, melyek energetikailag hatékonyak és funkcionálisak. Ez azonban nem csupán önmagában a tanulásról nyújt információt, hanem inkább olyan elemeket ad, melyek segítségével megérthetjük, hogy milyen körülmények között történik a tanulás. Most már tudjuk, hogy az emberi agyhoz hasonló korlátozások megvalósítása hatékonyabbá teszi a tanulást. Inspirálódhatnánk abból, hogyan tanul az ember, hogy új tanulási paradigmát hozzunk létre az LLM-ek számára.
Tanuljunk úgy, mint egy gyermek és gondolkodjunk úgy mint egy felnőtt
Beszéltünk az agy tanulását feltételező tényezőkről (hogyan optimalizáljuk a helyet és az energiát). De hogyan tanul az ember? Míg a nagy nyelvi modelleknek (LLM) a teljes internet a rendelkezésére áll, addig egy csecsemőnek ez nem áll rendelkezésére, hanem interakcióba kell lépnie a világgal. A világgal való interakció teszi lehetővé, hogy a csecsemő megtanuljon beszélni. Valóban, bár vannak különbségek a gyermekek és az LLM-ek nyelvtanulási módjában, a tanulási viselkedésükben is vannak hasonlóságok. Miért vannak különbségek az LLM-ek és a gyermekek tanulása között?
Filozófusok és kognitív tudósok azzal érveltek, hogy egy új szó megtanulása a szójelöltek hatalmas, potenciálisan végtelen számú jelentésének összeválogatását igényli. Valójában a kisgyermekek nemcsak szavakat, hanem azok jelentését is megtanulják. Ugyanakkor képesek a szavakat a megfelelő vizuális utalásokkal társítani, miközben feltérképezik a világot. Bár számos elméletünk van, nem tudjuk, hogyan sikerül ez a gyerekeknek. Nyilvánvaló, hogy etikai okokból nem kísérletezhetünk gyermekeken. Ezért a kutatók egy kamerát szereltek egy sisakra, és egy ausztrál gyermek hat hónapos korától kétéves koráig hetente kétszer egy órát viselte. Ezután a felvételeket egy mesterséges intelligencia betanításához használták. A Child’s View for Contrastive Learning (CVCL) modellt, mely az asszociatív tanulás egyfajta szituációkon átívelő, a szavak és a lehetséges vizuális referenciák együttes előfordulását nyomon követve határozza meg azok megfeleltetését. A tanulmány szerzőit a CLIP inspirálta; ők a kontrasztív tanulást használták arra, hogy megtanulják, mely képek és szövegek hajlamosak társulni.
A modellt ily módon 250.000 képnek tették ki, melyeket olyan tevékenységek során gyűjtöttek össze, mint az evés, a játék és az olvasás. Miután betanították, úgy értékelték, ahogyan a gyerekek nyelvi képességeit értékelték: arra kérték a mesterséges intelligenciát, hogy egy szót párosítson négy lehetséges képpel. A modell hasonló eredményeket mutatott, mint a CLIP (amelyet 400 millió kép-szöveg párosítással képeztek ki a világhálóról). A legérdekesebb eredmény az volt, hogy a modell jobban tudta azonosítani a kontextuson kívüli tárgyakat. A modell a CLIP-nél jobb eredményeket adott a terjesztésen kívüli képek esetében. A szerzők szerint ezek a teljesítmények azzal magyarázhatók, hogy a valós világban a nyelvtanulás sokkal változatosabb és gazdagabb, mint aminek az LLM-ek ki vannak téve. Bár elsődleges célunk a minimális összetevőket tartalmazó szó-referens leképezések tanulhatóságának megállapítása volt, a CVCL sikerei nem zárják ki a reprezentáció és az érvelés kifinomultabb formáit, különösen azokat, amelyek a későbbi fejlesztések során megjelenhetnek.
Érdekes módon a gyerekek a valós világ és a szavak közötti minimális leképezés kihasználásával tanulnak nyelvet. Ez sokkal kevesebb példával is átvihető egy mesterséges intelligencia modellben. Mivel az architektúrák hasonlóak, csak a tanuláson változtat. Ha a nyelvtanulásra inspirálhat bennünket az, ahogyan a gyerekek megtanulnak beszélni, miért ne inspirálhatna bennünket az, ahogyan az emberek összetettebb feladatokat tanulnak? Rengeteg olyan munka született, melyet a deduktív logika vagy más problémamegoldó folyamatok inspiráltak, azonban alábecsült szempont, hogy az ember társas állat. Az emberek nem csupán a megfigyelhető jelzésekre reagálnak, hanem automatikusan és könnyedén követik mások nem megfigyelhető mentális állapotát, például a tudásukat, szándékaikat, meggyőződéseiket és vágyaikat.
Ezt a képességet „elméletnek” (Theory of Mind, ToM) nevezik, és központi szerepet játszik az emberi társas interakciókban. Az emberek tanulása a társas interakciók során történik. Ezért több kutató arra volt kíváncsi, hogy az LLM-ek képesek-e TOM-feladatokat megoldani. Egy nemrégiben közzétett tanulmány szerint a TOM növekvő paraméterekkel rendelkező tulajdonságként jelenne meg. Tehát a legújabb modellek (mint például a GPT-4) képesek lennének olyan TOM-feladatok megoldására, mint például annak megértése, hogy egy másik egyénnek lehet olyan hite, amelyről a résztvevő tudja, hogy hamis. A tanulmány szerzői óvatosak azzal az állítással kapcsolatban, hogy ez végleges bizonyíték a TOM-ra az LLM-eknél. Másrészt ezeknek a képességeknek a megjelenése arra utal, hogy az LLM-ek ezután interakciók révén (emberekkel és a jövőben más modellekkel) is tanulhatnak.
Más szóval, bár nem kifejezetten erre képeztük ki őket, az LLM-ek hajlamosak az egyszerű finomhangolástól eltérő módon tanulni, de a jövőben interaktívabban tanulhatnak. A fenti szakaszban láttuk, hogy a paraméterek számát korlátozó erők javítják a tanulást. Más szóval, egy ritkább modell lehetővé teszi, hogy olyan funkcionális struktúrák fejlődjenek, amelyek segítenek az erőforrás-felhasználás optimalizálásában. Most ehelyett megjegyezzük: A kisebb adatmennyiség, de ritkább adatok lehetővé teszik, hogy a modell úgy tanuljon, mint egy hatalmas adatmennyiséggel képzett modell. Az LLM-ek egyik feltörekvő tulajdonsága az elmélet és így a másoktól való tanulás. A jövőbeli LLM-ek tanulására ezért vagy változatosabb tanulási környezetet hozhatunk létre, vagy egy új paradigmát, amely az emberekkel vagy akár más modellekkel való interakción alapul.
Az emberi agy szimulákruma
Bár majdnem minden LLM transzformátor, maga az architektúra megmutatta korlátait. Ezért a számítási költségek csökkentésére törekedve az elmúlt évben az önmegfigyelés számos változata virágzott fel. Más kutatócsoportok az önfigyelés konvolúció-alapú rétegekkel vagy az RNN-ek származékaival való helyettesítésére összpontosítottak. Miközben az alternatív architektúra keresése igen aktív terület, ezeket a modelleket azonban nyelvi modellként is képzik. Magának a tanulásnak az alapkutatása elmaradt. Hogy miért? Az egyik lehetőség az, hogy nagyon keveset tudunk arról, hogy mit jelent a tanulás. Ez a homályos definíció megnehezíti a mesterséges intelligencia modellek tanulási paradigmájának kidolgozását is. Hiszen ha nem tudjuk, hogy mit jelent maga a tanulás, akkor nehéz azt képletekbe lefordítani. Ezért találtuk ki az RLHF-et, mert a nyelvet kontextuálisan megragadni és veszteségfüggvénnyé alakítani nehéz kihívás.
Érdekes módon egy sokkal kevesebb adatponttal képzett, de a világgal interakcióba lépő gyermekről készült felvételeket kihasználó modell a CLIP-hez hasonlóan teljesít. Az emberi tanulás sokkal változatosabb, és a mesterséges intelligencia modelleknek nincs ilyen játszótér. Hasonlóképpen, a TOM megjelenése megnyitja az utat egy olyan tanulási modell keresése előtt, amely inkább az interakción alapul. Így a jövőben egy új tanulási paradigma alakulhat ki, mely azon alapul, hogy a gyermekek hogyan tanulnak és finomhangolnak az interakcióra épülő következtetési feladatokra.
A mesterséges intelligenciamodellek növekvő komplexitása megakadályozza, hogy megértsük működésüket és képességeiket kizárólag a tervezésükből származtassuk. Ez visszhangozza azokat a kihívásokat, melyekkel a pszichológusok és az idegtudósok szembesülnek a fekete doboz kvintesszenciájának, az emberi agynak a tanulmányozása során. A tanulás tanulmányozása nemcsak az új, hatékonyabb neurális hálózatok kifejlesztése szempontjából hasznos (kevesebb adat, kevesebb paraméter, kevesebb tréning), hanem az emberi megismerés jobb megértése szempontjából is. Ezért a pszichológiai és idegtudományi tanulmányok lehetővé tehetik számunkra új neurális hálózatok tervezését, ugyanakkor e hálózatok tesztelése lehetővé teszi számunkra az emberi agy szimulálását.
Az LLM-ek új architektúráinak keresése nagyon aktív terület. Az elmúlt években a Transformátor-modell uralta a színtereket, és sok kutatás foglalkozik azzal, hogyan lehetne a modellt hatékonyabbá tenni. Bár 2017-ben jelent meg, az előképzést még mindig nyelvi modellezéssel végzik. Még ma sincs pontosan tisztázva, hogy mit jelent a tanulás, és hogyan tanul az ember.
A legújabb tanulmányok azt mutatják, hogy a korlátozó és optimalizáló erők jelenléte lehetővé teszi az emberi agy számára, hogy komplex és optimalizált struktúrákat fejlesszen ki. Míg a modelleket hatalmas mennyiségű homogén adattal képzik, addig az emberi tanulás sokkal változatosabb. Kevesebb adat, és több változatos eredményt hozhat. Ráadásul az ember a térrel, de másokkal is interakcióban tanul. A jövőben ebből egy új tanulási paradigma következhet.
(Kiemelt kép: Unsplash+)
