A nyelvi modellek a szövegek értelmezésére és feldolgozására, vagyis egy emberi képesség szimulálására törekszenek. A nemzetközi AI-cégek révén megismert nagy nyelvi modellek gépi tanításra alkalmazott célfüggvényei mégis figyelmen kívül hagyják az emberi megértés sajátosságait.
Ez idézi elő azt a helyzetet, hogy a nagy nyelvi modellek drágán, rendkívüli adatpazarlással és alacsony hatékonysággal tudják elérni az emberi megértés szimulációját
– magyarázta Berend Gábor, az SZTE Számítógépes Algoritmusok és Mesterséges Intelligencia Tanszékén docense, aki kutatásaihoz Bolyai-ösztöndíjat nyert.
A klasszikus maszkolt nyelvi modellezés során 100 milliárdnyi mondattal tanítják a rendszert, majd ezek bizonyos mennyiségű szavát kitakarják. A nyelvi modell célja, hogy képes legyen megállapítani, a kitakar helyen pontosan milyen szó állhatott. Így a tanulás lépései nem tükrözik az emberi gondolkodásmódot.
Az SZTE kutatóinak eljárása során egy segédmodellel előbb a szavakhoz kötődő rejtett fogalmi kategóriákat szeretnék automatikusan felállítani.
Egy szöveg számítógépes reprezentációja során egy-egy szó által fedett dolgot ezer szempontból értékelhetnek. Ezek közül azonban csupán néhány lesz valóban jellemző, melyek meghatározzák a fogalmi kategóriákat. Ezt az alternatív előtanítási eljárást maszkolt látens szemantikai modellezésnek nevezték el, és angol, valamint magyar nyelvre is következetesen jobb eredményeket adott, mint a klasszikus maszkolt nyelvi modellezés.
Berend Gábor az eljárás első eredményeit 2020-ban publikálta, míg a nagy AI-cégek csak a közelmúltban kezdték el nyelvi modelljeik fogalmi hierarchiáját hasonló módszerrel feltérképezni. Míg azonban a vállalkozások ezt csak leíró jelleggel végzik, a szegedi kutatók a módszert az új modellek létrehozásánál is alkalmazzák.
(Kép: pixabay.com)
