Sok csúcskategóriás nyelvmodell több nyelven működik, gyakorlati szempontból viszont a többnyelvű modellek továbbra is a természetesnyelv-feldolgozás határát jelentik.
A nemzetközi (kaliforniai, dél-koreai és Mumbai-székhelyű) Two AI startup többnyelvű GPT-4 versenytársat fejlesztett dél-ázsiai nyelvekre. Az olcsó SUTRA nyelvmodell harmincnál több, köztük gudzsaráti, maráthi, tamil és telugu nyelven kommunikál. A cég ingyen elérhetővé tette a modellen alapuló ChatSUTRA chatbotot.
Hogyan működik az új nyelvmodell?
A SUTRA két transzformer keveréke: az egyik fogalom-modell, a másik a fordításhoz használt kódoló-dekódoló, azaz fordítómodell.
A modell megtanulja a következő token előrejelzését. Gyakorló adatkészlete nyilvánosan hozzáférhető adatgyűjteményekből származik néhány nyelven. Ezekből, beleértve az angolt is, bőséges adat áll rendelkezésre.
Angol fordítás
Ezzel párhuzamosan a fordítómodell százmillió ember és gép által fordított beszélgetést tanult meg számos nyelvre átültetni. Az adatkészlet összes nyelvén elsajátította, hogyan kell fogalmakat leképezni hasonló beágyazásokhoz.
A fejlesztők összekombinálták a két modellt. A fordító kódolója betáplált valamit a fogalom-modellbe, az utóbbi pedig a fordító dekódolójába a választ, és együtt gyakoroltatták őket: a fordító kódolója szöveget kapott, és létrehozta a kezdeti beágyazást. A fogalom-modell feldolgozza a beágyazást, a kimenetet pedig betáplálja a másik dekódolójába, és a dekódoló hozza létre a munka szöveges eredményét.
Az eredeti szöveg
A SUTRA három változatban (Pro, Light, Online) alkalmazásprogramozói felületen (API) érhető el, egymillió tokenenként egy (Pro, Online), illetve 0,75 dollárért (Light).
Megmérettetés
Egy többnyelvű, több választási lehetőséget kínáló teszten a SUTRA tizenegy nyelvből a fentebb említett négyben jobban teljesített, mint a GPT-4. A modell gyors és költséghatékony, Teljes kiértékelése viszont azért nehéz, mert az általa használt harminchárom nyelv közül csak tizenegyen végezték el a tesztet. (Legalábbis csak tizenegyről számoltak be a fejlesztők.)
Ezzel együtt az a tény, hogy négy nyelven jobban teljesített az illusztris GPT-4-nél – még ha mindenben nyilván nem is veszi fel vele a versenyt – vonzó lehet a dél-ázsiai piacon, különösen nehezen megközelíthető, rurális területeken, ahol az ott élők nem vagy alig beszélnek angolul.
Képek: Two AI
