Generic selectors
Exact matches only
Search in title
Search in content
Post Type Selectors
post

A GPT-4-gyel versengő chatbot dél-ázsiai nyelvekhez

MEGOSZTÁS

Versenghetnek-e frissen alakult startupok olyan nagyágyúkkal, mint az OpenAI? Egy új vállalkozás, a kevésbé ismert ázsiai nyelvekkel foglalkozó, azokat egymás és az angol között fordító nyelvmodellt és chatbotot fejlesztő Two AI példája azt mutatja, hogy nem reménytelen a verseny. Persze tovább kell fejlődnie hozzá, és nem szabad felvinnie szolgáltatásai árát.

Sok csúcskategóriás nyelvmodell több nyelven működik, gyakorlati szempontból viszont a többnyelvű modellek továbbra is a természetesnyelv-feldolgozás határát jelentik.

A nemzetközi (kaliforniai, dél-koreai és Mumbai-székhelyű) Two AI startup többnyelvű GPT-4 versenytársat fejlesztett dél-ázsiai nyelvekre. Az olcsó SUTRA nyelvmodell harmincnál több, köztük gudzsaráti, maráthi, tamil és telugu nyelven kommunikál. A cég ingyen elérhetővé tette a modellen alapuló ChatSUTRA chatbotot.

Hogyan működik az új nyelvmodell?

A SUTRA két transzformer keveréke: az egyik fogalom-modell, a másik a fordításhoz használt kódoló-dekódoló, azaz fordítómodell.

A modell megtanulja a következő token előrejelzését. Gyakorló adatkészlete nyilvánosan hozzáférhető adatgyűjteményekből származik néhány nyelven. Ezekből, beleértve az angolt is, bőséges adat áll rendelkezésre.

 

Angol fordítás

 

Ezzel párhuzamosan a fordítómodell százmillió ember és gép által fordított beszélgetést tanult meg számos nyelvre átültetni. Az adatkészlet összes nyelvén elsajátította, hogyan kell fogalmakat leképezni hasonló beágyazásokhoz.

A fejlesztők összekombinálták a két modellt. A fordító kódolója betáplált valamit a fogalom-modellbe, az utóbbi pedig a fordító dekódolójába a választ, és együtt gyakoroltatták őket: a fordító kódolója szöveget kapott, és létrehozta a kezdeti beágyazást. A fogalom-modell feldolgozza a beágyazást, a kimenetet pedig betáplálja a másik dekódolójába, és a dekódoló hozza létre a munka szöveges eredményét.

 

Az eredeti szöveg

 

A SUTRA három változatban (Pro, Light, Online) alkalmazásprogramozói felületen (API) érhető el, egymillió tokenenként egy (Pro, Online), illetve 0,75 dollárért (Light).

Megmérettetés

Egy többnyelvű, több választási lehetőséget kínáló teszten a SUTRA tizenegy nyelvből a fentebb említett négyben jobban teljesített, mint a GPT-4. A modell gyors és költséghatékony, Teljes kiértékelése viszont azért nehéz, mert az általa használt harminchárom nyelv közül csak tizenegyen végezték el a tesztet. (Legalábbis csak tizenegyről számoltak be a fejlesztők.)

Ezzel együtt az a tény, hogy négy nyelven jobban teljesített az illusztris GPT-4-nél – még ha mindenben nyilván nem is veszi fel vele a versenyt – vonzó lehet a dél-ázsiai piacon, különösen nehezen megközelíthető, rurális területeken, ahol az ott élők nem vagy alig beszélnek angolul.

 

Képek: Two AI

IT EXPERTS-TECH LEADERS 2024 FELHŐ A JAVÁBÓL KONFERENCIA

PODCAST

ICT Global News

VIDEOGALÉRIA
FOTÓGALÉRIA

Legnépszerűbb cikkek

ICT Global News

Iratkozz fel a hírlevelünkre, hogy ne maradj le az IT legfontosabb híreiről!