Generic selectors
Exact matches only
Search in title
Search in content
Post Type Selectors
post

Meta: a szerkesztő útmutatása szerint dolgozik a nagy nyelvmodell

MEGOSZTÁS

Ha a szövegeket előállító mesterséges intelligenciának megtanítják, hogy magyarázza el a döntéseit, és hivatkozzon a döntést megalapozó tényekre, jobban megértjük a modellek viselkedését. Ez utóbbi, „fekete doboz” jellege miatt érik támadások az MI-t és a fejlesztőcégeket.

Nyitókép: Flickr

 

A mai nagy nyelvmodellek (large language models, LLM) által generált szövegek inkább nyers vázlatként, semmint kész anyagként használhatók. Akármilyen jónak tűnnek, mindenképpen szükség van emberi beavatkozásra; csiszolnunk, szerkesztenünk kell rajtuk.

A Facebook anyacége, a Meta kutatói megoldást találtak a probléma automatizálására. Egy nyelvmodellnek betanították, hogyan hozzon létre a szerkesztői iránymutatásokhoz alkalmazkodva szöveget.

 

Ne csak a Wikipédiát használd!

A szöveggenerátor neve Tervez, Szerkeszt, Magyaráz és Ismétel (Plan, Edit, Explain, and Repeat, azaz már megint egy beszédes nevű rövidítés: PEER). A modell rendeltetése, hogy hatékonyabban dolgozzon együtt az író emberrel – az MI legvalószínűbb közeljövőjének, az ember-gép együttműködésnek lehet majd szép példája.

Alapprobléma, hogy nehéz a szerkesztés motivációit, kivitelezését és eredményét jól szemléltető adatokhoz jutni. A Wikipédiánál például minden egyes szócikk szerkesztés-története és a hozzájuk fűzött megjegyzések is nyomom követhetők, de ha egy szerkesztő kizárólag kedvenc online enciklopédiánkon gyakorol, csak az enciklopédia-stílusú szövegekhez fog érteni.

A Wikipédián a felülvizsgálatok visszavonására betanított modell viszont felülvizsgált és felül nem vizsgált példákból álló kiegészítő adatsort is képes szintetizálni. A visszavonás funkciót változatos szövegekre alkalmazva, szerkesztetlen vázlatokat tud létrehozni, és a szerkesztő ezeken a vázlatokon gyakorolhat.

 

Gépitanulás-modellek egymás között (Kép: Wikimedia Commons)

 

A PEER négy T5 (Text-to-Text-Transfer-Transformer) nagy nyelvmodellből áll: az egyik felülvizsgál, a másik visszavonja a felülvizsgálatot, a harmadik elmagyarázza, a negyedik dokumentumot hoz létre. A dokumentum a felülvizsgálatok alapja. A modelleket a Wikipédia 6,9 millió példáján gyakoroltatták: átdolgozás előtti és utáni szövegeken, magyarázatokon, idézett dokumentumokon.

 

A rendszer működése bonyolult, de hatékony

Felülvizsgálatlan szövegből és három idézett dokumentumból az első modell átdolgozás-tervet és felülvizsgált szöveget dolgozott ki. Az ugyanazokkal az anyagokkal dolgozó második szintén megtanulta terv, és mellette, felülvizsgálatlan szöveg kidolgozását is. A felülvizsgált és felülvizsgálatlan szövegeket, és az idézett dokumentumokat használó harmadik a magyarázatgenerálást sajátította el. A szövegeket és a tervet alkalmazó negyedik, megtanulta, hogyan hozzon létre dokumentumot.

A kutatók a begyakoroltatott modellekkel Wikinews és más cikkeken alapuló szintetikus adatsorokat dolgoztattak ki. Az átdolgozatlan szövegeket megjelent cikkekkel kellett összetársítaniuk, terveket, dokumentumokat, aztán további adatsorokat készíttettek velük.

Eljutottak addig, hogy emberrel együttműködve, a felhasználó terve alapján vagy átdolgoznak, vagy generálnak szöveget. Ezeket a feladatokat bármilyen kombinációban, tetszés szerinti alkalommal hajthatjuk végre.

PEER jó eredményt ért el a teszteken.

PODCAST

ICT Global News

VIDEOGALÉRIA
FOTÓGALÉRIA

Legnépszerűbb cikkek