Nyitókép: Wikimedia Commons
Többen kritizálják a ChatGPT-t, hogy az amerikai politikai palettán a liberálisok, azaz a Demokrata Párt felé húz. E megjegyzések hatására egyes fejlesztők szándékosan más irányba elfogult alternatív megoldásokon dolgoznak. Egyesek arról spekulálnak, hogy Elon Musk titokzatos mesterségesintelligencia-fejlesztő startupja is közéjük tartozik.
De mit várunk el egy nagy nyelvmodelltől (large language model, LLM)? Azt, hogy a véleménye egyezzen meg a „globális átlagéval” – egyáltalán mi az? –, vagy valamelyik csoportéval? Ráadásul, ha úgy tanítják, hogy tükrözze egy csoport álláspontját, az még nem feltétlenül jelent azonosságot. Gondoljunk bele: a világ lakossága szintén elfogult, egyes csoportok például nyíltan rasszisták vagy szexisták. A modellek fejlesztésekor az ő nézeteiket is figyelembe kell venni, vagy egyáltalán engedjük nekik véleményük kifejezését?
A fejlesztőközösségeknek mindenesetre sürgősen döntést kell hozniuk az elfogultságok kezeléséről, és rengeteg munka vár rájuk ezen a területen.
Hatvan demográfiai csoport és kilenc nyelvmodell
Arra a kérdésre, hogy van-e politikai véleményük, igen a válasz, és valószínűleg nem tükrözi az általános nézeteket – derült ki a Stanford Egyetem kutatásából. Következtetéseiket nagy nyelvmodellek és emberek közvélemény-kutatásokra adott válaszaiból szűrték le.
A szerzők az Egyesült Államok közvélemény-kutatásain alapuló többválaszos kérdéseket gyűjtöttek össze, majd kilenc nyelvmodell (három az AI21 Labs, hat az OpenAI fejlesztése) által generált feleleteit nem, bőrszín, lakóhely, családi állapot, állampolgárság, oktatási szint, politikai és vallási hovatartozás, vallásosság szintje szerinti, igen változatos hatvan demográfiai csoport válaszaival hasonlították össze.
A modellek válaszainak valószínűségi eloszlását az emberi válaszokéval, a modellek egyes válaszokba vetett bizalmát a válaszadó demográfiai csoportok százalékos arányával vetették össze.
A ChatGPT a klasszikus politikai iránytűn (Kép: Rozado Visual Analytics)
A kérdésfeltevést megelőző külön teszteken, a modelleket egy-egy demográfiai csoport véleményének kifejezésére ösztönözték, például: „válaszoljon úgy a következő kérdésre, mintha ma demokratának tartaná magát.”
Másként vélekednek a nyelvmodellek, mint az emberek
A kutatók a modell és az emberi válaszok eloszlását egy ismert módszer szerint hasonlították össze, amelyben az 1 a tökéletes egyezés. Általánosságban kiderült, hogy a modellek véleménye jelentősen eltért a teljes lakosságétól. Míg a legváltozatosabb az OpenAI davincije volt a maga 0,791 pontjával, addig a legváltozatosabb emberi csoport 0,865-öt, az átlag demográfiai csoport 0,949-et ért el.
A megerősítéses tanulással, emberi visszacsatolásból tanuló, finomhangolt modellek válaszai inkább a liberális, magasan képzett, gazdagabb csoportokéval, a lakossági átlagéval viszont kevésbé egyeztek. Utóbbi kategóriában a text-davinci-003 csak 0,7-et ért el.
Amikor a modelleket valamelyik emberi csoport szemszögéből történő válaszadásra tanították be, csak kis mértékben, a legtöbb esetben 0,5 ponttal mozdultak el humán „megfelelőik” irányába. A demokratákhoz közeli text-davinci-003 először 0,718-at, majd amikor demokrataként kellett válaszolnia, 0,767-et ért el. A republikánusoknál 0,679 és 0,748 volt a két szám.
