Nem titok, hogy a nagy nyelvi modellek (LLM) – még a mégoly népszerű ChatGPT is – meglepően hibásak. Még a legfejlettebbek is hajlamosak nem a teljes valóságot állítani teljes bizonyossággal. Szakértők pedig igyekeznek felhívni a figyelmet, hogy mivel Google-doktort felváltják a chatbot doktorok, ez a magabiztosság konkrétan élteket fenyeget.
Könnyű megmérgezni
A New York-i Egyetem kutatói azt találták, hogy ha egy adott nagy nyelvi modell képzési adatainak csupán 0,001 százalékát „mérgezik meg”, vagyis szándékosan valótlan információkkal táplálják a mesterséges intelligenciát, akkor az egész képzés valószínűleg hibákat fog generálni.
Ugyanakkor megállapították, hogy a hibák ellenére a sérült LLM-ek még mindig ugyanolyan jól teljesítenek az „orvosi LLM-ek értékelésére rutinszerűen használt nyílt forráskódú referenciaértékeken”, mint a korrupciómentes társaik. Ez pedig azt jelenti, hogy az orvosbiológiai LLM-ek használata komoly kockázatokat rejt, amelyeket a hagyományos tesztek nem mérnek.
A kutatók remélik, hogy eredményeik felhívják a figyelmet a nagy nyelvi modellek tanításának kockázatára, különösen azokban az esetekben, ahol válogatás nélkül használnak fel az interneten elérhető, onnan másolt adatokat.
Ez különösen az egészségügyben potenciálisan veszélyeztetheti a betegbiztonságot, hiszen az egészségügyi intézmények nem tudják, hogy az adott nagy nyelvi modell fejlesztésében milyen körülmények játszottak közre. Ők csak megvesznek egy terméket, amely azonban valószínűleg olcsóbb, mint a bizonyítottan ellenőrzött módon tanított LLM. Az egészségügyi intézmények költségvetése azonban világszerte sok helyen meglehetősen szűkös, így az árazás komoly tényező.
A kísérlet során a kutatók szándékosan mesterséges intelligencia által generált téves orvosi információkkal tanították a The Pile néven ismert nagy nyelvi modellt, amely „kiváló minőségű orvosi szövegeket” tartalmaz. A csapat 150 ezer orvosi cikket íratott a mesterséges intelligenciával mindössze 24 óra alatt.
Az eredmények megdöbbentőek voltak. Miután a százmilliárd oktatási tartalomból mindössze egymillió oltással kapcsolatos hibás információ került a rendszerbe (0,001 százalék), az a a káros tartalom 4,8 százalékos növekedését hozta. Kétezer hibás cikk (körülbelül 1500) oldal, amit a kutatók mindössze öt dollárért generáltak megmérgezte a teljes rendszert.
Elég csak hibás információkat tárolni a neten
Következtetésük szerint „az adatmérgezés nem igényel közvetlen hozzáférést”, a támadóknak elég csak káros információkat kell tárolniuk az interneten, és ezzel már aláássák az LLM érvényességét.
Ezért szakértők állítják, hogy az LLM-eket nem szabad diagnosztikai vagy terápiás feladatokra használni, amíg jobb biztosítékokat nem fejlesztenek ki. Ez különösen azért fontos, mivel a New York Times már tavaly arról számolt be, hogy a MyChart nevű, mesterséges intelligencia által működtetett kommunikációs platform, amely az orvosok nevében automatikusan megszerkeszti a betegek kérdéseire adott válaszokat, rendszeresen valótlan bejegyzéseket ír a beteg állapotáról.