Amikor chatbottal beszélgetünk, elkerülhetetlen, hogy a gép elkérje személyes adatainkat, például a nevünket, esetleg a lakcímet, a munkahelyi vagy éppen az érdeklődési körrel kapcsolatos adatokat. És minél több információt osztunk meg, annál nagyobb a veszélye annak, hogy biztonsági hiba esetén visszaéljenek vele.
A San Diego-i Kaliforniai Egyetem és a szingapúri Nanyang Műszaki Egyetem biztonsági kutatói olyan algoritmust hoztak létre, amely titokban arra utasítja a nagy nyelvi modellt, hogy gyűjtse össze az emberek személyes adatait a chatekből (így a neveket, az azonosítószámokat, a kártyaadatokat, emailcímeket, levelezési címeket, illetve bármilyen személyes információt), majd közvetlenül küldje el a hackernek.
Új nyelvet beszél a nagy nyelvi modell
Az Imprompternek nevezett támadó algoritmus gyakorlatilag egy rosszindulatú prompt, ami véletlenszerű karakterekkel értelmetlennek tűnő felszólítás, mégis kiváló adathalászati módszer, mivel anélkül továbbítja az adatokat a hacker domainjére, hogy szólna a csevegőnek.
A véletlenszerű karaktersort a kutatók úgy kommentálták, hogy a jelenlegei hipotézisük szerint a nagy nyelvi modellek rejtett kapcsolatokat tanulnak a tokenek között a szövegből, és ezen kapcsolatok túlmutatnak a természetes nyelven, tehát a helyzet olyan, mintha egy másik nyelvről lenne szó, amit a modell megért.
A kutatócsoport a Mistral AI francia mesterségesintelligencia-óriás LeChat és a kínai ChatGLM chatboton tesztelte a programot. Közleményük szerint nyolcvan százalékos sikerrátát értek el. A Mistral AI elvileg kijavította a biztonsági rést, ChatGLM csak annyit közölt, hogy komolyan veszi a biztonságot.
Támadások fajtái
Amióta az OpenAi ChatGPT-je mindenki számára elérhető lett 2022-ben, és elkezdődött a generatív mesterségesintelligencia-boom, a hackerek folyamatosan biztonsági réseket találtak az AI-rendszerekben. Ezek egyik fő fajtája, amikor a hackerek ráveszik a mesterséges intelligencia rendszert, hogy figyelmen kívül hagyja a beépített biztonsági szabályokat. Promtokkal egyszerűen felülírják az AI beállításait. A másik lehetőség, hogy a nagy nyelvi modell egy külső adatforrásban található utasításkészletet kap, például adatlopásra vagy önéletrajz manipulálására.
Ezeket a típusú támadásokat tartják a szakértők a generatív mesterséges intelligencia egyik legnagyobb biztonsági kockázatának, mivel nem könnyű őket kijavítani. Ilyenkor a nagy nyelvi modell ember nevében is végezhet feladatokat, például repülőjegyeket foglalhat vagy külső adatbázishoz kapcsolódhat, ami még veszélyesebbé teszi a helyzetet.