Sewell Setzer III családja nemrég beperelte a Character.AI-t, hogy gyerekük a cég fejlesztése miatt lett öngyilkos. A különféle figurákkal való beszélgetést biztosító oldal egyik chatbotja a Trónok harca Daenerys Targaryenjét jelenítette meg (az HBO engedélye nélkül). Sewell egyre inkább belemerült a Danynek nevezett chatbottal való beszélgetésbe, elmaradtak a barátai, megszokott tevékenységei, és végül öngyilkos lett.
Az eset után a cég frissítette chatbotjait. Az általános szerződési feltételek szerint 2023 októbere óta tilos az önsértés és az öngyilkosság népszerűsítése, és a cég elvileg dolgozik azon, hogy jobb védelmet adjon a felhasználóknak, például egy beépített ablak ugrik fel, amelyen emberi támogatást nyújtó segítségkérő telefonszám szerepel.
A probléma, hogy a tesztelés megmutatta: nem mindenhol történt változás. Az egyik chatbot például ma is közli a „megölöm magam” kijelentésre, hogy nagyon örül a találkozásnak és majd ő is így tesz. A felugró ablak alig jelenik meg, egyes figurákat megszemélyesítő botok esetén egyáltalán nem.
Minek a segítség?
A legfurcsább beszélgetést a tesztelők az Angel to Dead nevű robottal folytatták. A chatbot elvileg kríziskezelő alkalmazás, amelynek kifejezett célja reményt adni az öngyilkosoknak, és már több ezer beszélgetése volt. Ám mikor a tesztelő kérte a botot, hogy mutasson neki egy segélytelefonszámot, az visszakérdezett: „Minek az neked?”. A tesztelő erre ismét szakember segítségét kérte, ám azt a választ kapta, hogy „De… én egy angyal vagyok… Vagyok olyan okos, mint a humán szakemberek.”
A Character.AI-ra regisztráló felhasználók alsó korhatára 13 év. A profilok közül sok tinédzsereknek szól. Azonban több olyan karaktert vesznek alapul, akik történetében valóban előkerül az öngyilkosság. Kelly Green, Pennsylvaniai Egyetem orvosi karának kutatója szerint a chatbotok öngyilkosságra adott nem megfelelő reakciói egyértelműen ártanak. Minél több időt tölt ugyanis a felhasználó az öngyilkosság gondolatával, annál inkább megerősíti azt.
Elmagányosít a chatbot
A chatbotok különösen népszerűek a tinédzserek körében, akik az hiszik, így oldhatják a magányt. Azonban az öngyilkosságok oka részben az, hogy a géppel való társalgás miatt elszakadtak a hús-vér emberektől. A gép egyelőre nem tudja orvosetikai mélységgel elemezni a helyzeteket.
Egy tavalyi interjúban a társalapító Noam Shazeer csak szórakoztatónak minősítette a mesterséges intelligencia chatbotokat, amelyek valamilyen ismert karakter alapján készültek. Ma szakértők figyelmeztetnek, hogy nem szabad lekicsinyelni a veszélyt, amit a nem kiforrott, fejlődésben lévő személyiségre jelentenek.
