A Gartner – alelnökükkel – Avivah Litannal közölt egy érdekes interjút a témában, amelyet szükségesnek tartottunk közreadni, hiszen mi is nyomon követjük a AI és AGI fejlődését, látjuk a kihívásokat és minél több szemszögből szeretnénk know how-t biztosítani.
Kérdések és válaszok Avivah Litannal
A mesterséges intelligencia biztonságával és kockázataival kapcsolatos aggályok miatt a szervezeteknek folytatniuk kell a generatív mesterséges intelligencia használatának kutatását, vagy indokolt a szünet?
A valóság az, hogy a generatív AI fejlesztés nem áll meg. A szervezeteknek most kell cselekedniük, hogy az egész vállalatra kiterjedő stratégiát dolgozzanak ki a mesterséges intelligencia bizalom-, kockázat- és biztonságkezelésére (AI TRISM). Sürgősen szükség van az AI TRISM eszközök új osztályára a felhasználók és a generatív AI-alapmodelleket üzemeltető vállalatok közötti adat- és folyamatfolyamatok kezelésére.
Jelenleg nincsenek olyan készen kapható eszközök a piacon, amelyek szisztematikus adatvédelmi biztosítékokat vagy hatékony tartalomszűrést adnának a felhasználóknak az ezekkel a modellekkel kapcsolatos elkötelezettségükről, például a ténybeli hibák, AI-hallucinációk, szerzői joggal védett anyagok vagy bizalmas információk kiszűrésével.
A mesterséges intelligencia fejlesztőinek sürgősen együtt kell működniük a döntéshozókkal, beleértve az esetlegesen megjelenő új szabályozó hatóságokat is, hogy kialakítsák az AGI-felügyeletre és kockázatkezelésre vonatkozó irányelveket és gyakorlatokat.
Melyek azok a legjelentősebb kockázatok, amelyeket a generatív mesterséges intelligencia jelent manapság a vállalkozások számára?
A generatív AI számos új kockázatot vet fel:
- A „hallucinációk” és a koholmányok, beleértve a ténybeli hibákat is, a generatív mesterséges intelligencia chatbot-megoldásaival kapcsolatban a legátterjedtebb problémák közé tartoznak. A képzési adatok elfogult, alapon kívüli vagy téves válaszokhoz vezethetnek, de ezeket nehéz észrevenni, különösen azért, mert a megoldások egyre hihetőbbé válnak, és egyre inkább támaszkodnak rájuk.
- A mélyhamisítások, amikor a generatív mesterséges intelligencia rosszindulatú tartalom létrehozására használatos, jelentős generatív mesterséges intelligencia kockázatot jelentenek. Ezeket a hamis képeket, videókat és hangfelvételeket hírességek és politikusok támadására, félrevezető információk létrehozására és terjesztésére, sőt hamis fiókok létrehozására, vagy meglévő legitim fiókok átvételére és feltörésére használták. Egy közelmúltban egy mesterséges intelligencia által generált kép Ferenc pápáról divatos fehér pufi kabátot viselő képe terjedt el a közösségi médiában. Noha ez a példa látszólag ártalmatlan volt, bepillantást engedett egy olyan jövőbe, ahol a mélyhamisítások jelentős hírnév-, hamisítási, csalási és politikai kockázatot jelentenek egyének, szervezetek és kormányok számára.
- Adatvédelem: Az alkalmazottak könnyen felfedhetnek érzékeny és védett vállalati adatokat, amikor generatív AI chatbot-megoldásokkal kommunikálnak. Ezek az alkalmazások korlátlan ideig tárolhatják a felhasználói bemeneteken keresztül rögzített információkat, és akár más modellek betanítására is felhasználhatják az információkat, ami tovább veszélyezteti a bizalmasságot. Az ilyen információk a biztonság megsértése esetén is rossz kezekbe kerülhetnek.
- Szerzői jogi problémák: A generatív mesterséges intelligencia chatbotok nagy mennyiségű internetes adatra vannak kiképezve, amelyek szerzői joggal védett anyagokat tartalmazhatnak. Ennek eredményeként egyes kimenetek sérthetik a szerzői jog vagy a szellemi tulajdon (IP) védelmét. A forráshivatkozások vagy a kimenetek létrehozásának átláthatósága nélkül az egyetlen módja annak, hogy csökkentsék ezt a kockázatot, ha a felhasználók megvizsgálják a kimeneteket, hogy megbizonyosodjanak arról, hogy nem sértik a szerzői jogokat vagy a szellemi tulajdonjogokat.
- Kiberbiztonsági aggályok: A fejlettebb szociális tervezés és adathalász fenyegetések mellett a támadók ezeket az eszközöket használhatják a rosszindulatú kódok egyszerűbb generálására. A generatív mesterségesintelligencia-alapmodelleket kínáló szállítók biztosítják az ügyfeleknek, hogy megtanítják modelljeiket a rosszindulatú kiberbiztonsági kérelmek elutasítására; azonban nem biztosítják a felhasználóknak azokat az eszközöket, amelyekkel hatékonyan ellenőrizhetik az összes meglévő biztonsági ellenőrzést.
A gyártók nagy hangsúlyt fektetnek a „red teaming” megközelítésekre is. Ezek az állítások megkövetelik, hogy a felhasználók teljes mértékben bízzanak abban, hogy a szállítók képesek végrehajtani a biztonsági célokat.
Milyen lépéseket tehetnek a vállalati vezetők a generatív mesterségesintelligencia-kockázatok kezelése érdekében?
Fontos megjegyezni, hogy két általános megközelítés létezik a ChatGPT és hasonló alkalmazások kihasználására. Az azonnali modellhasználat ezeket a szolgáltatásokat a jelenlegi állapotában használja ki, közvetlen testreszabás nélkül. Az azonnali mérnöki megközelítés eszközöket használ a prompt bemenetek és kimenetek létrehozására, hangolására és értékelésére.
Az azonnali használathoz a szervezeteknek manuálisan ellenőrizniük kell az összes modellkimenetet, hogy észleljék a helytelen, félretájékozott vagy elfogult eredményeket. Hozzon létre egy irányítási és megfelelőségi keretet ezeknek a megoldásoknak a vállalati használatához, beleértve az egyértelmű irányelveket, amelyek megtiltják az alkalmazottak számára, hogy olyan kérdéseket tegyenek fel, amelyek érzékeny szervezeti vagy személyes adatokat fednek fel.
A szervezeteknek figyelemmel kell kísérniük a ChatGPT és hasonló megoldások nem szankcionált használatát meglévő biztonsági vezérlőkkel és irányítópultokkal, hogy felderítsék az irányelvsértéseket. Például a tűzfalak blokkolhatják a vállalati felhasználók hozzáférését, a biztonsági információs és eseménykezelő rendszerek figyelhetik az eseménynaplókat a jogsértések szempontjából, a biztonságos webes átjárók pedig a nem engedélyezett API-hívásokat.
Az azonnali mérnöki használat érdekében mindezen kockázatcsökkentő intézkedések érvényesek. Ezen túlmenően lépéseket kell tenni a belső és egyéb érzékeny adatok védelmére, amelyeket harmadik féltől származó infrastruktúrán utasítások tervezésére használnak. Tervezett promptokat hozzon létre és tároljon megváltoztathatatlan eszközökként.
Ezek az eszközök biztonságosan használható, átvizsgált, tervezett értesítéseket jelenthetnek. Ezenkívül finomhangolt és fejlett promptokból álló korpuszt is képviselhetnek, amelyek könnyebben újrafelhasználhatók, megoszthatók vagy értékesíthetők.
