Az 1970-es és az 1980-as évek például bakteriális fertőzéseket diagnosztizáló nagy mesterségesintelligencia-rendszerei szimbolikus következtetéssel működtek. Logikusan jutottak el döntésekig, működésük érthető volt, lépésről lépésre kristálytisztán el lehetett magyarázni. Az 1980-as és a korai 1990-es években fejlesztett igazságkarbantartó-rendszerek az ok-okozati érvelés, a szabályalapú logikai következtetés lehetőségeit bővítették tovább. Működésüket, a korábbiakhoz hasonlóan, értették a szakavatott felhasználók.
Az 1990-es évektől MI-kutatók elkezdték tanulmányozni, hogyan lehetséges nehezen átlátható, tanított mesterséges ideghálók által generált, nem kézzel kódolt szabályokat értelmesen kivonatolni, és a rendszerek iránti bizalmat erősítendő, dinamikus magyarázatokat adni gépi döntésekre.
Nem tudjuk, mi történik a fekete dobozban
A probléma, a rendszerek döntéseinek – és működésüknek – a magyarázhatósága a gépi tanulás további fejlődésével, a mélytanulás (deep learning) térhódításával és az egyre változatosabb, komplexebb ideghálókkal az utóbbi évtizedekben felerősödött. A 2010-es években, a mesterséges intelligencia „berobbanásával” egyre többen és gyakrabban kezdték felvetni a napról napra komplexebb rendszerek elfogultságát, a tanuláshoz használt, nem átlátható, nem mindig tudni, milyen elvek alapján kiválasztott, ráadásul nem is mindig hiteles gyakorlóadatokban rejlő kockázatokat.
Az MI-kutatás 2016-ban elhunyt egyik „alapító atyja”, Marvin Minsky fel is vetette, hogy a mesterséges intelligencia egyfajta megfigyelő-technológiaként is funkcionál, a megfigyelőrendszerek összes beléjük táplált előítéleteivel, mint például az arcazonosító rendszerek. Humanista gépi intelligenciát, humán jelenléten alapuló ember-gép együttműködést javasolt helyette.
Big AI Is Watching You (Fotó: Envato/Elements)
Az elfogultság és a gyakorlóadatok minősége, kiválogatási elveik mellett a kortárs MI-technikák, mint például a mélytanulás vagy a genetikus algoritmusok gyakori átláthatatlansága, vagy nehezen átlátható alaptermészetük növeli a problémát. Egyes modellek nemlineáris „fekete dobozként” működnek, és még maguk a fejlesztők, a terület szakértői sem, vagy csak nagyon nehezen tudják elmagyarázni a gép döntéseit, hogy az adott bemenetek alapján, miért generálta az adott kimeneteket. Előfordulnak olyan esetek, hogy a szűk szakterület legértőbb elméi sem értik, mit is tesz pontosan az MI.
Értelemszerűen folyamatosan nő a modellek működésének megértése, vagy az úgynevezett „fehérdoboz”, „üvegdoboz”, tehát átlátható modellek iránti igény. Ellentétben a fekete dobozzal, ezeket a modelleket a szakértők tökéletesen értik.
Tényleg jobb, ha értjük, hogyan működik egy MI
Mára egyértelmű törekvés és trend lett a rendszer egészének (globális) és részleteinek (lokális) szintjén egyaránt „megmagyarázható” MI (Explainable AI, XAI), az interpretálható MI, a megmagyarázható gépi tanulás iránti igény, ezeknek a funkcióknak a rendszerbe integrálása. Egyszerűen azért van rá szükség, hogy az ember tényleg megértse az általa teremtett gép működését, mit és hogyan csinált eddig, mit tesz most, és mit fog tenni hamarosan, tisztában legyen döntéseinek okával, máskülönben a társadalom egyre kevésbé bízik meg a mesterséges intelligenciában. Ha töretlen a felhasználó rendszer iránti bizalma, akkor gördülékenyebb az együttműködés, jobb eredmények születnek. Az amerikai Számítógépes Szövetség 2018 óta a társadalmi-technikai – jelentős részükben mesterséges intelligenciával működő – rendszerek átláthatóságát és magyarázhatóságát vizsgálja, amelyekhez például a vizualizáció, a dinamikusan fejlődő képtechnológiák is komoly segítséget nyújtanak.
Hogyan működik ez az MI? (Fotó: Envato/Elements)
Mindezekből logikusan következik, hogy a XAI algoritmusoknak (szoftvereknek, rendszereknek stb.) három alapkövetelményt kell betartaniuk: átláthatónak, interpretálhatónak és megmagyarázhatónak kell lenniük.
A megmagyarázhatóság három alappillére a megmagyarázható adatok, a megmagyarázható előrejelzések/döntések és a megmagyarázható algoritmusok. Az elsőnél pontosan meg kell határozni a tanuláshoz használt adatok típusát, tartalmát, hogy miért lettek kiválasztva, a választásnál hogyan próbáltuk elkerülni az előítéleteket, részrehajlást, illetve mikor volt szükség ezek kizárására. Az előrejelzéseknél/döntéseknél specifikálni kell minden inputot, a modell összes jellegzetességét, hogy érthető legyen belőlük az output. Az algoritmusoknál be kell mutatni a modell rétegeit (a mélytanulás rétegenként történik, ezek is a rendszer lokális szintjei), és hogy hogyan járulnak hozzá az outputhoz.
Definíciók
Az Egyesült Államok Nemzeti Szabványintézete (NIST) négy pontban definiálja a megmagyarázható MI-t:
- Megmagyarázhatóság: az MI-rendszernek el kell tudnia magyarázni minden egyes outputot.
- Érthetőség: a magyarázatnak az ember (a felhasználó) számára érthetőnek kell lennie.
- A magyarázat pontossága: a rendszer magyarázatának pontosan vissza kell adnia az outputhoz vezető folyamatot.
- Ismeretkorlátok: az MI-rendszer működését azokra a feltételekre kell korlátozni, amelyek mellett létrehozták, azaz a gyakorlóadatokhoz és ismereteihez képest, semmiféle azokhoz nem kapcsolódó outputot nem kell generálnia. (Azt viszont – és ez némileg ellentmond a harmadik pontnak – nem határozzák meg, hogy hogyan kell eljutnia az outputig.)
Fehér vagy fekete doboz? (Fotó: Envato/Elements)
Szintén az NIST szerint az XAI előtt álló négy legfontosabb kihívás a titoktartás, a komplexitás kezelése, az ésszerűség és a méltányosság érvényesítése.
Túl az egyértelmű tényen, hogy ha nem tudunk mit kezdeni valamivel, ha nem értjük, a megmagyarázhatóság több egyéni és vállalati felhasználói szempontból is hasznos: bizalom, szabályozhatóság és megfelelés, korrektség és elfogulatlanság, hibák javíthatósága, fokozottabb kontroll, és ha valóban értjük a modell adott outputokhoz vezető működését, akkor könnyebben javíthatunk rajta, tökéletesíthetjük.
