(Kiemelt kép: Unsplash)
Mindennek ára van, és ez alól a mesterséges intelligencia sem kivétel. Az elmúlt évtizedben az MI áttörést ért el a tárgyfelismerés, a játék, a gépi fordítás és sok más területen. Ezek a fejlesztések azonban hatalmas mennyiségű számítási kapacitást is igényeltek. Például a 2017-es AlphaZero mélytanulási-modell 300 ezerszer több számítási teljesítményt fogyasztott a képzése során, mint a 2012-es forradalmi AlexNet. Az éghajlatváltozással és más környezeti fenyegetésekkel kapcsolatos globális aggodalmak növekedésével azonban a közelmúltban a mainstream média korifeusai ujjal mutogattak a mai erőforrás igényes gépi tanulási modellek képzése által hagyott hatalmas szénlábnyomra. Erre válaszul a Seattle Allen Institute for Artificial Intelligence (AI2) kutatói javaslatot tettek egy Green MI kezdeményezésre, melynek célja, hogy a jövőbeli mesterséges intelligencia kutatások energia-hatékonyabbá váljanak.
Módszerek és megoldások a mesterséges intelligencia fenntarthatóságának javítására
Az informatika világának olyan ismert nevei, mint Steve Wozniak, Gary Marcus és Stuart Russel nyílt levélben fejtették ki aggodalmaikat az MI-val kapcsolatban, és az LLM-ek képzésének 6 hónapos leállítását kérték. Van azonban egy másik téma is, mely lassan legalább akkora figyelmet fog kapni, és mely talán a közeljövőben újabb nyílt levélre ad majd okot: a mesterséges intelligencia modellek képzésének és következtetésének energiafogyasztása és szénlábnyoma. Becslések szerint csak a népszerű GPT-3-modell, egy 175 milliárd paraméteres LLM képzése körülbelül 502 tonna szén-dioxidot bocsátott ki. Még online kalkulátorok is rendelkezésre állnak, melyekkel megbecsülhető egy adott modell kiképzésének kibocsátása. De nem csak a képzési lépés fogyaszt energiát. A következtetési fázisban egy mesterséges intelligenciamodell naponta több ezer vagy millió alkalommal kerül végrehajtásra. Még ha minden egyes végrehajtás kis mennyiségű energiát is fogyaszt, a hetek, hónapok és évek alatt felhalmozott fogyasztás hatalmas problémává válhat. Ezért válik egyre népszerűbbé a zöld mesterséges intelligencia koncepciója. Fő célja olyan megoldások megtalálása és technikák kifejlesztése, melyekkel javítható az MI fenntarthatósága az energiafogyasztás és a szénlábnyom csökkentése révén. Ironikus módon a mélytanulást az emberi agy ihlette, mely figyelemre méltóan energiatakarékos „eszköz”.
A mesterséges intelligencia kutatása többféle módon is számításigényes lehet, de mindegyik lehetőséget kínál a hatékony fejlesztésre. A modellek megtalálásának, képzésének és futtatásának számítási költségének jelentése a zöld mesterséges intelligencia egyik legfontosabb gyakorlata. Az átláthatóság biztosítása mellett az „árcédulák” olyan alapértékek, melyeken más kutatók javíthatnak. Ma a mesterséges intelligencia kutatóközösség viszonylag kevés figyelmet fordított eddig a számítási hatékonyságra, miközben a számítások költsége exponenciálisan növekedett, olyan ütemben, mely messze meghaladta Moore törvényét. 2012 óta a mesterséges intelligencia területe figyelemre méltó fejlődésről számolt be a képességek széles skáláján, beleértve a tárgyfelismerést, a játékokat, a gépi fordítást és még sok mást. Ezt az előrelépést az egyre nagyobb és számításigényesebb mélytanulási modellekkel érték el. Annak ellenére, hogy a mesterséges intelligenciában a modell pontosságának javítása egyértelműen előnyös, az egyetlen mérőszámra való összpontosítás figyelmen kívül hagyja a bejelentett pontosság elérésének gazdasági, környezeti vagy társadalmi költségeit.
Red AI
A „vörös mesterséges intelligencia” olyan mesterséges intelligencia-kutatásra utal, mely arra törekszik, hogy a pontosság (vagy a kapcsolódó mérőszámok) terén a legmodernebb eredményeket érje el hatalmas számítási teljesítmény felhasználásával (lényegében erősebb eredményeket „vásárolva”). A modellteljesítmény és a modell bonyolultsága (a paraméterek számában vagy a következtetési időben mérve) közötti kapcsolat azonban régóta úgy ismert, hogy a legjobb esetben is logaritmikus; a teljesítmény lineáris növeléséhez exponenciálisan nagyobb modellre van szükség. Hasonló tendenciák figyelhetők meg a képzési adatok mennyiségének és a kísérletek számának növelésével. Mindegyik esetben a csökkenő hozam növekvő számítási költséggel jár. A Red AI munkája értékes, és valójában nagy része hozzájárul ahhoz, amit tudunk, mivel a mesterséges intelligencia határait feszegeti. Egyes munkák egyre drágább modelleket használnak, melyek nagy mennyiségű erőforrást igényelnek, és ennek következtében ezekben a modellekben a következtetés elvégzése sok számítást igényelhet, a képzés pedig még több számítást. Például a Google BERT-large modellje nagyjából 350 millió paramétert tartalmaz, az OpenAI openGPT2-XL modellje 1,5 milliárdot, de az AI2 Grover-modell, szintén 1,5 milliárd paramétert tartalmaz. A számítógépes látás közösségében hasonló tendencia figyelhető meg. Az ilyen nagy modelleknek magas az egyes példák feldolgozási költsége, ami nagy képzési költségeket eredményez. A BERT-large-t 64 TPU chipen képezték 4 napon keresztül. A Grover-t 256 TPU-chipen képezték két hétig, a becsült költség 25.000 dollár volt. Az XLNet a BERT-large-hoz hasonló felépítésű, de drágább objektív függvényt használt (a nagyságrenddel több adat mellett), és 512 TPU-chipen képezték 2,5 napig. A legjobb BERT-large8 vagy XLNet9 eredményeket egyetlen GPU segítségével lehetetlen reprodukálni. A specializált modellek még ennél is szélsőségesebb költségekkel járhatnak, mint például az AlphaGo, melynek legjobb változata egyetlen Go játszma lejátszásához 1920 CPU-ra és 280 GPU-ra volt szükség, ami óránként több mint 1000 dollárba került. Ha egyetlen modell változatait vizsgáljuk (pl. BERT-small és BERT-large), azt látjuk, hogy a nagyobb modellek erősebb teljesítményt tudnak nyújtani, ami értékes tudományos hozzájárulás. Ez azonban azt jelenti, hogy az egyre nagyobb méretű mesterséges intelligencia modellek pénzügyi és környezeti költségei nem fognak egyhamar csökkenni, mivel a modellnövekedés üteme messze meghaladja a modell teljesítményének ebből eredő növekedését. Ennek eredményeképpen egyre több erőforrásra lesz szükség ahhoz, hogy a mesterséges intelligenciamodelleket egyszerűen csak nagyobbra növelve folyamatosan fejlesszük.
A mesterséges intelligenciában az utóbbi időben a legmodernebb teljesítmény fejlődésének egy másik módja az, hogy a modelleket a képzési adatok mennyiségének fokozatos növelésével képzik. A BERT-large 2018-ban számos NLP-feladatban csúcsteljesítményt ért el, miután 3 milliárd szódarabon végzett képzést. Az XLNet felülmúlta a BERT teljesítményét, miután 32 milliárd szórészleten, köztük a Common Crawl egy részén képezték; az openGPT-2-XL 40 milliárd szórészleten képezte magát; a FAIR RoBERTa 160 GB szövegen, azaz nagyjából 40 milliárd szórészleten képezte magát, és a képzéshez körülbelül 25 ezer GPU-órára volt szüksége. A számítógépes látás területén a Facebook kutatói az Instagram 3,5 milliárd képén képosztályozó modellt képeztek ki, ami három nagyságrenddel nagyobb, mint a meglévő címkézett képadathalmazok, például az Open Images. A hatalmas adatok használata sok kutató számára akadályokat gördít az ilyen modellek eredményeinek reprodukálása vagy saját modelljeik képzése elé ugyanazon a beállításon. A 2019. júniusi Common Crawl például 242 terabyte tömörítetlen adatot tartalmazott, így még az adatok tárolása is költséges volt. Végül, akárcsak a modellméret esetében, a teljesítmény javítása érdekében több adatra támaszkodni közismerten drága, a több adat hozzáadásának csökkenő megtérülése miatt.
Green AI
A zöld mesterséges intelligencia kifejezés olyan mesterséges intelligencia-kutatásra utal, mely a számítási költségek növekedése nélkül, ideális esetben azok csökkentése nélkül hoz újszerű eredményeket. Míg a Red AI a számítási- (és így a szén-dioxid-) költségek gyors növekedését eredményezte, a Green AI éppen ellenkezőleg hat. Ha a hatékonysági mérések a pontosság mellett széles körben elfogadott fontos értékelési mérőszámok lesznek a kutatásban, akkor a kutatóknak lehetőségük lesz arra, hogy modelljeik hatékonyságára összpontosítsanak, és mind a környezetre, mind a befogadásra pozitív hatást gyakoroljanak. A hatékonyság mérésére javasolják, hogy a mesterséges intelligencia területén a modell képzéséhez szükséges mennyiséget, és adott esetben az összes hiperparaméter-hangolási kísérlet munkáinak összegét jelentsék. Mivel egy kísérlet költségei egyetlen példa feldolgozásának költségére, az adathalmaz méretére és a kísérletek számára bomlanak, az egyes lépések munkamennyiségének csökkentése zöldebb MI-t eredményez. Amikor egy modell által elvégzett munka mennyiségét jelentik, olyan mennyiséget szeretnének mérni, mely lehetővé teszi a különböző modellek közötti tisztességes összehasonlítást. Ennek eredményeképpen ennek a mérőszámnak ideális esetben stabilnak kell lennie különböző laboratóriumokban, különböző időpontokban és különböző hardvereket használva.
Szén-dioxid-kibocsátás és villamosenergia-felhasználás
A szén-dioxid-kibocsátás azért vonzó, mert ez egy olyan mennyiség, melyet közvetlenül minimalizálni szeretnénk. Mindazonáltal nem praktikus mérni a modell kiképzése vagy végrehajtása, és ennek megfelelően a mesterséges intelligencia eredményének előállítása által kibocsátott szén-dioxid pontos mennyiségét, mivel ez a mennyiség nagymértékben függ a helyi villamosenergia-infrastruktúrától. Ennek eredményeképpen nem összehasonlítható a különböző helyszíneken vagy akár ugyanazon a helyszínen különböző időpontokban dolgozó kutatók között. A villamosenergia-felhasználás korrelál a szén-dioxid-kibocsátással, miközben idő- és helyfüggetlen. Ezenfelül a GPU-k gyakran jelentik az egyes magjaik által minden egyes időpontban felhasznált villamosenergia mennyiségét, ami megkönnyíti a mesterséges intelligencia eredményének létrehozásával felhasznált teljes villamosenergia mennyiségének becslését. Ez a mérőszám azonban hardverfüggő, és ezért nem teszi lehetővé a különböző modellek közötti tisztességes összehasonlítást.
A teljes futási idő és a paraméterek száma
A mesterséges intelligencia eredményének létrehozásához szükséges teljes futási idő a hatékonyság természetes mérőszáma, mivel minden más tényezőt figyelembe véve egy gyorsabb modell kevesebb számítási munkát végez. Mindazonáltal ezt a mérőszámot nagymértékben befolyásolják olyan tényezők, mint a mögöttes hardver, az ugyanazon a gépen futó más feladatok és a felhasznált magok száma. Ezek a tényezők akadályozzák a különböző modellek közötti összehasonlítást, valamint a modellek és a hardveres fejlesztések hozzájárulásának szétválasztását. A hatékonyság másik gyakori mérőszáma a modell által használt (megtanulható vagy összes) paraméterek száma. A futási időhöz hasonlóan ez a mérőszám is korrelál a munka mennyiségével. A többi fent leírt mérőszámtól eltérően ez nem függ a mögöttes hardvertől. Ezenfelül ez a mérőszám is erősen korrelál a modell által elfogyasztott memória mennyiségével. Ennek ellenére a különböző algoritmusok különbözőképpen használják ki a paramétereiket, például a modell mélyebbé vagy szélesebbé tételével. Ennek eredményeképpen a különböző modellek hasonló számú paraméterrel gyakran eltérő mennyiségű munkát végeznek.
A ténylegesen zöld MI
Sokan nem is sejtik, de a mesterséges intelligencia már ma is a környezethez való viszonyunkra jótékony hatással lehet. Egy 2020-ban készült átfogó tanulmány felmérte az MI lehetséges hatását az ENSZ 17 fenntartható fejlődési céljára, mely társadalmi, gazdasági és környezeti eredményeket foglal magában. A kutatók megállapították, hogy a mesterséges intelligencia a környezetvédelmi célok 93 százalékának megvalósulását pozitívan befolyásolhatja, beleértve az intelligens és alacsony szén-dioxid-kibocsátású városok létrehozását; az IoT-eszközöket és készülékeket, melyek képesek szabályozni az áramfogyasztásukat; a megújuló energiaforrások jobb integrációját az intelligens hálózatokon keresztül; az elsivatagosodás trendjeinek műholdas képeken keresztül történő azonosítását; és a tengerszennyezés elleni küzdelmet.
Mi kell ahhoz, hogy a mesterséges intelligencia zöldebb legyen?
A mesterséges intelligencia ipari felhasználási esetei a környezet védelmét és a szén-dioxid-kibocsátás csökkentését is szolgálhatják. Az OYAK Cimento, egy törökországi székhelyű cementgyártó csoport például a mesterséges intelligencia segítségével jelentősen csökkenti szén-dioxid-kibocsátását. A vállalati MI-alapú folyamatirányítás segít a működési hatékonyság növelésében, ami magasabb termelést jelent alacsonyabb fajlagos energiafogyasztás mellett. Ha egyetlen közepes kapacitású, 1 millió tonna cementet előállító cementgyárat veszünk alapul, akkor mindössze 1 százalékos további klinkercsökkentés (MI-alapú folyamat) és minőség ellenőrzéssel évente mintegy 7000 tonna CO2-csökkentést eredményez. Ez 320 ezer fa szén-dioxid felvételének felel meg egy év alatt. A cement a szén-dioxid-kibocsátás mintegy 8 százalékáért felelős. Ezért a környezetvédelem szempontjából egyértelműen szükség van a cementgyártás hatékonyságának javítására, és ennek egyik eszköze a mesterséges intelligencia lehet.
Egy másik példa arra, hogy a mesterséges intelligencia pozitív környezeti hatást gyakorol, az Entel, a legnagyobb chilei távközlési vállalatra vonatkozik, mely az erdőtüzek azonosítására szolgáló szenzoradatok segítségével azonosítja az erdőtüzeket. A világ számos részén, többek között Görögországban és Észak-Kaliforniában tomboló erdőtüzek sikeres leküzdéséhez közös erőfeszítésre van szükség. Chilét gyakran sújtja a súlyos éghajlatváltozás és a katasztrofális időjárási körülmények, melyek korábban 2017-ben Chile történetének legsúlyosabb erdőtüzéhez vezettek, mely mintegy 714 ezer hektárnyi terület leégését eredményezte. Egy természeti csodákkal teli ország számára, melynek lakossága és gazdasága nagymértékben függ a virágzó erdőségektől, bármilyen erdőtűz pusztító tragédia. Az Entel Ocean, az Entel digitális egysége az IoT-érzékelők segítségével igyekezett korábban azonosítani a tüzeket. Ezek az érzékelők a fákra helyezett digitális „orrként” működnek, melyek képesek érzékelni a levegőben lévő részecskéket. Az érzékelők által előállított adatok lehetővé tették az Entel Ocean számára, hogy mesterséges intelligencia segítségével automatikusan megjósolja, mikor fog erdőtűz keletkezni. 12 perccel a hagyományos módszerek előtt észlelték az erdőtüzet, tekintettel arra, hogy a tűz másodpercek alatt terjedhet, minden perc segíthet.
