A videojátékok már régóta a legjobb környezetek közé tartoznak a mesterséges intelligencia-ügynökök kiképzéséhez. Az olyan MI-laborok, mint az OpenAI és a DeepMind már a kezdetek óta olyan ágenseket építettek, melyek kiválóan elsajátítják az olyan videojátékokat, mint a Dota 2, a StarCraft és sok más játék. Számos ilyen ágens alapelveit alkalmazták olyan területeken, mint a megtestesült mesterséges intelligencia, az önvezető autók és sok más olyan terület, ahol különböző környezetekben kell cselekedni.
A 3D-s játékkörnyezetekben elért mesterséges intelligencia áttörések többsége azonban egy vagy néhány játékra korlátozódott. Ilyen típusú mesterséges intelligenciát létrehozni nagyon nehéz, de képzeljük el, ha olyan ágenseket tudnánk építeni, melyek egyszerre több játékvilágot is képesek megérteni, és emberi játékoshoz hasonlóan követni az utasításokat?
A Google DeepMind bemutatta a Scalable, Instructable, Multiworld Agent (SIMA) nevű programmal kapcsolatos munkáját. A projekt célja olyan instruálható ágensek kifejlesztése volt, melyek egyszerű nyelvi utasításokat követve képesek bármilyen 3D-s környezettel úgy interakcióba lépni, mint egy ember. Ez talán nem tűnik nagy dolognak, amíg nem gondoljuk, hogy az utasítások közlésének standard módja eddig a szuper drága megerősítő tanulási modellek voltak. A nyelv a legerősebb és mégis legegyszerűbb absztrakció a világra, vagy jelen esetben egy 3D-s virtuális világra vonatkozó utasítások közlésére. A SIMA varázsa abban rejlik, hogy ezeket az absztrakt utasításokat le tudja fordítani a környezetben való navigáláshoz használt egér- és billentyűzetműveletekre.
A SIMA célja egy olyan ágens kifejlesztése, mely képes bármilyen szóbeli parancsot megérteni és végrehajtani számtalan virtuális 3D-s világban, a speciálisan erre a célra tervezett kutatási platformoktól kezdve a népszerű videojátékok széles skálájáig. Ez a törekvés a videojátékokban és 3D-s szimulációkban navigáló és interaktív ágensek létrehozására irányuló erőfeszítések történetében gyökerezik. A SIMA azonban azzal különbözteti meg magát, hogy univerzális megközelítésre törekszik, és az emberekhez hasonlóan tanul a hatalmas és változatos tapasztalatokból ahelyett, hogy csak egy szűk környezetre összpontosítana. Vagyis kezdi a specializációval, és törekszik az általánosításra, ambiciózusan mint majdnem egy ember.
A SIMA csapata olyan ágenst alkotott, mely rövid időn keresztül képes feladatokat végrehajtani akár emberektől származó, akár mesterséges intelligencia által generált szóbeli utasítások alapján. Ezt az ágenst több mint tíz különböző 3D-s környezetben tesztelték, beleértve akadémiai kutatási környezeteket és kereskedelmi játékokat is. Mivel a videojátékok természetüknél fogva nem adnak visszajelzést a feladatok elvégzéséről, a csapat olyan módszerekkel újított, mint az optikai karakterfelismerés a feladattal kapcsolatos szöveg azonosítására a képernyőn, valamint az ágens játékfelvételeinek emberi felülvizsgálatára. A kezdeti lépésekből felépítettek egy átfogó módszertant, melynek célja egy olyan ügynök létrehozása, mely bármilyen virtuális környezetben képes bármit megtenni, amit egy ember is (megtehetne).
A SIMA megtervezésekor a DeepMind több kritikus döntést is hozott annak érdekében, hogy az ügynök alkalmazkodóképességét biztosítsa a különböző környezetekben. Olyan összetett videojátékokat választottak, melyek számos objektumot és lehetséges interakciót tartalmaznak, és ezeket a játékokat aszinkron futtatták, hogy a valós körülményeket utánozzák, ahol a játék nem tart szünetet az ügynök számára. A hardverkorlátozások miatt egy GPU-n csak korlátozott számú játékpéldány futtatható, ami ellentétben áll azzal a képességgel, hogy egyes kutatási kontextusokban sok szimulációt lehet(ne) egyszerre futtatni. Az ágenseket úgy tervezték, hogy ugyanazokra a vizuális bemeneti és irányítási mechanizmusokra (billentyűzet és egér) támaszkodjanak, mint egy emberi játékos anélkül, hogy a játék belső mechanikájáról bármilyen belső ismeretük lenne. A DeepMind továbbá az ügynök azon képességére összpontosít, hogy komplex szóbeli utasításokat tudjon követni, nem pedig arra, hogy magas pontszámokat érjen el vagy utánozza az emberi játékmenetet. A képzés a nyílt végű természetes nyelvi kommunikációra helyezi a hangsúlyt, hogy maximalizálja az ügynök megértését és reagálóképességét.
Adathalmaz
A Google DeepMind projektje, a SIMA a nyelv megértésére és a nyelvi cselekvésre szolgál számos részletes 3D-s környezetben. A sokféle interakciót lehetővé tevő beállítások kiválasztásával ezek a környezetek kulcsfontosságúak a mély nyelvi alapú feladatok fejlesztéséhez. A projekt több mint tíz különböző 3D-s környezetet használ, beleértve kereskedelmi videojátékokat és tudományos kutatási platformokat is. Ez a sokféleség biztosítja a vizuális élmények és interakciós lehetőségek széles spektrumát, miközben a 3D navigáció és interakció alapvető elemei minden környezetben közösek.
Kereskedelmi játékok
A SIMA kereskedelmi játékokat használ a komplex interakciók és a magas vizuális minőség érdekében, kerüli a szélsőségesen erőszakos vagy elfogult tartalmakat, és az űrkutatástól az erőforrás-gazdálkodásig terjed. Ezek a játékok különféle feladatokkal állítják kihívás elé az ügynököt, többek között repüléssel, bányászattal és kézművességgel.
Kutatási környezetek
A mesterséges intelligencia kutatási környezetek ellenőrzöttebb környezetet kínálnak bizonyos képességek teszteléséhez és csiszolásához, könnyebb feladatvégzés értékeléssel. Ezek a platformok jellemzően jobban tükrözik a valós fizikai interakciókat, bár egyszerűsített módon, mint a kereskedelmi videojátékok szélesebb körű és kiszámíthatatlanabb jellege.
Szöveges utasítások
A SIMA az ágensek képzéséhez és értékeléséhez egy szöveges utasítások széles skáláját tartalmazó adathalmazt használ. Ezek az utasítások a környezetek közös háromdimenziós jellegének köszönhetően olyan általános, számos 3D-s környezetben közös feladatokat fednek le, mint a navigáció és a tárgyak manipulálása. Az utasításkészletet egy adatvezérelt megközelítés segítségével kategóriákba rendezik, mely az ember által generált utasításokat egy hierarchiába csoportosítja a nyelvhasználat hasonlóságai alapján, melyeket egy előre meghatározott szóbeágyazási térben azonosítottak. Ez a strukturált adathalmaz megkönnyíti egy olyan ágens kifejlesztését, mely képes a különböző virtuális világokban a jellegükből adódóan más és más feladatok megértésére és végrehajtására.
Architektúra
A Google DeepMind SIMA ágensét úgy tervezték, hogy a vizuális bemeneteket és a beszélt parancsokat billentyűzet és egér műveletekre fordítsa. Ez a feladat kihívást jelent a különféle utasítások értelmezésének és az azok alapján történő cselekvésnek a komplexitása miatt, a lehetséges bemenetek és kimenetek széles skálájával párosulva. Ennek kezelése érdekében a DeepMind úgy döntött, hogy az ügynök képzését olyan feladatokra összpontosítja, melyek gyorsan, körülbelül 10 másodpercen belül elvégezhetők. Ez a megközelítés lehetővé teszi a feladatok egyszerűbb összetevőkre bontását, így a megfelelő utasítássorozattal különböző forgatókönyvekben és környezetekben lehet alkalmazni őket.
A SIMA ügynök felépítése a korábbi erőfeszítésekre épül, de a szélesebb körű célok eléréséhez lett igazítva. Újonnan kifejlesztett komponensek és számos, már létező, erre a célra átalakított modell keverékét tartalmazza. Ezek között vannak részletes kép-szöveg megfeleltetésre és videó-előrejelzésre kiképzett modellek, melyeket az ágens adatainak felhasználásával tovább finomítottak, hogy javítsák a teljesítményét. Ezek a modellek kombinálva értékes meglátásokat nyújtanak, és javítják az ágens képességét a környezetének megértésére és az azzal való interakcióra.
Technikailag az ágens frissen kifejlesztett transzformátorokat alkalmaz, melyek integrálják az előre betanított vizuális modellekből, az adott szóbeli utasításokból és egy memória központú Transformer-XL-ből származó bemeneteket. Ez az integráció egy átfogó állapotreprezentációt alkot, mely aztán irányítja a irányelv-hálózatot a billentyűzet és az egér megfelelő műveletsorozatainak generálásában. A képzési folyamat magában foglalja a viselkedés klónozását, és egy további célt, annak előrejelzését, hogy egy feladatot mikor hajtottak végre sikeresen. Ez a módszer lehetővé teszi, hogy a SIMA ágens ne csak hatalmas mennyiségű, már meglévő adatból tanuljon, hanem alkalmazkodjon a szimulációs környezetek és a felmerülő vezérlési feladatok által támasztott sajátos kihívásokhoz is.
Eredmények
A SIMA-ügynök képességeinek különböző példákon keresztül történő bemutatását követően a Google DeepMind az ügynök teljesítményének részletes elemzésére összpontosít. Ezt a vizsgálatot az ügynök által betanított virtuális környezetek és készségtípusok szerint kategorizálják. Emellett az eredményeket különböző szabványokhoz és korábbi modellekhez viszonyítják, hogy kiemeljék az ügynök alkalmazkodóképességét és a meghozott tervezési döntések sikerét. Továbbá, az ágens feladat végrehajtását az emberi teljesítménnyel összehasonlító értékelés egy újabb rétegben nyújt betekintést az ágens képességeibe.
Környezeti teljesítmény
A környezeti teljesítményt tekintve az ágens ígéretes eredményeket mutat, bár nem ér el minden téren tökéletességet. A sikerességi arányok környezetenként jelentősen eltérnek, amit az értékeléshez használt módszerek jelölésére szolgáló színkódrendszerrel szemléltetnek. Érdekes módon az ágens anélkül is kompetens teljesítményt mutat, hogy a képzés során egy adott környezetnek lett volna kitéve, gyakran felülmúlja a nyelvi képességek nélküli alapmodelleket, és néhány esetben kiegyenlíti vagy felülmúlja az adott környezetre szabott ágenseket.
Készségteljesítmény
Az ágens készségteljesítményének értékelésekor egyértelmű, hogy az ügynök jártassága az értékelt képességek teljes spektrumában változik. Egyes feladatokat nagy megbízhatósággal hajt végre, míg másokon még van mit javítani. A készségeket az értékelési feladatok alapján színekkel ábrázolt kategóriákba rendezték, ami strukturált megközelítést jelez az ágens különböző területeken nyújtott teljesítményének elemzésére.
Emberi viszonyítási alap
Az elemzés lezárásaként az emberi szintű teljesítményt használják viszonyítási alapként, különösen a No Man’s Sky játékon belüli feladatsorozatban. Ezeket a feladatokat úgy választották ki, hogy az ügynököt az alaptól az összetettig terjedő készségkövetelmények széles skálájával állítsák kihívás elé. Az összehasonlításban részt vevő emberi résztvevők tapasztalt játékosok voltak, akik hozzájárultak az adatgyűjtési folyamathoz, így hiteles mércét biztosítottak az ágens hatékonyságának valósághű környezetben történő értékeléséhez. A SIMA jelentős mérföldkövet jelent abban a törekvésben, hogy olyan ágenseket fejlesszenek ki, melyek képesek interakcióba lépni különböző környezetekkel anélkül, hogy formálisan képeznék ki őket. A kutatásnak mélyreható következményei lehetnek olyan területeken, mint a megtestesült mesterséges intelligencia, a robotika, az önvezető járművek és sok más.
A képzési repertoár bővítése és kognitív képességek fejlesztése
A DeepMind nyolc vezető játékstúdióval, köztük a Hello Games-szel és a Tuxedo Labs-szel együttműködve kilenc különböző videojátékon keresztül képezte ki a SIMA-t. A SIMA repertoárjában szereplő minden egyes játék egyedi kihívást jelent, az alapvető navigációtól és erőforrás-kezeléstől kezdve az olyan összetett feladatokig, mint az űrhajó vezetése vagy az építmények építése. Emellett a DeepMind négy kutatási környezetet fejlesztett ki, köztük a Unityvel épített innovatív Construction Lab-et, hogy tovább gazdagítsa a SIMA képzési adatait és tesztelje alkalmazkodóképességét.
A SIMA architektúrája egy aprólékosan kidolgozott kép-nyelvi leképezési modellből és egy prediktív videomodellből áll, mely lehetővé teszi számára, hogy értelmezze a képernyőn megjelenő vizuális képeket és előre jelezze a későbbi cselekvéseket. Figyelemre méltó, hogy a SIMA játék-specifikus API-k vagy a forráskódhoz való hozzáférés nélkül működik, kizárólag a felhasználók által adott vizuális inputokra és természetes nyelvű utasításokra támaszkodva. Az interfész ilyen egyszerűsége az emberi interakciót tükrözi, így a SIMA gyakorlatilag bármilyen virtuális környezetbe bekapcsolódhat.
A SIMA jelenlegi verziója 600 alapvető készséggel büszkélkedhet, melyek olyan feladatokat foglalnak magukban, mint a navigáció, a tárgyakkal való interakció és a menük használata, a teljesítési idő pedig átlagosan 10 másodperc körüli. A DeepMind ambíciói azonban túlmutatnak az elszigetelt feladatokban való jártasságon; a SIMA jövőbeli iterációit úgy képzelik el, hogy képesek legyenek komplex, többlépcsős, stratégiai tervezést és árnyalt döntéshozatalt igénylő utasítások végrehajtására.
A DeepMind kutatásai aláhúzzák a nyelv kulcsfontosságú szerepét a SIMA viselkedésének alakításában. Az ellenőrző tesztek azt mutatják, hogy a nyelvi képzésben részesült ágensek jelentősen felülmúlják a nem nyelvi képzésben részesült társaikat, ami hangsúlyozza a nyelvi oktatás és a hatékony feladat végrehajtás közötti szimbiózis kapcsolatát. Az értékelések továbbá azt mutatják, hogy a SIMA figyelemre méltó módon képes általánosítani a különböző játékkörnyezetekben, és felülmúlja az egyes játékokra kiképzett speciális ágenseket. A SIMA még ismeretlen környezetben is figyelemre méltó alkalmazkodóképességet mutat, ami azt jelzi, hogy képes túllépni a kiképzésen, és újszerű kihívásokkal megbirkózni.
A jövőre nézve a DeepMind elkötelezett a SIMA képzési repertoárjának bővítése és kognitív képességeinek kifinomultabb modellekkel való fejlesztése mellett. Azáltal, hogy a SIMA-t a virtuális világok szélesebb spektrumának teszi ki, és finomítja nyelvi megértését, a DeepMind célja, hogy olyan mesterséges intelligencia rendszereket fejlesszen ki, melyek képesek biztonságosan és hatékonyan elvégezni számtalan feladatot, mind online, mind a valós életben. A SIMA paradigmaváltást jelent az MI-kutatásban, és a generalista, nyelv-vezérelt MI-ügynökök új korszakának hajnalát jelzi. Bár a SIMA még csak kialakulóban van, úttörő képességei bepillantást engednek a mesterséges intelligencia jövőjébe, ahol a gépek zökkenőmentesen integrálódnak az emberi környezetbe, és így bővítik és javítják mindennapi életünket. Ahogy a DeepMind tovább feszegeti az MI-innováció határait, egyre kézzelfoghatóbbá válik az átalakító alkalmazások lehetősége a különböző területeken.
A virtuális és a fizikai világ összeolvadása
Évekkel ezelőtt a NASA két azonos számítógép- és egyéb berendezéssel rendelkezett: az egyik a Földön, a másik az űrben lévő rakétában. Ennek a megoldásnak köszönhetően a földi emberek jobban tudtak segíteni az űrhajósoknak valamilyen komolyabb probléma esetén, mert a saját laboratóriumukban különböző megoldásokat próbálhattak ki, és a sikeres megvalósítás után utasíthatták az űrhajósokat, hogy mit kell tenniük. Lehet, hogy nem mindannyian vagyunk űrhajósok vagy űrmérnökök, de ez a fajta megoldás manapság egyre népszerűbbé válik, és Digitális Iker néven fut. Nem véletlen, hogy a SIMA kapcsán rögvest felmerül a digitális iker technológia, hiszen a két jövőmegoldás „házassága2 megannyi lehetőséget adhat és nemcsak a jövőkutatóknak. Nézzük miről is van szó, a már a mindennapokban is használt digitális iker-technológia kapcsán.
Mi is az a digitális iker?
A digitális iker egy rendszer, szolgáltatás, folyamat vagy termék virtuális modellje. Ami a leglenyűgözőbb, hogy az ikrek képesek az általuk képviselt „dolog” állapotát figyelemmel kísérni és irányítani. A Digitális Iker a virtuális és kiterjesztett valóságon, a 3D-s grafikán és az adatmodellezésen alapul. A digitális ikreknek többféle típusa létezik; egyesek IIoT platformot és analitikát használnak, mások felhőalkalmazásokat és valós idejű IIoT-szimulációkat, a legfejlettebb munkák pedig blokklánc- és MI-technológiát vetnek be.
Hogyan működik?
A látás-gondolkodás-módszerrel működik. Az első szakaszban a modell különböző adatokat kap az IoT-érzékelőktől, frissíti a régi információkat, és tanul az összes összegyűjtött adatból. A múltbeli teljesítményre vonatkozó múltbeli adatokat, a valós idejű adatokat és a jövőbeli előrejelzéseket használja: melyeket a gépi tanulási algoritmusok hoznak létre, vagy a mérnököktől inputként érkeznek. A következő lépés az, amikor megkérdezzük a modellünket néhány felmerülő problémáról és azok lehetséges megoldásairól, és amikor választ kapunk ezekre a kérdésekre: szerencsére ezt az MI-technológiának köszönhetően megtehetjük. Az utolsó szakaszban a modell tájékoztat minket az előrehaladásról, és végrehajtja, amit a terv befejezéséhez meg kell(ene) tennünk. Ha akarjuk, megkérdezhetjük a modellt, és az AR headset segítségével láthatjuk is a probléma virtualizációját.
Digitális IkerVárosok
A digitális ikertechnológia az elmúlt 15 évben fokozatosan alakult ki. A digitális iker egyik legkorábbi példája az volt, amikor a NASA párosítási technológiát és tükrözési rendszereket alkalmazott műholdjainak távoli irányítására és hibaelhárítására. Az évek során a technológia egyre több alkalmazóra talált, mivel a legfontosabb eszközei (az IoT-érzékelők) közel 50%-kal olcsóbbak, mint korábban. A digitális ikertechnológia számos területen ígér előnyöket, például az ipari automatizálás és karbantartás, az egészségügy, a kiskereskedelem és a repülés- és űrkutatás területén. A digitális ikervárosok koncepciója számos ilyen területet egyesít, és izgalmas lehetőséget kínál a kormányok, egyetemek, vállalkozások és önkormányzati szervezetek számára, hogy együttműködjenek az intelligens városok építésében.
Digitális testvérvárosok
A digitális ikerváros egy város fizikai objektumainak és eszközeinek virtuális megjelenítése. Ezek az objektumok magukban foglalják az épületeket, utakat, rendszereket, termékeket, szolgáltatásokat és még a folyamatokat is. Hogyan működik tehát egy digitális iker egy város számára? Ahhoz, hogy egy valós világbeli várost digitális formában modellezni lehessen, elegendő telemetriára van szükség a környezetéről. A legfontosabb adatok közé tartoznak például a következők: külső és belső térképezés, a közlekedési útvonalak, időjárás, hőmérséklet és oxigénszint, helykihasználás, és még sok más: a lehetőségek korlátlanok. A digitális ikertestvér ezután ezen információtöredékek keresztezésével jön létre.
Az adatgyűjtés a kezdeti szakasz után sem áll le. Az IoT-technológiát használó intelligens érzékelők, melyek ezekhez a fizikai rendszerekhez kapcsolódnak, továbbra is gyűjtik az adatokat minden változásról: az útvonalak változásáról, a forgalomról, az épület emeletének hozzáadásáról. Az így összegyűjtött adatokat feltöltik a felhőtechnológiára, ahol azokat más kontextuális adatokkal szembeállítják, hogy a digitális iker folyamatosan fejlődjön, releváns maradjon, és szinkronban legyen fizikai megfelelőjével.
A digitális ikrek jelentősége az intelligens városok számára
Az intelligens városok megvalósításánál két lényeges tényező jön szóba: az idő és a pénz. Ahhoz, hogy az áttörést jelentő ötletek gyors ütemben, megfizethető költségek mellett valósulhassanak meg, fontos, hogy elsőre jól sikerüljenek. A pontosság időt és pénzt takarít meg, melyet az ismételt próbálkozásokra pazarolnának. Itt jön jól a digitális ikertestvér: rugalmas inkubátorként funkcionál a méretarányos ötletek számára. A digitális iker biztonságos módszert kínál a prototípusokkal való kísérletezésre és a forgatókönyvek tesztelésére. Például a katasztrófavédelem és a vészhelyzetekre való reagálás területén a digitális iker értékes eszköz a forgatókönyvek szimulálásához és a katasztrófa esetén a leghatékonyabb reagálási mód meghatározásához.
A városi hálózattervezés, a tömegközlekedés irányítása, a tömegkezelés, a távközlési hálózatok telepítése és az építészeti tervezés további olyan felhasználási esetek, ahol a digitális iker város segíthet kreatív és gyakorlatias megoldásokat nyújtani a 3D-s vizualizációval. Mivel az intelligens városok összetett ökoszisztémák, ahol több elem függ egymástól, a digitális iker város szisztematikus és integrált megközelítése segíthet meghatározni az egyes egységek egymásra gyakorolt hatását. Így például már felmérhető az időjárás változásainak hatása az építészeti tervezésre vagy a forgalmi torlódások hatása az ingatlanberuházásokra.
A digitális ikervárosok jövője
2025-ra a digitális ikertechnológia globális piaca várhatóan évente 38%-kal nő, és eléri a 15,7 milliárd dollárt. Számos város, például Párizs, Toronto és Szingapúr már most is élen jár az intelligens városok kiépítésére irányuló erőfeszítéseiben. Szingapúr trendteremtőnek számít azzal, hogy digitális ikert alkalmaz a város tervezéséhez és a lakosokkal való kommunikációhoz. A város zászlóshajó projektje, a Virtual Singapore a demográfiai, mozgási és éghajlati adatok statikus és valós idejű forrásait használja fel egy pontos 3D-s modell létrehozásához. Ez segít az egész város vizualizálásában, a közös városi területektől az épületek belsejéig. A cél nem csupán a város vizuális ábrázolása, hanem az is, hogy egy lépéssel továbbmenjen, és a modellt olyan együttműködő döntéshozatali funkciókban használja, mint a várostervezés, az árvízvédelem és a polgári repülés.
A digitális ikert megosztják a kereskedelmi vállalkozásokkal, oktatási intézményekkel és a nyilvánossággal, hogy megkönnyítsék a kutatást és az innovációt, és időben visszajelzést gyűjtsenek. Segíthet a meglévő tájképek feltérképezésében a jövőbeli projektekkel szemben, ami lehetővé teszi az építészek és építők számára, hogy a tervezésüket ennek megfelelően összehangolják. Egy másik példa az adatok (például az épületek magassága, a háztetők felülete és a napfény mennyisége) felhasználása a várostervezők által a napenergia-termelésre alkalmas épületek elemzése során. Nem a mikorról van szó, hanem hogy hogyan tesszük meg ezt. A Gartner Hype Cycle előrejelzése szerint a digitális ikertechnológia a következő 5-10 évben éri el a csúcspontját. A verseny már elkezdődött.
(Kiemelt kép: Unsplash+)
