(Képek: Rawpixel, Pixabay)
A most zajló mesterségesintelligencia-forradalom a nagy nyelvmodelleken (LLM) alapul. A körülöttük lévő óriási felhajtás közepette a rendszerek nagyarányú kiszolgálásának költségeiről azonban kevesebbet cikkez a világmédia, pedig éppenséggel lenne miről. A chatbotok mainstreammé válásával a szolgáltatóknak ugyanis szembe kell nézniük a felhasználók folyamatosan növekvő száma miatti egyre masszívabb kiadásokkal.
A ChatGPT és más modellek alapját jelentő transzformer-architektúra ugyan gyors, de egyelőre rengeteg feldolgozás kell hozzá. Mechanizmusai számításigényesek, a teljesítmény értelemszerűen nagyobb paraméterszámmal és méretesebb adatsorokkal folyamatosan növelhető. Csakhogy ezek együtt a fejlesztőket a számítási költségvetés növelésére ösztönzik. Ha nem lesznek komoly változások, a trend érvényben marad a következő években.
Akkor is megéri, ha momentán nem éri meg
Néhány példa.
Clem Delangue, a Hugging Face vezérigazgatója elmondta, hogy egy LLM kiszolgálása általában többe kerül, mint amennyit a felhasználók fizetnek.
Egy, februári becslés alapján az OpenAI 0,0036 dollárt költ minden egyes GPT-3,5 szöveges utasítás (prompt) feldolgozására. Ezt az árat figyelembe véve, ha a Google a GPT-3,5-öt használva, igyekezne megválaszolni a keresőmotorja által másodpercenként kapott közel 320 ezer lekérdezést, 55,5 milliárd dollárról 19,5-re csökkenne a nagyvállalat éves működési (fő üzleti tevékenységéből származó) bevétele. A különbség óriási, és a nagyvállalat tesz is azért, hogy ne legyen így.
Ugyanis szintén februárban a feldolgozási költségeken való spórolást jelölte meg elsőszámú okként azért, amiért a Bard chatbot viszonylag kisebb LLM-en, a LaMDA modellen alapul.
Nagy nyelvmodellt mindenbe!
A chatbotok iránti növekvő kereslettel a modelleket nagymennyiségben feldolgozó GPU (grafikus feldolgozóegység) chipek iránti kereslet szintén nő. A kereslettel a chipek és a rájuk épülő felhőszolgáltatások költségei szintén emelkednek. (Tegyük még hozzá a chiphiányt.)
Az MI berobbanása eleve akkor érte az infokommunikációs szektort, amikor a technológiai mamutvállalatok között a korábbinál is élesebb lett a rivalizálás, amelynek legújabb állomásaként a nagy nyelvmodellek keresőmotorokba, elektronikus levelezőrendszerekbe, dokumentumszerkesztésbe és még sok más alkalmazásba, szolgáltatásba integrálásában versengenek egymással. Az érintett alkalmazások és szolgáltatások száma napról napra nő.
A fogyasztó minőségi kiszolgálása rövidtávú veszteségekkel jár, a piaci térnyeréshez azonban mindenképpen meg kell találniuk a kiadások és a bevételek helyes arányát.
