Képek: Microsoft
Nagyméretű mesterséges neurális hálózatok kiszolgálása még az olyan mamutcégeknek is komoly kihívás, mint a rendkívüli méretű hardverforrással és az OpenAI-jal kötött, mindkét fél számára előnyös szerződéssel rendelkező Microsoft.
Letisztított, finomhangolt modellek futtatása techóriások és kicsi startupok kiadásait is jelentősen csökkentheti.
A Microsoft tízmilliárd dollárt fektetett az OpenAI-ba. A szerződés alapján a redmondi cégé az OpenAI üzemeltetési hasznának hetvenöt százaléka a befektetés megtérüléséig, majd további negyvenkilenc százalék, amíg el nem érnek egy nyilvánosan nem pontosított határt.
Csökkenő OpenAI-függés?
Csakhogy a Microsoft más forrásokból is hozzáfér nagyteljesítményű modellekhez. Azure felhőplatformja szolgálja például ki a Meta LLaMA 2 nagy nyelvmodelljét (LLM) is.
A szándék egyértelmű: igyekeznek maximálisan kontrollálni az OpenAI modelljeitől való függés költségeit, és persze magát a függést is. Például a ChatGPT-hez hasonlóan teljesítő, viszont karcsúbb és olcsóbban futtatható modellek építésével próbálják elérni ezt.
A cég a zászlóshajónak számító termékeket, például a Windows-t, a Microsoft 365-öt és a GitHubot kiegészítő, seregnyi mesterségesintelligencia-alapú terméket kínálnak. A termékvonal az OpenAI modelljein alapul, a modellek több mint egymilliárd felhasználó számára történő kiszolgálása azonban irdatlan összegbe kerül, és a szükséges feldolgozókapacitás máshol szintén nagyon hasznos lehetne.
Alternatívák
A Microsoft mérnökei az ismeretek letisztításával próbálják mérsékelni a kiadásokat: kisebb modellt nagyobb modell outputjainak utánzására tanítanak be. Emellett más technikákat is használnak, hogy alacsonyabbak legyenek a költségek.
Mivel az OpenAI-jal kötött szerződés értelmében, a Microsoftnak egyedi hozzáférése van a modellekhez, jelenleg e modellek letisztítása a cég MI-csapatának elsőszámú feladata, top prioritás. Ilyen modellek egyébként már futnak is a Bing Chaten.
Letisztított modellek gyakoroltatására és hitelesítésére kétezer grafikus feldolgozóegységet (GPU) különítettek el. A szám soknak tűnhet, viszont csak a töredéke a GPT-4 trenírozására és validálására használt GPU-knak.
A tizenhárom milliárd paraméteres LLaMA 2 modell Orcát GPT-4 outputokon finomhangolták, és a komoly kihívást jelentő BIG-Bench Hard mérceteszten ugyanúgy teljesített, mint a ChatGPT. Másokon viszont lemaradt a GPT-4 mögött, de ezzel együtt a Microsoft fontolgatja, hogy az Azure-on a GPT-4 és a LLaMA 2 versenytársaként futtatja az Orcát, bár a LLaMA 2 licensze korlátozza az ilyen jellegű használatot.
A Microsoft szinte a semmiből is fejleszt kisebb modelleket. Egyikük, a Phi-1 például a legtöbb nyílt forrású modellnél, köztük a tízszer nagyobb és százszor több adaton gyakoroltatott HumanEval-nél is jobban teljesített Python kód generálásban.
