Képek: Cerebras
A generatív mesterséges intelligencia gyors terjedésével folyamatosan nő a feldolgozó kapacitás iránti igény. A csúcskategóriás modellek gyakoroltatásához nélkülözhetetlen a minél jobb, szintén csúcsminőségű hardver.
Az Nvidia lényegében egyeduralkodó, a gépi tanuláshoz használt grafikus feldolgozó egységek (GPU) piacának kilencvenöt százaléka az övé, azaz nagyléptékű MI-rendszerekhez a kaliforniai vállalat majdnem az egyedüli beszállító, viszont egyre nehezebben elégíti ki az igényeket.
Kevés a hardver
Ezzel egyrészt a fejlesztők kerülhetnek bajba, mert nem lesz elég hardverük, másrészt feljöhetnek a keresletet kielégítő versenytársak. Akármekkora újító az Nvidia, és akármennyire jók a termékei, rajtuk kívül mindenki másnak érdeke, hogy ne monopolizálják a piacot.
És persze az Nvidia sem verhetetlen, mert például most úgy tűnik: nem tudja tartani a tempót a napról napra drasztikusan növekvő igényekkel. A Google és az Amazon, az ügyfelek számára a két óriás felhőplatformjain hozzáférhető, saját MI-chipeket fejleszt. A Meta és a Microsoft bejelentette, hogy ők is terveznek saját chipeket.
Az Abu Dhabi G42 technológiai konglomerátum által százmillió dollárral támogatott Cerebras lehet az egyik kihívó. Az Egyesült Arab Emírségekkel kötött szerződés többlépcsős terv része: szuperszámítógép-hálózatot akarnak kiépíteni.
A nagy nyelvmodellekhez hardvert fejlesztő Cerebras az Nvidia alternatíváját kínálhatja.
Óriáschip szuperszámítógépekhez
A megállapodás első része a javasolt kilencből az első három rendszerre vonatkozik. Az első, a Condolr Galaxy 1 (CG-1) már kész, és működik is a kaliforniai Santa Clarában. A CG-2 és a CG-3 2024 elején áll munkába a texasi Austinban, illetve az észak-karolinai Asheville-ben.
A Cerebras és a G42 a további hatról tárgyal, amelyeket 2024 végére építenének fel. A G42 főként egészségügyi és energetikai vállalatok feldolgozó kapacitásainak növelésére tervezi használni a hálózatot.
A rendszerek a Cerebras zászlóshajójának számító chipjén alapulnak, a különálló MI- és memóriachipek közötti kommunikációs problémákat akarják megoldani vele. Ezt úgy igyekeznek elérni, hogy a számítási erőforrásokat egyetlen óriáschipbe pakolják.
Minden egyes chip megtölt egy, tipikusan kisebb chipekre osztható szilíciumostyát. 850 ezer magba rendezhető, 2,6 billió tranzisztort tartalmaz. Összehasonlításként: az Nvidia H100 GPU-ja közel 80 milliárd tranzisztorból és 19 ezer magból áll.
A CG-1 harminckét Cerebras chipet tartalmaz, de hamarosan megduplázódik a számuk. Memóriája 82 terabájt, a bemenő adatok feldolgozását és az outputokat 72700 AMD EPYC mag kezeli.
A szuperszámítógépek négy exaflop csúcsteljesítménnyel fognak futni. Még egy összehasonlítás: a Google TPU v4 Pods-é 1,1 exaflop.
Az architektúra lehetővé teszi a chipek közötti elosztott feldolgozást, ami a hatékonyságot csak minimálisan, alig észlelhetően csökkenti.
