Képek: Flickr, Stanford
Stanfordi kutatók új kritériumok, a fejlesztők által a gyakoroltatásról szolgáltatott infók, az architektúra és a felhasználás alapján rangsoroltak népszerű mesterségesintelligencia-modelleket. Csak kevés teljesített jól, ez pedig egyértelműen jelzi a mai komoly MI átláthatósági problémáját.
Miért baj, ha nem látható át egy mesterségesintelligencia-modell?
A más modelleknek alapul szolgálók számának növekedésével az átláthatóság még ködösebbé vált. Az olyan alaptényezők, mint az architektúra, az adatsorok és a gyakorlómódszerek elhallgatásával – nem közlésével – lehetetlen kutatásokat megismételni, teljesítmény-költség mutatókat kiértékelni, és a részrehajlásokat/elfogultságokat kezelni.
Az alapmodellen nyugvó alkalmazások közzététele nélkül nem mérhetők ezeknek az alkalmazásoknak a lehetőségei, korlátjai. Érdekes módon, a nyílt forráskódú mesterséges intelligencia népszerűsödésével párhuzamosan kezdett teret nyerni a homlokegyenest ellentétes trend: kereskedelmi vállalatok egyre kevesebbet árulnak el modelljeik belső működéséről.
Az átláthatóság értékelésének egységes kritériumrendszere viszont növelheti adatok nyilvánosságra hozását. Egy index mindenkit felbátoríthat, hogy részletes információkkal szolgáljon az általa fejlesztett modellről, másrészt segíthet az átláthatóság miatt aggódó mérnököknek. A gyakorlóadatok eredetének nyilvánossá tétele viszont sokakat elrettenthet…
Indexek
Az MIT (Massachusetts Institute of Technology), a Cohere For AI és tizenegy másik szervezet által indított Adateredet Platform, gyakorló adatsorokat auditáló és kategorizáló kezdeményezés pont ilyen lehet. A projekt által kínált adateredet-vizsgáló program mintegy 1800 adatsor forrásait, licenceit és más metaadatait értékeli ki.
A Stanford Alapmodellek Kutatási Központja pedig átláthatósági indexet tett közzé tíz vállalat tíz népszerű MI-alapmodelljéről – ezek a modellek általános célokra taníthatók be, majd speciális célokra finomhangolhatók. A megítélést ugyan nem árnyaló, de ennek ellenére hasznos száz igen-nem kérdésre adott válaszok alapján pontozták őket. A kérdések a gyakorlásra, az architektúrára, az MI viselkedésére, valamint a hozzáféréssel és a felhasználással kapcsolatos cégpolitikára vonatkoztak.
Mindegyik modellt egytől százig ívelő skálán pontozták, és mindössze 54 ponttal, a Meta (Facebook) LLaMA 2-je a legátláthatóbb. A BigScience BLOOM-Z-je a második, 53-ral. Az Amazon Titan Textje tökutolsó tizenkettővel, míg az utolsóelőtti Inflection Inflection-1-e huszonegy pontot ért el.
A legjobban teljesító négy modellből hármat, az első kettő mellett a Stability.AI Stable Diffusion 2-jét is súlyokkal tették közzé, míg a maradék hatot nélkülük. Az adatok a hozzáférésről és a felhasználásról a legátláthatóbbak, a gyakoroltatásra vonatkozók a legkevésbé azok. Az átláthatósági osztályzatok egyébként nem függenek a cég méretétől – az első két helyezett egy mamutcég (Meta) és egy sokkal kisebb vállalat (BigScience).
