Mindez komoly dilemmákat vetett fel informatikus körökben az MI-kutatás jelenlegi állapotáról. A szerző, Kevin Zhu csak nemrég fejezte be számítástechnikai alapképzését a Kaliforniai Egyetemen, a Berkeley-n.
…és még sokan mások
Zhu jelenleg az Algoverse nevű cég vezetője, a vállalat MI-kutatással és középiskolások mentorálásával foglalkozik.
A fiatal cégvezető 2018-ban érettségizett. Az elmúlt két évben megjelent cikkei pedig olyan témákról szólnak, mint az MI használata:
- szubszaharai nomád pásztorok felkutatására
- bőrelváltozások értékelésére
- indonéz dialektusok fordítására
Az informatikus szakember LinkedIn-profilján azzal büszkélkedik, hogy az elmúlt évben több mint száz vezető konferencián publikált. Állítása szerint munkáit idézte az OpenAI, a Microsoft, a Google, a Stanford, az MIT, az Oxford és még sokan mások.
Vibe katasztrófa
“Zhu cikkszerzői munkássága egy katasztrófa” – idézi a The Guardian Hany Faridot, a Berkeley számítástechnikai professzorát.
Farid egy LinkedIn-posztban hívta fel a figyelmet Zhu publikációs lavinájára. Ez pedig élénk vitát indított az MI-kutatók között hasonló esetekről.
Többen úgy vélik, hogy a villámgyorsan népszerűvé vált területet elárasztják a gyenge minőségű tanulmányok, amelyeket akadémiai elvárások és bizonyos esetekben MI-eszközök is fűtenek.
A Guardiannek Zhu azt mondta: 131 cikknek volt témavezetője, ezek “csapatmunkák” voltak, amelyeket az Algoverse koordinált.
Fától az erdőt
Az MI-kutatás eltér a legtöbb tudományterület standardjaitól. Az MI és a gépi tanulás (ML) területén készült munkák többsége nem esik át olyan szigorú szaklektoráláson, mint például a kémia vagy a biológia szakterületein születő munkák.
A tanulmányokat gyakran kevésbé formális keretek között mutatják be nagy konferenciákon.
Farid szerint Zhu esete egy nagyobb problémára mutat rá: a konferenciákat elárasztják a beküldött anyagok. A NeurIPS konferencia például idén 21 575 (!) tanulmányt kapott. Öt évvel ezelőtt még kevesebb mint tízezret.
Egy másik vezető MI-konferencia, az ICLR, 2026-ra 70 százalékos növekedést jelentett – közel húszezer beadvánnyal.
NeurIPS ugyan átnézi a cikkeket, de a folyamat gyorsabb és kevésbé alapos, mint a hagyományos tudományos szaklektorálás – mondta Jeffrey Walling, a Virginia Tech docense.
“Árad a híg lötty”
Persze születhetnek nagyszerű munkák is ebben a rendszerben: ilyen a Google “Attention Is All You Need” című tanulmánya. Ez tulajdonképpen a ChatGPT-hez vezető MI-fejlődés elméleti alapja, amely a NeurIPS-en hangzott el 2017-ben.
A NeurIPS szervezői elismerik, hogy a konferencia “túlterhelődött”. A Guardiannek azt írták: az MI területének növekedése “jelentős benyújtási hullámot” generált, ami “komoly terhet ró” az értékelési rendszerre.
Zhu beadásai nagyrészt workshopokra mentek, ahol más a kiválasztási folyamat. Azonban Farid szerint ez sem mentség arra, hogy valaki több mint száz cikket jegyezzen.
A probléma persze jóval nagyobb, mint egy konferencia túlterhelése. A brit lap az ICLR példáját idézi, amely MI-t használt a nagy mennyiségű beadás bírálatához. Az eredmény pedig “hallucinált hivatkozások” és “rendkívül bőbeszédű, felsorolásokkal teli” visszajelzések lettek.
Az akadémiai írások témája az akadémiai írások válsága
Sokak szerint olyannyira elterjedt a hanyatlás a területen, hogy maga a válság lett az akadémiai cikkek témája.
Farid szerint a nagy techcégek és az MI-biztonsági szervezetek ma már arXiv-ra öntik fel az anyagaikat. Ez egy olyan oldal, amit egykor alig olvasott matematikai és fizikai pre-printek számára tartottak fenn.
Itt tulajdonképpen elárasztották az internetet olyan munkákkal, amelyeket tudományként mutatnak be, de nem esnek át minőségi ellenőrzésen.
Ennek következménye pedig az, hogy szinte lehetetlen megérteni, mi történik az MI-ben – újságíróknak, a közvéleménynek, sőt még a szakértőknek is.
(Kép: Martijn Baudoin/Unsplash)
