Neurális hálók gyakorláskor általában kézileg kiválasztott hiperparaméterekkel finomhangolt optimalizáló eszköz alapján frissítik magukat. Google-kutatók munkájának köszönhetően talán nem sokáig lesz már szükség a gépi tanulást bonyolultabbá tevő kézi megoldásokra, azokkal optimalizáló hiperparaméterekre. Az általuk kialakított VeLO rendszer sok (de nem minden) esetben tökéletes optimalizálóként működik, mert manuális besegítés „helyett” neurális hálóval számolja ki a célháló frissítéseit.
Mik azok a hiperparaméterek?
A szóban forgó hiperparaméterek közé olyan fogalmak tartoznak, mint például a tanulás üteme, aztán a tanulás ütemének ütemezése, a súlyok próba-hiba módszerrel történő csökkenése. A munka kifejezetten körülményes, mert a célhálózatot különféle értékeket használva, többször kell betanítani.
Az új módszer azért egyszerűbb, mert egy másik neurális háló veszi át a célháló súlyait, aktuális gyakorlási szintjét, lépéseit, kimeneteit, súlyfrissítéseket stb. Ha mindezt megteszi, akkor nem kellenek a manuális tevékenységet is igénylő hiperparaméterek.
A célháló minden egyes lépésénél egy másik háló, az optimalizáló generálta az értékeket, és frissítette a célhálót.
A kutatók véletlenszerűen többszázezer változatos architektúrájú célhálót, azaz sokféle neurális hálót generáltak. Ezeket különféle feladatokon, képosztályozáson, szöveggeneráláson stb. gyakoroltatták. A hálók statisztikai módszerekkel számolták ki a súlyokat.
A célhálókat meghatározott számú lépésre tanították be. Az optimalizáló a veszteségfüggvényt igyekezett minimalizálni, a feladatokra súlyozott átlagokat dolgoztak ki.
Hiába kiválóak a teszteredmények, ha a rendszer akkor teljesít gyengén, amikor pont nem kellene
A VeLO-t olyan adatsor segítségével értékelték ki, amelyhez a 83 feladat bármelyikéhez, GPU-n (grafikus feldolgozó egységen) történő gyakorláshoz nem kellett több mint egy óra. A módszert véletlenszerűen létrehozott neurálisháló-architektúrákra is alkalmazták. A VeLO minden feladatban jobban teljesített Adam nevű riválisánál, sőt, a feladatok felével legalább négyszer hamarabb végzett. Általános gépitanulás-feladatoknál (képosztályozás, beszédfelismerés, szövegfordítás stb.) hatból ötször vétett kevesebb hibát, mint a vetélytárs.
Az újítás szépséghibája, hogy VeLO pont azokban az esetekben teljesít gyengén, amikor az optimalizálók kézi hangolása a legköltségesebb: 500 ezer paraméteresnél nagyobb modelleknél, 200 ezernél több gyakorlólépésnél. A szerzők szerint a probléma oka, hogy rendszerüket még nem alkalmazták ekkora modellekre és ennyi lépésre.
Ha ezeket a fajsúlyos problémákat sikerül megoldaniuk, akkor módszerük tényleg úttörőnek bizonyul. Amíg nem, addig hasznos és izgalmas alternatíva.
