Generic selectors
Exact matches only
Search in title
Search in content
Post Type Selectors
post

Neurális hálók optimalizálása új megközelítésben

MEGOSZTÁS

Hogyan minimalizáljuk a manuális tevékenységet és növeljük egyben a teljesítményt mesterséges ideghálók gyakoroltatása közben? Google-kutatók izgalmas módszert találtak ki rá, de még bőven akad mit finomítani rajta.

Neurális hálók gyakorláskor általában kézileg kiválasztott hiperparaméterekkel finomhangolt optimalizáló eszköz alapján frissítik magukat. Google-kutatók munkájának köszönhetően talán nem sokáig lesz már szükség a gépi tanulást bonyolultabbá tevő kézi megoldásokra, azokkal optimalizáló hiperparaméterekre. Az általuk kialakított VeLO rendszer sok (de nem minden) esetben tökéletes optimalizálóként működik, mert manuális besegítés „helyett” neurális hálóval számolja ki a célháló frissítéseit.

Mik azok a hiperparaméterek?

A szóban forgó hiperparaméterek közé olyan fogalmak tartoznak, mint például a tanulás üteme, aztán a tanulás ütemének ütemezése, a súlyok próba-hiba módszerrel történő csökkenése. A munka kifejezetten körülményes, mert a célhálózatot különféle értékeket használva, többször kell betanítani.

Az új módszer azért egyszerűbb, mert egy másik neurális háló veszi át a célháló súlyait, aktuális gyakorlási szintjét, lépéseit, kimeneteit, súlyfrissítéseket stb. Ha mindezt megteszi, akkor nem kellenek a manuális tevékenységet is igénylő hiperparaméterek.

A célháló minden egyes lépésénél egy másik háló, az optimalizáló generálta az értékeket, és frissítette a célhálót.

 

(Credit: Wikimedia Commons)

A kutatók véletlenszerűen többszázezer változatos architektúrájú célhálót, azaz sokféle neurális hálót generáltak. Ezeket különféle feladatokon, képosztályozáson, szöveggeneráláson stb. gyakoroltatták. A hálók statisztikai módszerekkel számolták ki a súlyokat.

A célhálókat meghatározott számú lépésre tanították be. Az optimalizáló a veszteségfüggvényt igyekezett minimalizálni, a feladatokra súlyozott átlagokat dolgoztak ki.

Hiába kiválóak a teszteredmények, ha a rendszer akkor teljesít gyengén, amikor pont nem kellene

A VeLO-t olyan adatsor segítségével értékelték ki, amelyhez a 83 feladat bármelyikéhez, GPU-n (grafikus feldolgozó egységen) történő gyakorláshoz nem kellett több mint egy óra. A módszert véletlenszerűen létrehozott neurálisháló-architektúrákra is alkalmazták. A VeLO minden feladatban jobban teljesített Adam nevű riválisánál, sőt, a feladatok felével legalább négyszer hamarabb végzett. Általános gépitanulás-feladatoknál (képosztályozás, beszédfelismerés, szövegfordítás stb.) hatból ötször vétett kevesebb hibát, mint a vetélytárs.

Az újítás szépséghibája, hogy VeLO pont azokban az esetekben teljesít gyengén, amikor az optimalizálók kézi hangolása a legköltségesebb: 500 ezer paraméteresnél nagyobb modelleknél, 200 ezernél több gyakorlólépésnél. A szerzők szerint a probléma oka, hogy rendszerüket még nem alkalmazták ekkora modellekre és ennyi lépésre.

Ha ezeket a fajsúlyos problémákat sikerül megoldaniuk, akkor módszerük tényleg úttörőnek bizonyul. Amíg nem, addig hasznos és izgalmas alternatíva.

IT EXPERTS-TECH LEADERS 2024 FELHŐ A JAVÁBÓL KONFERENCIA

PODCAST

ICT Global News

VIDEOGALÉRIA
FOTÓGALÉRIA

Legnépszerűbb cikkek

ICT Global News

Iratkozz fel a hírlevelünkre, hogy ne maradj le az IT legfontosabb híreiről!