Fokozódik a nagy nyelvmodellek (large language models, LLM) közötti verseny: melyik teljesít jobban, melyik hatékonyabb? És még egy nem elhanyagolható szempont: melyik a legolcsóbb?
Tegnap és ma
Nem egész fél éve a legjobbak, mint a GPT-4, a Claude 2, a Gemini 1.0, a Llama 2 és a Mistral Large rosszabbul teljesítettek, és drágábbak is voltak, mint a mostani változataik. Azóta teljesítményük javult, áraik pedig estek. A legújabbak gyorsabbak, nagyobb a kontextus-ablakuk, többfajta inputot támogatnak, komplexebb feladatokban is eredményesebbek.
Az OpenAI felére csökkentette a GPT-4o input, 33 százalékkal pedig az output tokenek árát. A Google sem akart lemaradni, a Gemini 1.5 Flash alkalmazásprogramozói (API) költségét hetvenöt százalékkal csökkentette.
GPT-4 és GPT-4o verziók teljesítményének összehasonlítása
Az áresés trend: a szolgáltatók akkor is kevesebbet kérnek, ha nő a modell teljesítménye.
Az árak
A csúcs ChatGPT-t működtető GPT-4o költsége 2,50-10 dollár per egymillió input/output token. A korábbi 5-15 dollárhoz képest, a változás jelentős. Kötegelt feldolgozásnál (batch processing) még ennél is kedvezőbb az árfekvés.
A GPT-4o mini esetében 0,15-0,75 dollár a millió input/output token ára, kötegelt feldolgozásnál ugyanúgy 50 százalék a diszkont, mint a legnagyobb verziónál.
A júliusban megjelent Llama 3.1 költsége 2,70 dollár a DeepInfránál. Az Azure drágább, egyharmaddal többet kér milliónyi input/output tokenért.
A Gemini 1.5 Flash 0,15-0,60 dollár, a 128 ezer tokennél kevesebb input/output diszkontáron, az összeg feléért megvásárolható, sőt vannak ingyenes tokenek is.
A DeepSeek v2-nél 0,14-0,28 a millió token ára, 46 százalékkal kevesebb, mint a júliusi debütáláskor.
A számok jelzik, hogy most jó igazán mesterségesintelligencia-alkalmazást fejleszteni. Nyílt és zárt, nagy és kicsi, gyors és hatékony modellek, és a felsorolt tulajdonságok tetszőleges kombinációi közül válogathatunk.
Képek: OpenAI
