Az elmúlt néhány évben a mesterséges intelligencia képességeinek robbanásszerű fejlődését láthattuk, melynek nagy részét a nagy nyelvi modellek (LLM) fejlődése okozta. Az olyan modellek, mint a GPT-3 megmutatták, hogy képesek emberhez hasonló szövegek generálására, kérdések megválaszolására, dokumentumok összegzésére és még sok másra. Miközben azonban az LLM-ek képességei lenyűgözőek, hatalmas méretük a hatékonyság, a költségek és a testreszabhatóság hátrányaihoz vezet. Ez megnyitotta az utat a modellek egy új osztálya, az úgynevezett kis nyelvi modellek (SLM) előtt.