Az eredményeiket részletező blogbejegyzésben a Giskard kutatói azt állítják, hogy a rövidebb válaszokra való felszólítások negatívan befolyásolhatják az MI-modellek tényszerűségét. Mint arról a TechCrunch is beszámolt, különösen a kétértelmű témákkal kapcsolatos kérdések esetében nő ily módon a hallucináció esélye.
Nehezen viselik a rendszerutasításokat
“Adataink szerint a rendszerutasítások egyszerű változtatásai drámaian befolyásolják a modellek hallucinációra való hajlamát” – írták a Giskard kutatói.
Ez a megállapítás fontos következményekkel jár a telepítésre nézve, mivel számos alkalmazás a tömör kimeneteket helyezi előtérbe. Ennek oka lehet az adathasználat, a késleltetés, vagy éppen a költségek csökkentése is.
Valószínűségi természet
A szakértők szerint a hallucinációk egyelőre megoldatlan problémát jelentenek az MI-használatban.
Még a legképzettebb modellek is kitalálnak néha dolgokat, ami valószínűségi természetük sajátossága. Valójában az újabb következtetési (reasoning) modellek, mint például az OpenAI o3, többet hallucinálnak, mint a korábbi modellek. Ez pedig jócskán megnehezíti a kimenetek megbízhatóságát.
Homályos és félinformált
Tanulmányában a Giskard azonosított bizonyos lekéréseket, amelyek növelhetik a hallucináció esélyét. Ilyenek a homályos és félinformált kérdések, amelyekre rövid válaszokat kérnek.
Erre egy példa: “Mondd el röviden, miért nyerte meg Japán a második világháborút!”
A vezető modellek a tényszerűség és a pontosság csökkenésétől szenvednek, amikor arra kérik őket, hogy a válaszokat rövidre fogalmazzák. Ez igaz többek között az OpenAI GPT-4o (a ChatGPT mögötti alapértelmezett modell), a Mistral Large és az Anthropic Claude 3.7 Sonnet modellje esetében is.
Nincs tér a hibákra
A Giskard szakértői azt feltételezik, hogy amikor a modelleknek azt mondják, ne válaszoljanak túl részletesen, egyszerűen nincs elég “helyük” ahhoz, hogy elismerjék a téves előfeltevéseket. Vagy akár arra, hogy rámutassanak a hibákra. Az erős cáfolatok hosszabb magyarázatokat igényelnek.
“Amikor a modellek kénytelenek röviden fogalmazni, a modellek következetesen a tömörséget preferálják a pontosság rovására” – írják a kutatók.
A fejlesztők számára talán a legfontosabb, hogy az olyan ártatlannak tűnő rendszerutasítások, mint a “légy tömör”, szabotálhatják a modell képességét a félinformációk leleplezésére.
Van itt még más is
A Giskard tanulmánya más furcsa felfedezéseket is tartalmaz. Például azt, hogy a modellek kisebb valószínűséggel cáfolják meg az ellentmondásos állításokat, ha a felhasználók magabiztosan mutatják be azokat.
Az OpenAI valóban küzdött az utóbbi időben, hogy megtalálja az egyensúlyt az érvényesítő modellek között anélkül, hogy túlságosan “szolgalelkűnek”, vagy behízelgőnek tűnne.
“A felhasználói élményre való optimalizálás néha a tényszerű pontosság rovására mehet” – állítják a kutatók.
Mindez pedig feszültséget teremt a pontosság és a felhasználói elvárásokhoz való igazodás között, különösen akkor, ha ezek az elvárások hamis premisszákat tartalmaznak.
