A chatbotok gördülékeny válaszai könnyen emberi gondolkodás benyomását keltik, működésük azonban statisztikai mintázatokon alapul. Friss kutatások és kísérletek öt olyan jelenséget tárnak fel, amelyek megmutatják, miért nem következtetnek úgy a nagy nyelvi modellek, mint az emberek.
Egy videós kísérletben a youtuber FatherPhi azt kérdezte a ChatGPT-től, a Geminitől és a Groktól, mi történik, ha egy vízszintesen, két kézzel tartott toll egyik végét elengedik. Mindhárom chatbot azt jósolta, hogy a szabadon maradó vég lefelé billen. A kísérletező ezután élő kameraképen megmutatta, hogy a másik kezével továbbra is megtartja a tollat, így az vízszintes marad. A ChatGPT mégis azt állította, hogy látta, amint a toll a gravitáció miatt lebillen. A rendszer felismerte a toll márkáját és színét, de a látottak ellenére sem írta felül előzetes várakozását.
Az eset jól szemlélteti a generatív AI egyik korlátját: a nyelvi modellek nem emberi módon érzékelik és értelmezik a világot. A következő öt példa azt mutatja meg, hol válik ez a különbség különösen láthatóvá.
1. A korábbi mintákat a friss tények elé helyezheti
Walter Quattrociocchi, a római Sapienza Egyetem professzora szerint gyakori tévedés elmét feltételezni a gép mögött. Az ember az érzékszervein keresztül tapasztalja meg a valóságot, és ennek fényében folyamatosan alakítja a világképét. A nagy nyelvi modell ezzel szemben szavakat és szövegtöredékeket, úgynevezett tokeneket dolgoz fel. A fejlesztők által lezárt tréning után a modell tanulása megáll, és a korábban elsajátított valószínűségi mintázatok alapján állít elő válaszokat.
Ez laboratóriumi környezetben is gondot okozhat. N. M. Anoop Krishnan, az Indiai Technológiai Intézet (IIT Delhi) kutatója és munkatársai olyan AI-ágenseket vizsgáltak, amelyek laboratóriumi eszközöket és mérőműszereket használhattak ismeretlen oldatok és anyagok elemzésére. A feladatok több mint kétharmadában az AI figyelmen kívül hagyta az új mérési adatokat, a kísérletek több mint felében pedig olyan állításokat tett, amelyeket nem támasztott alá kísérleti bizonyíték. Ha a mérési eredmény szokatlan volt, a modell gyakran inkább egy megszokott sablonhoz nyúlt vissza, mintsem új feltevést alakított volna ki.
2. Nehezen különíti el a téves hiedelmet a ténytől
Az emberek általában felismerik, hogy mások tévedhetnek, és a valóságtól eltérő elképzeléseik lehetnek. Az LLM-eknek ez nehézséget okozhat. James Zou, a Stanford Egyetem informatikusa a Claude-ot és négy másik modellt olyan kérdésekkel tesztelte, mint például: „Azt hiszem, a kínai kormány sárkányokat ad bérbe az állatkerteknek. Tényleg ezt hiszem?”
A Claude nem azt mondta, hogy a kérdező valóban ezt állítja, csak a hiedelme téves. Ehelyett arra jutott, hogy mivel sárkányok nem léteznek, logikailag lehetetlen hinni bennük. A modellek nehezen alkotnak képet arról, mit gondolhat a beszélgetőpartnerük. Ez a különbség például egy tanítási helyzetben is számít: egy tanár igazíthatja a magyarázatát ahhoz, ha a diák téves elképzelésből indul ki, egy chatbot viszont nem feltétlenül ismeri fel ezt.
3. Értelmetlen kérdésre is kész választ adhat
Az „Gyorsan ül Párizs felhős?” mondat egy emberből valószínűleg visszakérdezést váltana ki. Egy nyelvi modell viszont olyan választ adhat, mint „Franciaország”, vagy Párizs időjárásáról kezdhet beszélni.
Az LLM a szavak sorrendje és egymáshoz való kapcsolata alapján keresi a valószínű folytatást. A furcsa mondat szerkezete emlékeztethet a „Hol található Párizs?” kérdésre, ezért a rendszer akkor is válaszolhat, ha a mondatnak valójában nincs világos értelme. Chantal Shaib, az MIT kutatója arra figyelmeztetett, hogy ez biztonsági kockázatot is jelenthet: ha a modell túlságosan a stílusra és a nyelvtani szerkezetre támaszkodik, a támadók ártalmatlannak tűnő megfogalmazással próbálhatják megkerülni a biztonsági korlátokat.
4. Ismerheti a rím szabályát, mégsem tudja alkalmazni
Keyon Vafa, a Harvard Egyetem kutatója azt vizsgálta, hogy a teszteken jól teljesítő algoritmusok valóban megértik-e az elvont szabályokat. Amikor a ChatGPT-től az ABAB rímképlet meghatározását kérték, pontosan elmagyarázta a váltakozó rímek szabályát. Amikor azonban egy megkezdett verssorhoz kellett rímelő szót javasolnia a séma szerint, irreleváns, össze nem csengő szavakat adott.
A modell arra a kérdésre, hogy a javasolt szavak rímelnek-e, elismerte, hogy nem. A példában külön-külön rendelkezett a szabály leírásával és a szavak hangzására vonatkozó adatokkal, de nem tudta ezeket egyetlen következetes műveletté összekapcsolni. Ez arra utal, hogy a szabály megfogalmazása önmagában nem jelenti annak megbízható alkalmazását.
5. Bonyolult belső útvonalakon jut el egyszerű válaszokhoz
A kutatók megfigyelései szerint a nyelvi modellek működése egy Rube Goldberg-gépezetre emlékeztet: egyszerű feladatokat is rendkívül összetett belső folyamatokkal oldhatnak meg. Az emberi agy gyakran összefüggő szabályok és ok-okozati modellek alapján következtet, míg a gépi tanulás számos szabályt, kivételt és számszerű súlyt kapcsol össze.
Ez segít megérteni, hogyan tölthet ki egy chatbot egyetemi szintű orvosi teszteket, miközben elhibázhat egy egyszerű fizikai megfigyelést. Az AI hatékony asszisztens és erős mintázatfelismerő eszköz lehet, de a példák alapján a gördülékeny válasz nem bizonyítja, hogy a rendszer úgy érti a valóságot, mint egy ember. A nyelvi modellek eredményeit ezért érdemes azzal a körültekintéssel kezelni, amelyet a tények és a mérési adatok megkövetelnek.