A jó hír, hogy okosabb lett...
...a rossz pedig, hogy ezzel együtt egyre több marhaságot terjeszt a mesterséges intelligencia.
A mesterséges intelligencia igen okos, azonban nem tévedhetetlen. És minél eszesebb, annál kevésbé ismeri ezt be, és annál nagyobb a valószínűsége annak, hogy megtéveszti az embereket. Valahogy így foglalható össze spanyol kutatók elemzésének eredménye.
A Valenciai Mesterséges Intelligencia Kutatóintézet szakemberei három nagy MI-chatbot (OpenAI GPT, Meta LLaMA és BigScience akadémiai csoport által fejlesztett nyílt forráskódú modell, a BLOOM) válaszait tették górcső alá, hogy értékeljék a hozzájuk intézett kérdések nehézségét, a feleleteiket, valamint hogy az emberek észreveszik-e a rossz válaszokat.
Valamennyi modell esetében megnézték a korábbi nyers, majd a későbbi, jóval több adattal trenírozott, azaz jóval okosabbá vált változatokat. Több ezer kérdéssel tesztelték a modelleket, és rangsorolták a kérdések ember által észlelt nehézségét is. Nem meglepő módon azt találták, hogy LLM-ek későbbi, kifinomultabb változatai többet tudtak, pontosabbak lettek, hiszen finomhangolási módszerekkel alakították őket, például az emberi visszajelzéseken alapuló megerősítő tanulással. Azonban ahogy nehezedtek a kérdések, úgy nőtt meg a hibás válaszok aránya, mivel kevésbé kerülték el egy téma megválaszolását, még ha nem is tudták pontosan a feleletet. Bizonyos esetekben a modellek, ha nem tudják a feleletet, elkerülik egy-egy kérdés megválaszolását, például témaváltással, a mostani kísérletnél viszont mást tapasztaltak. Például a GPT-4 szinte mindenre válaszolt. A hibás válaszok aránya a modellek növekedésével emelkedett, több finomított modellnél meghaladta a 60 százalékot – összegzi a Nature.
Manapság a fejlett MI-k szinte mindenre válaszolnak, úgy tesznek, mintha mindenhez értenének – vélik a szakemberek, és úgy gondolják, mindennek az az eredménye, hogy az emberek túlbecsülik a chatbotok képességeit. Ez utóbbi megállapításukat abból szűrték le, hogy a kutatásuk során embereknek kellett értékelniük a válaszokat helyesnek, helytelennek vagy elkerülőnek, és bizony az esetek 10–40 százalékában helytelenül minősítették a pontatlan válaszokat.
José Hernández-Orallo kutatásvezető úgy véli, hogy a fejlesztőknek tovább kell erősíteniük a chatbotok tudását a könnyű kérdéseknél. viszont arra kell ösztönözni őket, hogy a nehezekre ne válaszoljanak. Az embereknek meg kell érteniük, hogy vannak területek, amelyeken használhatják a MI-t, és vannak olyanok, amelyeken nem. Érdemes meghatározni egy küszöböt, hogy amikor egy kérdés kihívást jelent, akkor a chatbot mondja azt, hogy „nem tudom”.
A legtöbb komoly MI-vállalat keményen dolgozik azon, hogy visszaszorítsa chatbotjaik hallucinációit, és ennek különösen az orvosi felhasználásra szánt mesterséges intelligenciánál van jelentősége. Azonban az univerzális chatbotokat értékesítő cégeknek ez nem annyira fontos szempont – állítja Vipula Rawte, a Columbiai Dél-Karolinai Egyetem informatikusa.
