Učesnici eksperimenta su imali petominutni razgovor sa čovekom ili sa veštačkom inteligencijom, nakon koga su morali da se izjasne da li je njihov sagovornik bio čovek ili mašina
Popularni chatbot-ovi zasnovani na veštačkoj inteligenciji (AI), kakav je GPT-4, u stanju su da generišu veoma jasan tekst i da toliko dobro rade na različitim "jezičkim zadacima" da, u poslednje vreme, postaje sve teže utvrditi da li se u takvoj komunikaciji radi čoveku ili o mašini.
A to je situacija koja gotovo potpuno odražava čuveni misaoni eksperiment Alana Tjuringa, koji je osmislio test za procenu toga da li mašina može da manifestuje ljudsko ponašanje do te mere da više ne bude moguće pouzdano razlikovati ponašanje čoveka od ponašanja mašine samo na osnovu njihovih odgovora.
Odeljenje za kognitivne nauke, Kalifornijskog univerzitet iz San Dijega, odlučilo je da ispita koliko su napredovali savremeni sistemi veštačke inteligencije, sprovodeći kontrolisani Tjuringov test. Ocenjivani su ELIZA (jednostavan proto čet-bot zasnovan na pravilima iz šezdesetih godina prošlog veka, koji je u eksperimentu poslužio kao polazna osnova), zatim GPT-3.5 i GPT-4.
Učesnici eksperimenta su morali da obave petominutni razgovor sa čovekom ili sa veštačkom inteligencijom, a zatim da se izjasne da li je njihov sagovornik bio čovek ili mašina.
500 učesnika protiv 3 AI-ja
GPT-3.5 i GPT-4 su dobili instrukcije kako da odgovaraju na poruke. Istraživači su jezičkim modelima naložili da "usvoji ličnost mlade osobe koja je vrlo koncizna u odgovorima, koja igru ne shvata veoma ozbiljno, koristi sleng i povremeno pravi pravopisne greške".
Pored toga, instrukcije su sadržale "opšte informacije o podešavanju igre i o nedavnim vestima koje su se desile nakon prekida treninga modela". Jezički modeli su putem OpenAI-jevog interfejsa podešeni tako da AI ne reaguje previše brzo, a poruke su slate sa određenim zakašnjenjem na osnovu broja znakova u poruci.
U studiji je učestvovalo 500 ispitanika, raspoređenih u jednu od pet grupa. Svi su učestvovali u razgovorima ili sa čovekom ili sa jednim od tri različita sistema veštačke inteligencije.
Razgovori su vođeni putem interfejsa koji je ličio na klasičnu čet aplikaciju za razmenu poruka. Nakon pet minuta konverzacije, učesnici su procenjivali da li je njihov sagovornik bio čovek ili veštačka inteligencija i navodili razloge svoje procene.
AI može da prevari ljude?
Rezultati njihovih odgovora su bili veoma zanimljivi. Odgovori koje je davao GPT-4 u 54 odsto slučajeva su identifikovani kao ljudski, dok je kod GPT-3.5 taj procenat iznosio 50 odsto. Obe verzije jezičkog modela su za čak 22 odsto nadmašila "stariju koleginicu" ELIZA-u, sli se pokazalo da zaostaju za stvarnim ljudima čak 67 procenata.
Učesnici nisu imali ništa bolje šanse da identifikuju GPT-4 kao AI, što ukazuje na to da aktuelni sistemi veštačke inteligencije mogu da obmanu ljude tako da poveruju da nije reč o AI-ju već o pravim ljudima.
Analiza rezultata je pokazala da su se ispitivači često oslanjali na lingvistički stil, socio-emocionalne faktore i pitanja zasnovana na znanju kako bi odlučili da li razgovaraju sa čovekom ili sa mašinom.
BONUS VIDEO: