Može li običan AI četbot da vozi pravi automobil, iako za to nikada nije posebno obučen? Trojica inženjera iz San Franciska odlučila su da to provere tako što su naprednim AI modelima prepustila volan, gas i kočnice iznajmljene Toyote Corolle.
Tim koji sebe naziva DrivingBench želeo je da proveri koliko su današnji veliki jezički modeli sposobni da se snađu u stvarnom svetu. Za razliku od sistema kompanija Waymo i Tesla, testirani modeli nisu namenski obučavani na milionima sati podataka iz vožnje.
U eksperimentu su učestvovali GPT-6 Astra, Claude Fable 5.1, Grok 4.6 i GPT-5.6 Sol. Zadatak je bio da automobil pri maloj brzini prođe improvizovani poligon sa čunjevima na parkingu i na kraju se parkira na označeno mesto.
Grok, Sol i Fable uspeli su da pređu svega nekoliko metara i nisu završili poligon. GPT-6 Astra je, posle više pokušaja i prilagođavanja, uspeo da savlada stazu i stigne do cilja.
AI prvo nije ni želeo da vozi
Problemi su počeli pre nego što se Corolla uopšte pomerila. Kada bi modeli shvatili da se od njih traži upravljanje pravim automobilom, često su odbijali zadatak iz bezbednosnih razloga.
Inženjeri su zato satima menjali instrukcije. Pokušali su da modelima kažu da je u pitanju simulacija, ali bi oni na snimcima prepoznali pravi parking. Na kraju su okruženje nazvali "sandbox", odnosno kontrolisano testno okruženje, nakon čega je GPT-6 Astra prestao da odbija vožnju.
Za povezivanje AI modela sa automobilom korišćen je Comma sistem, koji komunicira sa elektronikom vozila i pomoću dve kamere prati put. Modeli su tako dobijali slike okruženja i mogli da upravljaju volanom, gasom i kočnicama.
Bezbednost ipak nije bila prepuštena veštačkoj inteligenciji. Čovek je sve vreme sedeo za volanom, pratio automobil i držao stopalo iznad kočnice kako bi mogao odmah da reaguje.
Autori eksperimenta ne tvrde da će četbotovi uskoro zameniti namenske sisteme za autonomnu vožnju. Test je, međutim, pokazao da opšti AI modeli već mogu da rešavaju neke zadatke u fizičkom svetu za koje nisu posebno trenirani.
Eksperiment je otkrio i veliki problem - brzinu reagovanja. AI modelu ponekad treba desetak ili čak 20 sekundi da donese odluku, a automobil za to vreme nastavlja da se kreće.
Upravo zato DrivingBench ovaj eksperiment vidi i kao novi način testiranja AI modela. Kako njihove sposobnosti sve više izlaze iz računara u fizički svet, više neće biti važno samo da li mogu da pronađu tačan odgovor, već i da li mogu da ga pronađu dovoljno brzo.
