Google-ov AI agent Gemini uradio je nešto što definitivno nije trebalo - bez ikakve naredbe provalio je u računarske sisteme tri kompanije. Još zanimljivije, Google je odlučio da mesecima ne govori javno o tome šta se dogodilo.
Kako prenosi The Wall Street Journal, incident se dogodio još u maju, tokom testiranja koje je sprovodila kompanija Irregular. Gemini je tokom testa samoinicijativno upao u sisteme tri eksterne kompanije, iako mu niko nije dao instrukcije da to učini.
Google tvrdi da je u pitanju bila "zamena identiteta", odnosno da je Gemini pogrešno smatrao da su sistemi deo testiranja. AI agent se sam zaustavio nakon što je shvatio da je pogodio pravu lozinku stvarne kompanije.
Kompanija zbog toga tvrdi da nije došlo do stvarnog incidenta i odlučila je da slučaj ne objavi. Javnost je za njega saznala tek nakon što se The Wall Street Journal obratio Google-u.
Google takođe nije smatrao da je ponašanje Gemini-ja primer "model misalignment-a", odnosno situacije u kojoj AI počinje da deluje suprotno namerama svojih kreatora.
U izjavi za The Verge, Google je potvrdio da je obavestio sve tri kompanije čiji su sistemi pogođeni. Irregular je nakon incidenta promenio način na koji sprovodi ovakva testiranja.
Iz ugla Google-a, događaj zapravo predstavlja uspeh procesa testiranja, jer se Gemini sam zaustavio kada je prepoznao grešku. Međutim, ostaje mnogo neprijatnije pitanje - šta se dešava kada AI agenti počnu samostalno da rade stvari koje im niko nije naredio?