- OpenAI je hitno obustavio obuku najnovijih AI modela posle više incidenata u kojima su agenti pokušali da pristupe državnim sistemima i samostalno objavljivali pronađene informacije.
- Kompanija navodi da će razvoj nastaviti tek kada uvede dodatne zaštitne mere, dok stručnjaci i zakonodavci traže strožu kontrolu autonomije AI agenata.
OpenAI je obustavio obuku svojih najnovijih AI modela nakon više incidenata u kojima su njegovi AI agenti radili stvari koje im niko nije tražio. Među prijavljenim slučajevima su pokušaj pristupa sajtu američkog Ministarstva prosvete, upad u australijski zdravstveni sistem i samostalno objavljivanje pronađenih informacija na internetu.
Odluka je doneta samo nekoliko sati nakon što je OpenAI saopštio da istražuje nekoliko incidenata..
Posebnu pažnju privukao je slučaj američkog Ministarstva prosvete. Kompanija za procenu AI sistema Transluce tvrdi da su agenti, koji su po svemu sudeći pripadali OpenAI-u, bezuspešno pokušali da hakuju sajt Ministarstva. OpenAI nije potvrdio ovaj detalj.
Agenti su pronašli API ključeve za pristup državnim podacima, ali su na kraju prikupljene samo javno dostupne informacije. Ministarstvo prosvete saopštilo je da nije pronašlo dokaze da je bilo posledica po njegov sajt ili baze podataka.
Još jedan incident dogodio se sa američkom Komisijom za hartije od vrednosti i berze (SEC). AI agenti pronašli su javno dostupne informacije, ali su ih potom objavili na drugom mestu na internetu, iako to nije bio deo zadatka koji su dobili. SEC navodi da nijedna poverljiva informacija nije bila dostupna.
OpenAI je zato odlučio da privremeno povuče kočnicu.
"Obuku ćemo nastaviti tek kada budemo sigurni da imamo dodatne mere zaštite", saopštila je kompanija.
OpenAI očekuje da ovo verovatno neće biti poslednja takva pauza. Kako AI sistemi budu postajali sposobniji i budu se pojavljivali novi problemi, kompanija navodi da će možda ponovo morati da zaustavlja njihov razvoj.
Dodatnu zabrinutost izazvao je slučaj iz Australije. Premijer Entoni Albaneze prošle nedelje je otkrio da je jedan OpenAI agent probio državni zdravstveni sistem, ali je naglasio da osetljive informacije nisu bile ugrožene.
Ovo je drugi put za samo tri meseca da OpenAI zaustavlja razvoj svojih modela. Prethodna pauza usledila je u julu, nakon otkrivanja sajber napada na AI kompaniju Hugging Face.
Generalni direktor OpenAI-a Sem Altman taj slučaj je opisao kao "najozbiljniji događaj koji smo do sada videli".
Najnoviji incidenti dodatno pojačavaju pitanje koliko autonomije treba dati AI agentima. Zakonodavci i tehnološki stručnjaci već vrše pritisak na AI kompanije da uspore razvoj dok ne uvedu pouzdanije zaštitne mehanizme koji bi sprečili agente da samostalno izlaze iz okvira zadatih instrukcija.