Dramatičan rast blokiranja pokazuje da mnogi portali AI botove više ne vide kao korisne alate
Internet se ubrzano zatvara pred naletom veštačke inteligencije. Sve više sajtova više ne želi da AI botovi preuzimaju njihov sadržaj, a poslednjih nedelja beleži se najveći talas blokiranja do sada.
Prema analizi firme BuiltWith, broj sajtova koji su u svoj robots.txt dodali GPTBot u "blok" listu skočio je sa oko 3,3 miliona početkom jula na oko 5,6 miliona. To je rast od gotovo 70 odsto u izuzetno kratkom periodu.
I ostali poznati AI crawler-i suočavaju se sa sličnim talasom odbijanja. ClaudeBot, zajedno sa Claude-SearchBot-om, kao i AppleBot, sada su blokirani na oko 5,8 miliona sajtova. Ranije je to bila znatno manja brojka, piše The Register.
Najzanimljiviji podatak tiče se Google-a. Čak i GoogleBot, koji služi za indeksiranje stranica i normalno rangiranje sajtova na pretrazi, sve češće nailazi na zabranu pristupa. BuiltWith navodi da oko 18 miliona sajtova sada aktivno blokira i njega, što znači da ti sajtovi mogu potpuno nestati iz rezultata pretrage.
Stručnjaci iz industrije tvrde da dramatičan rast blokiranja pokazuje kako izdavači AI botove više ne vide kao korisne alate. Umesto toga, vide ih kao pretnju - bilo da žele da zaštite autorska prava, zadrže originalni sadržaj pod kontrolom ili spreče preopterećenje servera.
Ipak, postoji ozbiljan problem: mnogi AI crawler-i potpuno ignorišu pravila iz robots.txt fajlova. To znači da nastavljaju da skidaju sadržaj čak i na sajtovima koji su ih izričito zabranili.
Zbog toga masovno prikupljanje podataka za treniranje veštačke inteligencije postaje sve veći izazov. A prema mišljenju eksperata, ovo je tek početak borbe za kontrolu digitalnog sadržaja na internetu.
Izvor: B92