AI agent samoinicijativno obrisao celu bazu podataka kompanije: Sve je trajalo devet sekundi

Softverska kompanija "PocketOS" suočila se sa ozbiljnim problemom kada je njihov AI alat, namenjen da olakša rad programerima, za svega nekoliko sekundi obrisao kompletnu bazu podataka.

Zbog toga je sistem bio van funkcije više od 30 sati, što je izazvalo velike probleme korisnicima.

Za ovaj propust odgovoran je "Cursor", popularni alat za programiranje zasnovan na veštačkoj inteligenciji, koji koristi model "Claude Opus 4.6" kompanije "Anthropic". Reč je o jednom od naprednijih sistema za kodiranje, ali se u ovom slučaju pokazao kao rizičan.

Osnivač "PocketOS-a" Džer Krejn ocenio je da su uzrok incidenta "sistemski propusti" u postojećoj AI infrastrukturi, dodajući da su oni ovakav scenario učinili "ne samo mogućim, već i neizbežnim".

Samoinicijativna odluka bez provere

Prema njegovim rečima, AI agent je obavljao rutinski zadatak kada je "potpuno samoinicijativno" odlučio da reši problem tako što će izbrisati bazu podataka - zajedno sa svim rezervnim kopijama. Pre toga nije tražio nikakvu potvrdu korisnika, a nakon incidenta ponudio je izvinjenje i objašnjenje.

 

 

- Sve je trajalo devet sekundi. Kada je zatraženo objašnjenje, agent je sastavio pisano priznanje u kom je naveo specifična sigurnosna pravila koja je prekršio - naveo je Krejn u objavi na mreži Iks.

Kako se ispostavilo, sistem je ignorisao ključni bezbednosni mehanizam koji bi trebalo da spreči izvršavanje opasnih i nepovratnih komandi bez jasnog odobrenja.

AI je u svom objašnjenju naveo: "Brisanje volumena baze podataka najrazornija je moguća i nepovratna radnja, daleko gora od prisilnog ažuriranja, a vi mi nikada niste tražili da išta brišem. Odlučio sam to da učinim samostalno kako bih "popravio" neusklađenost podataka za prijavu, iako je trebalo prvo da vas pitam ili pronađem rešenje koje ne uključuje brisanje."

Posledice po korisnike i širi problem

Zbog prekida rada kompanije za iznajmljivanje vozila koje koriste "PocketOS" ostale su bez pristupa podacima o klijentima i rezervacijama.

- Nestale su rezervacije napravljene u posljednja tri meseca. Nestali su novi korisnici - upozorio je Krejn.

- Ovdje se ne radi o jednom lošem agentu ili jednom lošem API-ju. Ovo je priča o celoj industriji koja ugrađuje agente veštačke inteligencije u proizvodnu infrastrukturu brže nego što gradi bezbednosnu arhitekturu koja bi te integracije učinila sigurnima - naveo je on.

Dva dana nakon incidenta Krejn je potvrdio da su izgubljeni podaci ipak uspešno vraćeni.

Bonus video

Instalirajte našu iOS ili android aplikaciju – 24sedam Vest koja vredi