Stručnjaci upozoravaju na novi rizik: Hakeri menjaju pamćenje veštačke inteligencije

Veštačka inteligencija sve više koristi dugoročnu memoriju kako bi korisnicima pružila personalizovanije iskustvo. Zahvaljujući toj mogućnosti, AI asistenti mogu da pamte navike, preferencije i ranije razgovore, što komunikaciju čini prirodnijom i efikasnijom.

Ipak, stručnjaci upozoravaju da upravo ova prednost može postati ozbiljan bezbednosni problem. Novo istraživanje naučnika sa Univerziteta u Novom Meksiku pokazalo je da napadači potencijalno mogu da manipulišu memorijom AI sistema, ubacujući u nju lažne informacije koje kasnije mogu uticati na ponašanje asistenta i njegove odluke.

Davide Bonaldo/SOPA Images / Shutterstock Editorial / Profimedia

Novi tip napada usmeren na memoriju AI sistema

Istraživački tim predstavio je tehniku nazvanu "GhostWriter", koja ne pokušava da ukrade podatke ili preuzme kontrolu nad modelom na uobičajen način. Umesto toga, cilj napada je dugoročna memorija AI asistenta.

Prema navodima istraživača, napadači mogu da ubace zlonamerne ili netačne informacije putem skrivenih upita ili sadržaja iz nepouzdanih izvora. Takvi podaci zatim ostaju sačuvani u memoriji sistema i mogu biti iskorišćeni mnogo kasnije.

Ovakav pristup razlikuje se od poznatih napada koji utiču samo na jedan razgovor ili jednu sesiju. U ovom slučaju problem ostaje prisutan i nakon završetka početne interakcije, jer se lažni podaci čuvaju u memoriji i mogu ponovo da se aktiviraju.

Kako "otrovana" memorija može da utiče na odluke

Najveća opasnost krije se u činjenici da AI kasnije može da koristi kompromitovane informacije kao da su tačne. Kada sistem povuče takvo sećanje iz memorije, ono postaje deo odgovora ili odluke koju donosi.

U teoriji, to bi moglo da dovede do ozbiljnih posledica. Na primer, asistent bi mogao da koristi pogrešne kontakt podatke, netačne rokove ili izmišljene informacije koje su prethodno ubačene u njegovu memoriju.

Istraživači upozoravaju da bi u određenim situacijama takva manipulacija mogla da utiče i na obradu osetljivih podataka, posebno ako AI sistemi budu imali sve veću ulogu u poslovnim procesima i automatizovanim zadacima.

Dzmitry Kliapitski / Alamy / Profimedia

Rezultati istraživanja zabrinuli stručnjake

Tokom testiranja na savremenim AI agentima, istraživači su zabeležili veoma visoku uspešnost ubacivanja lažnih memorijskih zapisa. Prema objavljenim rezultatima, "GhostWriter" je uspeo da "upamti" zlonamerne informacije u oko 98 odsto pokušaja.

Dodatni razlog za zabrinutost predstavlja podatak da su takve informacije kasnije aktivirane u približno 60 procenata slučajeva. To znači da je sistem često koristio kompromitovane podatke prilikom odgovaranja na legitimne korisničke zahteve.

Kako bi se smanjio rizik od ovakvih napada, autori istraživanja predložili su novi zaštitni okvir pod nazivom AM-Sentry. Njegov cilj je stroža kontrola podataka koji ulaze u dugoročnu memoriju AI sistema i bolje razlikovanje pouzdanih informacija od potencijalno manipulativnog sadržaja.

BONUS VIDEO:

Instalirajte našu iOS ili android aplikaciju – 24sedam Vest koja vredi