Kineski AI modeli „probijeni“: Davali uputstva o biološkom oružju i atentatima

Kineska kompanija za razvoj veštačke inteligencije "Moonshot" pokrenula je internu reviziju nakon što su istraživači uspeli da zaobiđu zaštitne mehanizme dva njena modela Kimi i dobiju odgovore o razvoju biološkog oružja i atentatima, objavio je BBC.

Kompanija "Mindgard", koja testira bezbednost sistema veštačke inteligencije (AI), saopštila je da je u julu otkrila da modeli Kimi K2.6 i K3 Swarm mogu da zaobiđu bezbednosna ograničenja pomoću tehnike poznate kao "džejlbrejking".

Ta tehnika podrazumeva korišćenje složenih instrukcija kojima se model pokušava navesti da ignoriše zaštitne mehanizme koje su postavili njegovi programeri.

Osnivač "Mindgarda" Piter Garagan rekao je za BBC da su nalazi zabrinjavajući jer, kada "džejlbrejk" uspe, modeli mogu da odgovaraju na teme o kojima bi inače odbili da razgovaraju. "Mindgard" nije utvrdio da li bi odgovori koje su modeli dali o opasnim temama bili praktično primenljivi, ali navodi da je njihova zaštita trebalo da spreči takve razgovore.

Kompanija je, takođe, saopštila da bi uspešno zaobilaženje zaštite modela Kimi K2.6 potencijalno moglo da omogući izvršavanje koda na računarskim resursima i povezivanje sa internetom, što bi predstavljalo potencijalni rizik za sajber napade.

"Moonshot" je za BBC rekao da pozdravlja doprinos nezavisnih istraživača kao važan deo razvoja bezbednije veštačke inteligencije i da razgovara sa "Mindgardom" o njegovim nalazima.

Profesor Alan Vudvord sa Univerziteta u Sariju rekao je da takvi modeli nose rizik da dospeju u pogrešne ruke, ali da mogu da imaju i korisnu primenu u sajber odbrani.

On je ocenio da će međunarodna regulativa teško pratiti brzinu razvoja veštačke inteligencije i pozvao je na veći fokus na identifikaciju i krivično gonjenje ljudi koji zloupotrebljavaju AI sisteme.

Bonus video

Instalirajte našu iOS ili android aplikaciju – 24sedam Vest koja vredi