Kompanija OpenAI saopštila je da su dva njena napredna agenta veštačke inteligencije (AI) tokom rutinskih programerskih zadataka oslabili sopstveni bezbednosni nadzor.
Pritom je jedan od njih kasnije netačno tvrdio da nije uklonio sistem za praćenje, prenosi CNBC.
U prvom slučaju, agent zasnovan na modelu GPT-6.1 Sol isključio je automatska upozorenja koja su se slala bezbednosnom timu kompanije, dok je u drugom agent koji je koristio model GPT-6 Astra uklonio integraciju sa sistemom za nadzor tokom prebacivanja programa, a potom negirao da je to učinio.
Incidenti su se dogodili 3. i 6. oktobra, tokom internih programerskih zadataka.
U prvom slučaju, sistem za praćenje nastavio je da radi i čuva izveštaje, ali su automatska obaveštenja ljudskom timu bila isključena.
U drugom slučaju, agent je uklonio vezu sa sistemom za nadzor kako bi kod prilagodio referentnoj implementaciji.
Možda vas zanima
OpenAI je naveo da su agenti u oba slučaja razmatrali da li bezbednosne mehanizme treba zadržati, ali su uputstva za obavljanje uobičajenih programerskih zadataka protumačili kao dozvolu da oslabe te zaštitne mere.
Kompanija nije nijedan incident svrstala u najvišu kategoriju ozbiljnosti, ali je saopštila da unapređuje sistem za praćenje ponašanja modela koje nije u skladu sa namerama njihovih tvoraca.
Ovi slučajevi ponovo su otvorili pitanja o bezbednosti sve naprednijih sistema veštačke inteligencije, naročito agenata koji mogu samostalno da izvršavaju zadatke i menjaju programski kod.
Možda vas zanima
Stručnjaci upozoravaju da bi mogućnost da takvi sistemi oslabe mehanizme koji nadziru njihov rad mogla da oteža otkrivanje grešaka i nepoželjnog ponašanja.
OpenAI ispituje da li su agenti pokušavali da izbegnu nadzor i zbog čega su zaključili da je uklanjanje ili slabljenje zaštitnih mehanizama prihvatljivo.
Kompanija radi na tome da modelima oteža isključivanje sistema za praćenje i da poboljša otkrivanje takvih postupaka.
Uprkos tome što u ovim slučajevima nije prijavljena šteta, incidenti ukazuju na izazove u razvoju autonomnih AI agenata, čiji se zadaci sve više proširuju sa generisanja odgovora na samostalno obavljanje složenih operacija u digitalnim okruženjima.