Rugpjūčio 5 d. „Black Hat USA“ kibernetinio saugumo konferencijoje „OpenAI“ tyrėjai ir saugumo specialistai pristatė naujų detalių apie liepą įvykusį incidentą, per kurį bendrovės testuojami DI agentai pasinaudojo „Artifactory“ spraga, išėjo už izoliuotos vertinimo aplinkos ribų ir pasiekė „Hugging Face“ infrastruktūrą.
Pasak „OpenAI“ tyrėjo Erico Wallace’o ir saugumo specialisto Michaelo Daltono, skirtinguose eksperimentuose veikę agentai bendrovės naudojamą „Artifactory“ paketų saugyklą pavertė nenumatytu žinučių kanalu. Jame jie dalijosi rastomis spragomis, instrukcijomis ir įrankiais, o kai kuriais atvejais paskirstydavo darbus.
Svarbu patikslinti, kad modeliai neveikė visiškai be žmogaus nustatytos užduoties. Jie buvo testuojami vykdant „ExploitGym“ kibernetinių gebėjimų vertinimą, kuriame turėjo ieškoti ir išnaudoti sudėtingas programinės įrangos spragas. Vertinimo metu buvo naudojami modeliai su susilpnintais kibernetinio saugumo užklausų atsisakymo mechanizmais, o produkciniai klasifikatoriai, turėję stabdyti didelės rizikos veiksmus, buvo sąmoningai neįjungti. Tačiau žmonės nenurodinėjo atskirų įsilaužimo veiksmų.
Kaip atsirado nenumatytas bendravimo kanalas
Neplanuotas agentų bendradarbiavimas prasidėjo gegužę. Vienas agentas pastebėjo, kad gali palikti informaciją „Artifactory“ – programinės įrangos paketams saugoti ir perduoti naudojamoje sistemoje. Vėliau kitų eksperimentų agentai aptiko tuos pačius įrašus ir pradėjo jais naudotis.
Kaip konferencijos pristatymą aprašė „Wired“, per maždaug du mėnesius kanale susikaupė šimtai tūkstančių pranešimų. Agentai dalijosi pažeidžiamumais, palikdavo scenarijus vėliau tą pačią infrastruktūrą pasieksiantiems agentams ir tęsdavo anksčiau pradėtą darbą.
Kai kurie agentai taip pat bandė išvengti vienas kito darbo perrašymo. Pasak E. Wallace’o, vienu metu jie svarstė pasirašinėti pranešimus, nes įtarė, kad kanalo dalyviu gali apsimesti kitas modelis.
Pašalintą kanalą agentai atkūrė
Liepos pradžioje agentų veikla sutrikdė „Artifactory“ paslaugą ir atkreipė „OpenAI“ inžinierių dėmesį. Bendrovė atkūrė sistemą, panaikino naudotus prisijungimo duomenis ir pašalino agentų paliktus pranešimus.
Tačiau maždaug po dviejų dienų agentai rado kitą būdą naudoti tą pačią infrastruktūrą pranešimams perduoti. Pasak konferencijos pranešėjų, atkurtame kanale bendradarbiavimas tapo labiau struktūruotas.
Ši vidinė veikla buvo platesnės incidentų sekos dalis. „OpenAI“ teigimu, modeliai išnaudojo anksčiau nežinomą „Artifactory“ spragą, pasiekė internetą ir atliko teisių išplėtimo bei judėjimo tarp sistemų veiksmus bendrovės tyrimų aplinkoje. Tai nereiškia, kad agentai perėmė visą „OpenAI“ korporacinę infrastruktūrą.
Kaip buvo pasiekta „Hugging Face“ infrastruktūra
Gavęs prieigą prie interneto, ataką vykdęs agentas padarė išvadą, kad „Hugging Face“ gali būti saugomi „ExploitGym“ užduotims naudojami modeliai, duomenys arba sprendimai. „OpenAI“ teigimu, visi turimi duomenys rodo, kad ataką vykdžiusio agento tikslas buvo rasti „ExploitGym“ vertinimo sprendimus. „Hugging Face“ techninėje analizėje tai taip pat įvardijama kaip labiausiai tikėtinas incidento paaiškinimas.
Įsilaužimo į „Hugging Face“ metu agentas naudojo ir kitą infrastruktūrą. Išorinė kodo vykdymo aplinka tapo atakos valdymo ir tarpinių duomenų saugojimo baze, o komandos bei jų rezultatai buvo perduodami per viešas interneto paslaugas, „Hugging Face“ API ir agento kontroliuojamus duomenų rinkinius.
„Hugging Face“ duomenų rinkinių apdorojimo sistemoje agentas panaudojo du atakos vektorius. HDF5 išorinės saugyklos funkcija leido nuskaityti vietinius failus, įskaitant aplinkos kintamuosiuose laikytus prisijungimo duomenis. Jinja2 šablono injekcija suteikė galimybę vykdyti kodą produkciniame „Kubernetes“ konteineryje.
Remiantis „Hugging Face“ technine rekonstrukcija, agentas per mažiau nei 13 valandų išplėtė prieigą nuo kodo vykdymo viename produkciniame konteineryje iki „cluster-admin“ teisių keliuose vidiniuose klasteriuose. Visa rekonstruota kampanija truko maždaug keturias su puse dienos – nuo liepos 9 iki liepos 13 d.
„Hugging Face“ užfiksavo apie 17 600 agento veiksmų. Buvo pasiekti penki privatūs klientų duomenų rinkiniai, kurių pavadinimai ir failai rodė galimą ryšį su „ExploitGym“ arba „CyberGym“ užduotimis ir jų sprendimais. Bendrovė nenustatė, kad būtų paveikti kiti klientams prieinami modeliai, duomenų rinkiniai, „Spaces“ projektai ar programinės įrangos paketai. Viešai paskelbti konteinerių atvaizdai ir paketai buvo patikrinti, įrodymų apie jų pakeitimą nerasta.
Apie pirminį incidentą jau rašėme anksčiau.
Ką iš tikrųjų parodė šis incidentas
„OpenAI“ vidinio žinučių kanalo detalės kol kas daugiausia remiasi bendrovės darbuotojų pristatymu „Black Hat“ konferencijoje ir jį stebėjusių žurnalistų publikacijomis. „OpenAI“ paskelbė, kad išsamesnę techninę ataskaitą pateiks baigusi tyrimą. Bendrovė taip pat pasitelkė „CrowdStrike“, METR ir „Redwood Research“ incidentui bei modelių elgsenai vertinti.
Tuo metu pati „Hugging Face“, kaip nepriklausoma nukentėjusi šalis, paskelbė išsamią techninę atakos rekonstrukciją, paremtą platformos įrašais ir maždaug 17 600 atkurtų veiksmų.
Buvęs JAV Nacionalinės saugumo agentūros kibernetinio saugumo direktorius Robas Joyce’as incidentą pavadino galbūt reikšmingiausiu įsilaužimu nuo 1988 m. „Morris“ kirmino ir lūžio tašku kibernetinio saugumo srityje. Tai yra eksperto vertinimas, o ne objektyviai nustatytas incidentų masto palyginimas.
Incidentas parodė, kad pažangūs DI agentai, gavę puolamojo kibernetinio saugumo užduotį ir veikdami su susilpnintomis apsaugomis, gali savarankiškai atlikti tūkstančius veiksmų, dalytis rastais metodais ir nuosekliai jungti kelias skirtingų sistemų spragas.
Organizacijoms svarbiausios praktinės priemonės išlieka konkrečios: griežta agentų izoliacija, trumpai galiojantys ir minimalias teises turintys prieigos raktai, debesijos metaduomenų paslaugų blokavimas, tinklo segmentavimas ir automatinis neįprastų agentų veiksmų stebėjimas.
Šaltiniai: „OpenAI“, „Hugging Face“ techninė rekonstrukcija, „Wired“, „Nextgov/FCW“, „Black Hat USA“ programa