Porušenie umelá inteligencia ako nástroj kybernetickej bezpečnosti Mozilla práve urobila významný krok vpred spoluprácou medzi Mozillou a Anthropic na Firefoxe. Len za pár týždňov dokázal model umelej inteligencie nájsť v open-source prehliadači Mozilly množstvo zraniteľností, ktoré by za normálnych okolností vyžadovali mesiace špecializovanej ľudskej práce.
Tento experiment, ktorý mal priamy vplyv na Používatelia Firefoxu v Španielsku a zvyšku EurópySlúžil na meranie toho, ako ďaleko môžu dnes jazykové modely zájsť, pokiaľ ide o audit reálneho kódu, a akú úlohu môžu zohrávať pri ochrane softvéru, ktorý denne používajú stovky miliónov ľudí.
Keď sa umelá inteligencia stane najlepším bezpečnostným audítorom
V softvérovej bezpečnosti je kľúčové nájsť zraniteľnosť skôr, ako ju útočníci urobia: môže to znamenať rozdiel medzi chrániť milióny používateľov alebo odhaliť ich údajeV tejto súvislosti Mozilla testovala nezvyčajný prístup: nechala pokročilú umelú inteligenciu skontrolovať zdrojový kód svojho prehliadača a nájsť zraniteľnosti skôr, ako to urobia výskumníci alebo kyberzločinci.
Niekoľko týždňov pred spustením Firefox 148Bezpečnostný tím prehliadača dostal prekvapujúcu správu: Červený tím Antropickej hranice —interná ofenzívna výskumná skupina spoločnosti — tvrdila, že s pomocou svojho Claudeovho modelu zistila, viac ako tucet overiteľných bezpečnostných chýb v JavaScriptovom engine Firefoxu. Neboli to len podozrenia, ale chyby podložené konkrétnymi dôkazmi.
Od iných pokusov o využitie umelej inteligencie v tejto oblasti sa odlišovala kvalitou reportovania. Každá zraniteľnosť bola podložená... minimálne reprodukovateľné testovacie prípadyIšlo o malé úryvky kódu, ktoré dokázali deterministicky spustiť zraniteľnosť. To umožnilo inžinierom Mozilly v priebehu niekoľkých hodín overiť, či problém skutočne existuje, a začať pracovať na záplatách bez toho, aby strácali čas reprodukovaním nejednoznačných scenárov.
V ekosystéme, kde mnohé upozornenia generované automatizovanými nástrojmi končia v koši, pretože sú falošne pozitívne alebo nepresné hláseniaAnthropicov prístup drasticky znížil šum a poskytol užitočný signál: menší objem, ale overené a akčné zistenia.
Čo je Anthropicov Frontier Red Team a ako spolupracuje s Claudom?
Hovor Červený tím Frontier Je to jednotka spoločnosti Anthropic, ktorá sa venuje skúmaniu limitov jej modelov umelej inteligencie v ofenzívnej a obrannej bezpečnosti. Jej cieľom nie je len posúdiť interné riziká v rámci modelov, ale aj skúmať... Ako sa dá umelá inteligencia použiť na nájdenie zraniteľností v skutočnom softvéri? skôr, ako to urobia zlomyseľní aktéri.
V posledných mesiacoch tento tím ukázal, že modely ako Claude Opus 4.6 môže bežať viacstupňové útoky na komplexné siete v kontrolovaných prostrediachTo dáva predstavu o ich analytických schopnostiach. Tá istá sila bola koordinovaným a zodpovedným spôsobom presmerovaná na kontrolu open-source projektov, ako je Firefox, v rámci zodpovedných procesov zverejňovania zraniteľností.
V konkrétnom prípade prehliadača Mozilla začala spoločnosť Anthropic testovacím cvičením: pomocou Clauda reprodukovať historické zraniteľnosti Firefoxu (CVE)Overili sme, či model dokáže rozpoznať chybové vzory, ktoré už boli zdokumentované v starších verziách kódu. Výsledok bol pozitívny, aj keď s jednou jasnou výhradou: niektoré z týchto informácií by sa mohli nachádzať v trénovacích dátach modelu.
Aby zašiel ešte ďalej, Frontier Red Team prešiel k zaujímavejšej časti: požiadal umelú inteligenciu, aby lokalizovala nové zraniteľnosti v aktuálnej verzii FirefoxuTeda chyby, ktoré ešte neboli uvedené v žiadnej verejnej databáze ani v interných sledovacích systémoch Mozilly.
Ako boli objavené zraniteľnosti v JavaScriptovom engine prehliadača Firefox
Východiskovým bodom bol JavaScriptový engine prehliadača, kľúčový komponent, pretože je zodpovedný za spúšťať nedôveryhodný externý kód z webových stránokAkákoľvek chyba v tejto vrstve sa môže v najhoršom prípade stať bránou k útoku na systém používateľa.
Ako vysvetlili Anthropic a Mozilla, Claude objavil svoju prvú kritickú zraniteľnosť asi o dvadsať minút. od začiatku analýzy. Bolo to zlyhanie typu použitie-po-zadarmo, kategória zraniteľnosti pamäte, ktorá môže útočníkovi umožniť prepísať dáta ľubovoľným obsahom, ak je spojená s inými systémovými slabinami.
Zatiaľ čo inžinieri spoločnosti Anthropic overovali toto počiatočné upozornenie vo virtuálnom stroji s najnovšou verziou prehliadača, umelá inteligencia pokračovala v práci paralelne. Počas tohto obdobia model už zaznamenal približne 50 ďalších vstupov s anomálnym správaním, mnohé z nich sa neskôr zmenili na testovacie prípady, ktoré boli odoslané do Mozilly.
Proces sa neobmedzoval len na JavaScriptový engine. Počas približne dvoch týždňov Claude analyzoval takmer 6 000 súborov C++ a tisíce ďalších projektových súborovgenerovanie 112 unikátnych hlásení. Z tejto sady boli po triedení bezpečnostným tímom Mozilly potvrdené nasledujúce 22 zraniteľností registrovaných ako CVE, Z ktorých 14 bolo klasifikovaných ako vysoko závažných, okrem takmer 90 ďalších zlyhaní, ktoré sa považujú za chyby s menším dopadom alebo len za logické chyby.
Všetky identifikované bezpečnostné problémy boli opravené vo vývojovom cykle Firefoxu 148.Táto verzia je teraz dostupná pre používateľov v Európe a zvyšku sveta. Opravené boli aj chyby s nižšou prioritou, hoci niektoré úpravy boli vyhradené pre neskoršie verzie, aby sa predišlo zavedeniu príliš veľkého množstva zmien v jednom vydaní.
Zistených viac ako 100 chýb a menej falošne pozitívnych výsledkov ako iné umelé inteligencie
Počas tejto spolupráce Claudeova analýza priniesla Viac ako 100 rôznych chýb vo FirefoxeHoci sa nie všetky z nich ukázali ako zneužiteľné zraniteľnosti, objem ilustruje, že aj zrelé a auditované projekty, ako napríklad prehliadač Mozilla, môžu stále skrývať značné množstvo chýb.
Pre predstavu o dopade bezpečnostný tím Mozilly vysvetlil, že len za tieto dva týždne testovania bola umelá inteligencia schopná Identifikujte počet závažných chýb, ktoré zodpovedajú približne 20 % všetkých kritických zraniteľností opravených v prehliadači v priebehu roka.Inými slovami, audit s pomocou umelej inteligencie sa sústredil na niekoľko dní, čo je úloha, ktorá je zvyčajne rozložená na mnoho mesiacov.
Kľúčovým aspektom bola miera falošne pozitívnych výsledkov. Mnohé projekty s otvoreným zdrojovým kódom, vrátane tých v Európe, v posledných rokoch zaznamenali falošne pozitívne výsledky. vlny správ generovaných nekvalitnými nástrojmi umelej inteligencieTieto hlásenia často posielajú používatelia, ktorí hľadajú odmenu prostredníctvom programov odmien za chyby. Správcov zahlcujú neexistujúcimi alebo zle popísanými problémami.
Mozilla, vedomá si tejto situácie, bola spočiatku voči spolupráci opatrná. Prístup tímu Frontier Red sa však ukázal byť odlišný: Na preskúmanie boli predložené iba tie rozhodnutia, ku ktorým boli priložené presvedčivé dôkazy., s jasnými automatickými reprodukciami a v niektorých prípadoch aj s návrhmi kandidátskych záplat vygenerovanými samotnou umelou inteligenciou a skontrolovanými ľuďmi.
Inžinieri Mozilly zdôraznili tri prvky, ktoré považujú za nevyhnutné pre dôveryhodnosť správ založených na umelej inteligencii: minimálne testovacie prípady, podrobné overenia konceptu a navrhované záplatyTáto kombinácia drasticky skracuje čas potrebný na potvrdenie, či si zistenie zaslúži okamžitú pozornosť alebo či sa môže odložiť.
Dokáže umelá inteligencia zneužiť zraniteľnosti, ktoré objaví?
Jedným z najchúlostivejších bodov experimentu bolo zistiť, či je Claude schopný nielen nájsť zraniteľné miestaale aj ich premeniť na funkčné zneužitiaTeda pri útokoch schopných vykonávať škodlivé akcie na cieľovom systéme.
Spoločnosť Anthropic sa rozhodla zmerať túto schopnosť v kontrolovanom prostredí. Tím poskytol modelu informácie o zraniteľnostiach, ktoré už boli nahlásené spoločnosti Mozilla, a požiadal ho o vygenerovanie exploitového kódu s cieľom... čítať a zapisovať lokálny súbor v testovacom stroji, čo by v reálnom scenári znamenalo vážne narušenie systému.
Na dosiahnutie tohto cieľa bolo vykonaných niekoľko stoviek samostatných popráv a investovalo sa približne [chýbajúca suma]. 4 000 USD v kreditoch APIVýsledok bol nejednoznačný: Claudeovi sa podarilo vytvoriť iba Dva jednoduché triky, ktoré by fungovaliA to len v prostredí, kde bolo niekoľko ochranných prvkov prítomných v moderných prehliadačoch, ako napríklad sandbox a iné ochranné prvky, zámerne vypnutých.
Mozilla zdôrazňuje, že v reálnych podmienkach je kompromitácia Firefoxu zvyčajne potrebná reťazenie viacerých zraniteľností a obchádzanie viacerých vrstiev obranyNájdenie jedinej zraniteľnosti, aj keď je veľmi závažná, len zriedka stačí na prevzatie kontroly nad systémom používateľa, čo v súčasnosti obmedzuje priamy útočný potenciál týchto nástrojov.
Napriek tomu Anthropic považuje za významné, že jazykový model je schopný, aj keď len v niekoľkých prípadoch a za obmedzených podmienok, automaticky generovať exploit pre moderný prehliadačSpoločnosť varuje, že táto medzera – rozdiel medzi detekciou a zneužitím – by sa mohla zmenšiť s neustálym zlepšovaním modelov a metód hodnotenia.
Mozilla integruje umelú inteligenciu do svojich bezpečnostných protokolov
Po úspešnej spolupráci, Mozilla potvrdila, že integruje analýzu s pomocou umelej inteligencie do svojho bežného bezpečnostného pracovného postupu. pre Firefox. Tímy nadácie už začali interne experimentovať s Claudeom na účely triedenia chýb, kontroly záplat a detekcie vzorcov zraniteľností v kritických oblastiach kódu.
Organizácia so silným zastúpením používateľov a vývojárov v Európe vníma túto technológiu ako spôsob, ako posilniť ochranu súkromia a bezpečnostiToto sú piliere, ktoré tvoria súčasť identity projektu Firefox. Keďže ide o prehliadač s otvoreným zdrojovým kódom, jeho kódová základňa je k dispozícii na audit nezávislým výskumníkom aj automatizovaným agentom, ako je napríklad umelá inteligencia od spoločnosti Anthropic.
Pre Mozillu bude kľúčové udržiavanie rovnováha medzi automatizáciou a ľudskou kontrolouHoci modely umelej inteligencie môžu urýchliť detekciu chýb a navrhnúť opravy, nadácia trvá na tom, že akákoľvek záplata – či už od osoby alebo stroja – musí prejsť rovnakou úrovňou technickej kontroly predtým, ako bude integrovaná do prehliadača používaného občanmi Európy a zvyšku sveta.
Táto skúsenosť poskytla aj praktický návod pre iné softvérové projekty vrátane tých, ktoré boli vyvinuté v Španielsku alebo v rámci Európskej únie: ak majú byť správy založené na umelej inteligencii akceptované, je vhodné požadovať jasný dôkaz reprodukovateľnosti a vytvoriť špecifické kanály pre tento typ zverejňovania, čím sa zabráni preťaženiu tradičných systémov sledovania chýb.
Poučenie pre vývojárov a technologické spoločnosti v Európe
Okrem mediálneho šialenstva okolo Firefoxu prináša spolupráca medzi spoločnosťami Anthropic a Mozilla množstvo relevantných záverov pre... startupy, technologické malé a stredné podniky a veľké európske spoločnosti ktoré vyvíjajú vlastný softvér alebo digitálne služby.
Jedným z najjasnejších je, že Audit kódu s pomocou umelej inteligencie sa stal ekonomicky životaschopnýmTo, čo by predtým vyžadovalo tím špecialistov pracujúcich týždne, teraz môže mať počiatočnú automatizovanú kontrolu v priebehu niekoľkých hodín alebo dní, a to za oveľa nižšie náklady ako dôkladná manuálna kontrola.
Ďalším ponaučením je, že Rýchlosť detekcie začína prevyšovať schopnosť ľudskej korekcieNástroje ako Claude dokážu rýchlo nájsť desiatky potenciálnych zraniteľností, ale úzkym hrdlom sa stáva schopnosť interných tímov overiť, uprednostniť a opraviť tieto problémy bez toho, aby narušili iné časti systému.
Je tiež jasné, že Open source nie je synonymom pre zaručenú bezpečnosťPonúka však jednu významnú výhodu: transparentnosť. Projekty ako Firefox, veľmi populárne v Európe pre svoje zameranie na súkromie, umožňujú komunite aj automatizovaným agentom priebežne kontrolovať kód, čo je v uzavretých riešeniach nemožné.
Pre mnohé organizácie sa integrácia umelej inteligencie do vývojového procesu – napríklad začlenením automatizovanej analytiky do fáz CI/CD – môže stať rozlišovací faktor pri preukazovaní súladu s predpismiToto sa stáva čoraz relevantnejším s budúcim uplatňovaním európskych noriem v oblasti kybernetickej bezpečnosti a kritického softvéru.
Zároveň tento prípad slúži ako pripomienka, že aj útočníci majú prístup k podobným technológiám. Zdá sa, že aktuálna výhoda je na strane obrany.Umelá inteligencia je lepšia v hľadaní a pomoci s opravou nedostatkov, ako v ich zneužívaní, ale nikto nepovažuje za samozrejmosť, že táto výhoda vydrží mnoho rokov.
V tomto scenári manažéri bezpečnosti v európskych spoločnostiach – od bánk až po platformy elektronického obchodu alebo digitálne podniky – začínajú tieto nástroje vnímať nie ako experimentálny doplnok, ale ako ďalšia súčasť ich stratégie ochrany softvéru.
Debakly Firefoxu a Anthropicu demonštrujú, ako dobre riadený a kontrolovaný model umelej inteligencie môže fungovať ako špičkový bezpečnostný audítor: dokáže skontrolovať rozsiahle kódové bázy, odhaliť zložité chyby a veľmi rýchlo navrhnúť riešenia. Zároveň však jasne ukazuje, že konečné rozhodnutie stále zostáva na ľudských tímoch, ktoré sa musia rozhodnúť, čo opraviť, ako a s akými prioritami v prostredí, kde sa tempo vývoja softvéru a hrozieb neustále zrýchľuje.
