Googleov Gemini tijekom testiranja samostalno hakirao tri kompanije

Googleov model umjetne inteligencije Gemini tijekom sigurnosnog testiranja pristupio je internetu i samostalno ušao u zaštićene sustave triju kompanija. Riječ je o prvom javno poznatom slučaju u kojem je Googleov AI sustav autonomno izveo takvu aktivnost.

Incident se dogodio u svibnju, tijekom testiranja kibernetičkih sposobnosti koje je provela neovisna evaluacijska tvrtka Irregular.

Prema riječima Heather Adkins, potpredsjednice Googlea za sigurnosno inženjerstvo, Gemini je na internetu pronašao javno dostupne informacije i pokušao pogoditi pristupne podatke kako bi ušao na tri internetske stranice za koje je procijenio da su dio testiranja.

„Osigurali smo da sve tri pogođene strane budu obaviještene i radili smo s našim partnerom na izmjenama procesa testiranja. Ovi događaji naglašavaju važnost obuke moćnih AI modela kako bi djelovali odgovorno“, izjavila je Adkins.

Dodala je da je Gemini u sva tri slučaja sam prekinuo pokušaj hakiranja.

Gemini pogađao lozinke i koristio javno dostupne vjerodajnice

Kako je objavio Wall Street Journal, koji je prvi izvijestio o incidentu, Gemini je u jednom slučaju pogađao lozinke sve dok nije dobio pristup zaštićenom sustavu.

U druga dva slučaja model je pronašao vjerodajnice u javno dostupnom repozitoriju, a zatim ih iskoristio za ulazak u zaštićene sustave.

Glasnogovornik tvrtke Irregular potvrdio je da se isti problem pojavio i tijekom testiranja drugih AI laboratorija. Sve relevantne kompanije, prema njegovim riječima, obaviještene su krajem srpnja.

Iz Irregulara su priopćili da su svi uočeni propusti otklonjeni prije nekoliko tjedana.

Slični incidenti zabilježeni kod Mete, Anthropica i OpenAI-ja

Slične incidente povezane s Irregularovim testiranjima ranije su objavili i Meta, Anthropic te OpenAI.

Iz Mete su u kolovozu naglasili da njihov incident nije uključivao bijeg iz izoliranog okruženja, poznat kao „sandbox escape“, niti sofisticirani kibernetički napad.

Irregular u međuvremenu radi na definiranju najboljih praksi za sigurno provođenje sigurnosnih procjena AI sustava.

Najnoviji događaji otvorili su ozbiljna pitanja o zaštitnim mehanizmima potrebnima u trenutku kada AI agenti dobivaju sve veću autonomiju, kao i izravan pristup internetu i računalnim sustavima.