Istraživači su razvili novu metodu za poboljšanje tačnosti i transparentnosti automatizovanih sistema za detekciju anomalija koji se koriste u kritičnoj infrastrukturi.
Naučnici su razvili novu, višestepenu metodu kako bi osigurali da sistemi veštačke inteligencije (AI), koji su dizajnirani da identifikuju anomalije, prave manje grešaka i daju objašnjive i lako razumljive preporuke.
Nedavni napreci učinili su AI vrednim alatom koji pomaže ljudskim operaterima da otkriju i reše probleme koji utiču na kritičnu infrastrukturu, kao što su elektrane, gasovodi i brane. Međutim, uprkos značajnom potencijalu, modeli mogu generisati netačne ili nejasne rezultate — poznate kao „halucinacije.“
Halucinacije su česte u velikim jezičkim modelima (LLM) poput ChatGPT-a i Google Geminija. One proističu iz niskokvalitetnih ili pristrasnih podataka za obuku i korisničkih upita koji nemaju dodatni kontekst, navodi Google Cloud.
Neki algoritmi takođe isključuju ljude iz procesa donošenja odluka — korisnik unese upit, a veštačka inteligencija obavi ostatak posla, bez objašnjavanja kako je došla do predviđanja. Kada se ova tehnologija primenjuje na ozbiljna područja kao što je kritična infrastruktura, glavna briga je da bi nedostatak odgovornosti i poverenja AI mogao rezultirati time da ljudski operateri donesu pogrešne odluke.
Neki sistemi za detekciju anomalija su ranije bili ograničeni takozvanim AI algoritmima „crne kutije“. Ovi algoritmi su karakteristični po netransparentnim procesima donošenja odluka koji generišu preporuke koje su ljudima teško razumljive. To otežava operaterima u postrojenju da utvrde, na primer, logiku algoritma pri identifikaciji anomalije.
Višestepeni pristup
Da bi povećali pouzdanost AI i minimizirali probleme kao što su halucinacije, istraživači su predložili četiri mere, izlažući svoje predloge u radu objavljenom 1. jula na konferenciji CPSS ’24. U studiji su se fokusirali na AI korišćen za kritičnu nacionalnu infrastrukturu (CNI), poput postrojenja za prečišćavanje vode.
Prvo, naučnici su primenili dva sistema za detekciju anomalija, poznata kao Empirijska Kumulativna Distribucija za Otkrivanje Odstupanja (ECOD) i Deep Support Vector Data Description (DeepSVDD), kako bi identifikovali različite scenarije napada u skupovima podataka preuzetim iz Bezbednog Prečišćavanja Vode (SWaT). Ovaj sistem se koristi za istraživanje i obuku u vezi sa sistemima za prečišćavanje vode.
Istraživači su izjavili da su oba sistema imala kratko vreme obuke, omogućavala brzu detekciju anomalija i bila efikasna — što im je omogućilo otkrivanje različitih scenarija napada. Međutim, kako je naveo Radžvardhan Ouk, primenjeni naučnik u kompaniji Majkrosoft i istraživač iz oblasti računarskih nauka na Univerzitetu Kalifornije u Dejvisu, ECOD je imao „nešto veći skor povraćaja i F1 skor“ od DeepSVDD. On je objasnio da F1 skorovi uzimaju u obzir preciznost podataka o anomalijama i broj identifikovanih anomalija, omogućavajući korisnicima da odrede „optimalnu tačku rada.“
Drugo, istraživači su kombinovali ove detektore anomalija sa objašnjivom veštačkom inteligencijom (eXplainable AI – XAI) — alatima koji pomažu ljudima da bolje razumeju i procene rezultate koje generišu AI sistemi — kako bi ih učinili pouzdanijim i transparentnijim.
Otkrili su da modeli XAI, kao što su aditivna objašnjenja Šaplija (SHAP), koji korisnicima omogućavaju da razumeju ulogu različitih karakteristika modela mašinskog učenja u donošenju predviđanja, mogu pružiti veoma tačne uvide u preporuke zasnovane na veštačkoj inteligenciji i poboljšati ljudsko donošenje odluka.
Treći deo metodologije odnosio se na ljudski nadzor i odgovornost. Istraživači su naveli da ljudi mogu da preispituju validnost AI algoritama kada im se pruže jasna objašnjenja preporuka zasnovanih na veštačkoj inteligenciji. Takođe, mogu koristiti ova objašnjenja za donošenje informisanijih odluka u vezi sa kritičnom nacionalnom infrastrukturom (CNI).
Poslednji deo metode je sistem ocenjivanja koji meri tačnost objašnjenja AI-a. Ove ocene daju ljudskim operaterima više poverenja u uvide zasnovane na veštačkoj inteligenciji koje čitaju. Sarad Venugopalan, koautor studije, rekao je da ovaj sistem ocenjivanja — koji je još uvek u razvoju — zavisi od „AI/ML modela, postavki aplikacije i tačnosti vrednosti unetih u algoritam za ocenjivanje.“
Poboljšanje transparentnosti AI-a
Govoreći za Live Science, Venugopalan je objasnio da metoda ima za cilj da omogući operaterima postrojenja da provere da li su preporuke AI-a tačne ili nisu.
„To se radi putem obaveštenja upućenih operateru, uključujući razloge zašto su poslana,“ rekao je. „Omogućava operateru da proveri tačnost koristeći informacije koje pruža AI, kao i resurse koji su im dostupni.“
Ohrabren istraživanjem i načinom na koji ono nudi rešenje za problem „crne kutije“ u AI-u, Rajvardhan Oak je rekao: „Sa objašnjenjima priloženim nalazima AI modela, lakše je stručnjacima da razumeju anomaliju, a višem rukovodstvu da sigurno donese ključne odluke. Na primer, znajući tačno zašto je određeni web saobraćaj anomalni, lakše je opravdati blokiranje ili kažnjavanje istog.“
Eerke Boiten, profesor kibernetičke sigurnosti na Univerzitetu De Montfort, takođe vidi prednosti korišćenja objašnjivih AI sistema za otkrivanje anomalija u kritičnoj nacionalnoj infrastrukturi. On je rekao da će to osigurati da ljudi uvek budu uključeni u donošenje ključnih odluka na osnovu AI preporuka. „Ovo istraživanje nije usmereno na smanjenje halucinacija, već na odgovorno korišćenje drugih AI pristupa koji ih ne uzrokuju,“ dodao je.
