Veštačka inteligencija raste neverovatnom brzinom. Skoro svakog meseca čujemo vesti o novim, još moćnijim modelima koji sadrže stotine milijardi, pa i bilione parametara. Ipak, iza ovog fascinantnog tehnološkog napretka krije se mračna tajna o kojoj se tek sada glasno govori – ogromna i neodrživa potrošnja električne energije.
Ako nastavimo da razvijamo tehnologiju na dosadašnji način, globalni data centri će ubrzo trošiti više struje nego čitave države. Međutim, rešenje za ovaj problem već postoji. Odgovor leži u radikalnoj promeni same arhitekture algoritama, a ta revolucionarna metoda se naziva sparse computing (retko računarstvo).
Problem sa gustim neuronskim mrežama i rasipanjem energije
Da bismo razumeli rešenje, moramo prvo definisati sam problem. Svi popularni jezički i vizuelni modeli koje danas svakodnevno koristimo oslanjaju se na takozvane „guste“ (dense) neuronske mreže. U ovakvom sistemu, kada kompjuteru postavite najjednostavnije pitanje, on aktivira svaki pojedinačni parametar i obavlja milijarde matematičkih operacija u pozadini, bez obzira na to da li su one neophodne za vaš odgovor.
Zamislite da želite da pronađete jednu specifičnu knjigu u ogromnoj biblioteci. Umesto da odete direktno do prave police, vi palite svetla u celoj zgradi, ulazite u svaku prostoriju i otvarate svaku knjigu od prvog sprata do krova. Upravo tako rade današnji napredni modeli. Ovaj proces je neverovatno neefikasan jer zahteva ekstremno jake GPU (grafičke) procesore, masivne industrijske sisteme za hlađenje i zastrašujuće količine struje.
Šta je zapravo sparse computing
Za razliku od gustog računarstva, sparse computing funkcioniše po principu selektivne, pametne aktivacije. Ovaj pristup direktno oponaša način na koji radi ljudski mozak. Iako naš mozak sadrži milijarde neurona, on nikada ne aktivira svih sto procenata kapaciteta istovremeno za rešavanje jednog, specifičnog zadatka.
Kada algoritam koristi tehnologiju retkog računarstva, on matematički prepoznaje koji parametri u mreži imaju vrednost nula ili su potpuno irelevantni za vaš konkretan upit, te ih automatski preskače. Sistem budi samo onaj mali, specijalizovani deo neuronske mreže koji je zaista potreban da bi se izgenerisao tačan odgovor. Vraćajući se na našu metaforu – palite samo baterijsku lampu i to isključivo u onom delu biblioteke gde se nalazi knjiga koju tražite.
Kako ova tehnologija donosi uštedu od 70 puta
Prelazak sa punog, gustog opterećenja na retko računanje donosi drastične rezove u procesorskom radu. Istraživanja i rani testovi pokazuju da se odbacivanjem nepotrebnih pozadinskih kalkulacija energetska efikasnost može povećati do neverovatnih 70 puta.
Ova softverska optimizacija (koja se oslanja i na koncepte kao što je Mixture of Experts) ima nekoliko ključnih prednosti:
-
Drastično smanjenje karbonskog otiska: Za rešavanje istog kompleksnog zadatka troši se samo fragment originalne električne energije.
-
Veća brzina i manja latencija: Procesor ne gubi vreme na računanje nepotrebnih informacija, pa sistem odgovara korisniku neuporedivo brže.
-
Hladniji serveri: Uklanjanje viška matematičkih operacija znači manje zagrevanje opreme, što direktno smanjuje potrebu za gigantskim sistemima vodenog i vazdušnog hlađenja.
Kraj dominacije skupih procesora i demokratizacija tehnologije
Možda i najvažnija poslovna posledica ove revolucije jeste oslobađanje industrije od zavisnosti od specijalizovanog hardvera. Zbog načina na koji trenutno funkcionišu guste mreže, savremeni razvoj je praktično zarobljen na preskupim čipovima koje proizvodi kompanija Nvidia. Takvi hardverski resursi su teški za nabavku i finansijski nedostižni za većinu malih i srednjih preduzeća.
Sa druge strane, sparse computing omogućava da se najveći i najpametniji modeli pokreću izuzetno efikasno na standardnim, znatno jeftinijim CPU (centralnim) procesorima. To u praksi znači da će obične kompanije uskoro moći da pokreću napredne sisteme lokalno, na svojoj opremi, bez plaćanja milionskih pretplata za superkompjutere u klaudu. Tehnologija će konačno biti demokratizovana.
Budućnost održive veštačke inteligencije
Potpuno je jasno da veštačka inteligencija neće usporiti svoj inovativni hod, ali njen dalji razvoj ne sme da uništi energetsku mrežu planete. Preusmeravanjem fokusa sa grube sirove hardverske snage na pametniju, elegantniju softversku arhitekturu, sparse computing garantuje da nećemo morati da biramo između tehnološkog napretka i očuvanja okoline.
Ovaj koncept nas podseća na jednu od najvažnijih lekcija iz sveta inženjerstva – istinski napredak ne znači uvek raditi jače, već raditi pametnije.
