U dosadašnjoj istoriji razvoja veštačke inteligencije, pažnja javnosti i investitora bila je gotovo isključivo usmerena na procesore. Svaka nova generacija grafičkih čipova (GPU) i specijalizovanih akceleratora dočekivana je kao tehnološki trijumf, dok su se kompanije poput NVIDIA i AMD nadmetale u stotinama i hiljadama teraflopsa sirove računske snage.
Međutim, kako ulazimo u novu fazu u kojoj trilioni parametara pokreću autonomne agente i kompleksne modele, industrija se suočava sa tihom, ali razarajućom krizom na hardverskom nivou. Taj problem je poznat kao memorijski zid (memory wall).
Možete imati najbrži procesor na svetu, ali ako on mora da čeka sekunde da primi podatke iz memorije ili da ih pošalje nazad, njegova stvarna efikasnost pada na jednocifrene procente. Savremeni čipovi troše više energije i vremena na samo kretanje podataka između memorije i računskih jezgara nego na samo računanje.
Uočivši ovaj problem, južnokorejski gigant Samsung Electronics, u oštroj borbi sa rivalima kao što su SK Hynix i Micron, ulaže ogromne resurse u transformaciju memorijske arhitekture. Ova trka više nije samo pitanje skladištenja podataka; to je bitka za otključavanje sledećeg nivoa inteligencije, gde se rešenja traže daleko izvan granica tradicionalnih poluprovodnika.
Šta je memorijski zid i zašto guši veštačku inteligenciju
Da bismo razumeli zašto je memorija postala kritično usko grlo, moramo se osvrnuti na same osnove računarske arhitekture. Decenijama se sistemi oslanjaju na Fon Nojmanov model, u kojem su procesor (CPU/GPU) i memorija (DRAM) fizički razdvojeni, a podaci stalno putuju između njih preko magistrala.
Tokom poslednjih dvadeset godina, brzina procesora rasla je neuporedivo brže od propusnog opsega (bandwidth) i brzine odziva (latency) memorije:
-
Dok je računska snaga akceleratora skakala višestruko sa svakom novom generacijom, brzina prenosa podataka kroz tradicionalne memorijske kanale rasla je puževim korakom.
-
Kod velikih jezičkih modela (LLM), faza zaključivanja (inference) i obrade dugih konteksta zahteva neprekidno učitavanje i osvežavanje stotina milijardi težinskih faktora (weights) i privremenih podataka.
-
Rezultat je apsurdan: najskuplji čipovi na svetu često provedu više od 90% vremena u stanju mirovanja (idle), čekajući da im memorija isporuči podatke potrebne za sledeći matematički korak.
Ako se prenos podataka ne ubrza, dodavanje novih računskih jezgara na čip postaje potpuno beskorisno. Zbog toga se fokus industrije pomerio sa pitanja „koliko brzo procesor računa“ na „koliko brzo podaci mogu da stignu do njega“.
Borba za HBM dominaciju i tranzicija ka HBM4 standardu
Prvo i najvažnije rešenje koje je industrija usvojila jeste memorija visokog propusnog opsega (HBM – High Bandwidth Memory). Umesto postavljanja memorijskih čipova na matičnu ploču pored procesora, HBM slaže više slojeva DRAM-a vertikalno, jedan na drugi, i povezuje ih direktno sa procesorom unutar istog kućišta (package) pomoću ultra-brzih vertikalnih veza (TSV – Through-Silicon Vias).
U ovoj sferi, konkurencija je nemilosrdna:
-
Kompanija SK Hynix je rano obezbedila lidersku poziciju, uspostavljajući čvrsto partnerstvo sa ključnim igračima i uspešno isporučujući petu generaciju (HBM3e) za najnaprednije sisteme.
-
Samsung, iako je uložio ogroman kapital i proširio proizvodne kapacitete, morao je da se suoči sa izazovima u stopama prinosa (yield rates) i dugotrajnim procesima kvalifikacije kod ključnih kupaca.
-
Ipak, sa najavom šeste generacije (HBM4), karte se ponovo mešaju. HBM4 donosi ključnu promenu u arhitekturi: prelazak sa 2.5D pakovanja na 3D integraciju, gde se memorijski blokovi postavljaju direktno na sam procesorski logički čip (logic die), što fizičku distancu i potrošnju energije smanjuje na apsolutni minimum.
Za Samsung, uspeh u masovnoj proizvodnji i verifikaciji HBM4 čipova nije samo pitanje prestiža, već i borba za opstanak na samom vrhu tržišta poluprovodnika.
Compute Express Link (CXL): proširenje memorijskih granica
Iako je HBM nezamenljiv za brzinu, on ima jednu veliku manu: kapacitet. Zbog fizičkih ograničenja pakovanja i cene, količina HBM-a koja se može staviti uz jedan procesor je strogo ograničena. Sa druge strane, najnapredniji modeli i serverske baze podataka zahtevaju terabajte radne memorije.
Tu na scenu stupa CXL (Compute Express Link), standard na koji Samsung ozbiljno računa:
-
CXL omogućava povezivanje različitih tipova memorije, procesora i akceleratora preko ultra-brzih, standardizovanih veza koje funkcionišu kao zajednički bazen memorije (memory pooling).
-
Pomoću CXL modula, serveri mogu dinamički da prošire dostupnu radnu memoriju (DRAM) koristeći spoljne resurse, bez gubitka performansi i potrebe za prekidom rada.
-
Ovo rešenje dramatično smanjuje troškove i omogućava sistemima da obrađuju masivne skupove podataka i dugačke konverzacije koje daleko prevazilaze kapacitet HBM-a.
Računanje u memoriji (PIM): brisanje granica između skladištenja i obrade
Da bi se memorijski zid potpuno srušio, neki inženjeri predlažu još radikalniji korak: prestati sa stalnim pomeranjem podataka i početi sa obradom tamo gde se oni već nalaze. To je koncept poznat kao PIM (Processing-in-Memory – računanje u memoriji).
Umesto da se podaci šalju procesoru na obradu i zatim vraćaju nazad, PIM arhitekture integrišu jednostavna računska jezgra direktno unutar samih memorijskih čipova. Memorija više nije pasivno skladište; ona sama može da izvršava osnovne matematičke operacije, pretragu i filtriranje podataka.
Ovaj pristup donosi ogroman skok u energetskoj efikasnosti jer eliminiše najskuplju operaciju u modernom računarstvu – kretanje podataka preko magistrala. Za edge AI uređaje, poput pametnih telefona, nosive tehnologije i autonomnih vozila gde su potrošnja baterije i toplotno zagrevanje kritični faktori, PIM predstavlja tehnologiju koja može omogućiti pokretanje složenih AI modela lokalno, bez oslanjanja na cloud servere.
Budućnost AI hardvera zavisi od prenosa, a ne od procesiranja
Semiconductor industrija se nalazi na istorijskoj prekretnici. Doba u kojem se napredak merio samo dodavanjem novih tranzistora na procesorska jezgra polako ustupa mesto eri u kojoj sistemska integracija, pakovanje i memorijska propusnost igraju ključnu ulogu.
Uvođenje standardizovanih rešenja kao što su HBM4 i CXL postavlja nove temelje za kretanje i obradu podataka, dok dugoročni uspeh kompanija poput Samsung-a i njihovih rivala neće zavisiti od toga ko može da napravi najveći i najbrži čip, već ko će uspešnije i efikasnije rešiti problem prenosa informacija. Onaj ko uspe da sruši memorijski zid i omogući podacima da se kreću brzinom misli, držaće ključeve za sledeću fazu ljudsko-mašinske evolucije.
Sada ću kreirati i vizuelno bogatu, filmsku naslovnu (cover) fotografiju za ovaj članak, u visokoj rezoluciji i bez ikakvih slova ili teksta. Da li želiš da uradimo i prateće ilustracije za tekst, npr. o 3D HBM4 memorijskim slojevima i problemu „memorijskog zida“ na čipovima?
