NVIDIA-ina najnovija GeForce RTX 5090 pokazuje daleko brže performanse inferencije na DeepSeek R1 u odnosu na AMD RX 7900 XTX, zahvaljujući novim fifth-generation Tensor Cores.
Izgleda da potrošački GPU-ovi mogu biti jedan od najboljih načina za pokretanje naprednih LLM modela na lokalnim računarima, jer i NVIDIA i AMD nastoje da obezbede odgovarajuće okruženje za ovu vrstu izvršenja. Nedavno smo videli kako je AMD prikazao moć svog RDNA 3 flagship GPU-a na DeepSeek R1 LLM modelu, a sada je Team Green odgovorio prikazivanjem rezultata inferencijskog testiranja na najnovijim RTX Blackwell GPU-ovima, a brojevi jasno pokazuju da je GeForce RTX 5090 dominirao.
Na nekoliko DeepSeek R1 modela, GeForce RTX 5090 pokazuje jasnu prednost u odnosu na Radeon RX 7900 XTX, pa čak i na prethodnu generaciju. Ovaj GPU je uspeo da obradi do 200 tokena u sekundi na Distill Qwen 7b i Distill Llama 8b modelima, što je skoro dva puta više od RX 7900 XTX. Ovo pokazuje koliko će AI performanse na NVIDIA-inim GPU-ovima biti dominantne, a sa opsežnom podrškom za „RTX on AI“, očekuje se da će edge AI na potrošačkim računarima biti sve češći.
Za one koji žele da pokrenu DeepSeek R1 na NVIDIA RTX GPU-ovima, firma je objavila poseban blog sa uputstvima za korisnike, a zanimljivo je da je proces jednostavan kao pokretanje bilo kog chatbota putem interneta. Evo kako možete pristupiti:
„Da bi pomogao developerima da sigurno eksperimentišu sa ovim mogućnostima i grade svoje specijalizovane agente, model DeepSeek-R1 sa 671 milijardom parametara sada je dostupan kao NVIDIA NIM mikroservis u preview verziji na build.nvidia.com. DeepSeek-R1 NIM mikroservis može da postigne do 3.872 tokena u sekundi na jedinstvenom NVIDIA HGX H200 sistemu.
Developerima će uskoro biti dostupna mogućnost testiranja i eksperimentisanja sa API-jem, koji će biti dostupan kao preuzimajući NIM mikroservis, kao deo NVIDIA AI Enterprise softverske platforme.
DeepSeek-R1 NIM mikroservis pojednostavljuje implementacije sa podrškom za industrijske standardne API-je. Preduzeća mogu da maksimiziraju sigurnost i privatnost podataka pokretanjem NIM mikroservisa na infrastrukturi po svom izboru, koja podržava ubrzanu računarsku obradu.“
-NVIDIA
Sa NVIDIA NIM, developeri i entuzijasti mogu lako isprobati AI model na svojim lokalnim sistemima, što ne znači samo da će vaši podaci biti zaštićeni, već i da pokretanje lokalno može pružiti poboljšane performanse, ukoliko hardware to podržava.
