AMD-ov Radeon RX 7900 XTX postiže izuzetne rezultate u radu sa DeepSeek R1 AI modelom, nadmašujući NVIDIA GeForce RTX 4090 u inference benchmark testovima.
DeepSeek-ov najnoviji AI model izazvao je veliku pažnju u industriji, a i dok se mnogi pitaju o računalnim resursima korišćenim za obučavanje modela, čini se da prosečan korisnik može da izvuče potrebne performanse za pokretanje modela koristeći AMD-ov „RDNA 3“ Radeon RX 7900 XTX GPU. AMD podelio je DeepSeek-ove R1 inference benchmark testove koji upoređuju flagship RX 7000 serije sa NVIDIA-inim konkurentom, pokazujući superiorne performanse kroz više modela.
Potrošački GPU-ovi za AI zadatke pokazali su se efikasnim za mnoge pojedince, uglavnom zato što su prethodno nudili dobar perf/$ odnos u poređenju sa mainstream AI akceleratorima. Takođe, pokretanjem modela lokalno, korisnici štite svoju privatnost, što je bilo velika briga u vezi sa DeepSeek-ovim AI modelima. Srećom, AMD je objavio detaljan vodič o tome kako pokrenuti DeepSeek R1 distilacije na Team Red GPU-ima, a evo uputstava:
- Korak 1: Uverite se da koristite Adrenalin drajver verzije 25.1.1 Optional ili noviji.
- Korak 2: Preuzmite LM Studio 0.3.8 ili noviju verziju sa sajta lmstudio.ai/ryzenai.
- Korak 3: Instalirajte LM Studio i preskočite uvodni ekran.
- Korak 4: Kliknite na tab „Discover“.
- Korak 5: Izaberite DeepSeek R1 distill. Manji distilli poput Qwen 1.5B pružaju izuzetno brzo performanse (i preporučeni su kao početna tačka), dok veći distilli nude superiorne sposobnosti rezonovanja. Svi su izuzetno sposobni.
- Korak 6: Na desnoj strani, proverite da li je selektovan „Q4 K M“ kvantizacija i kliknite na „Download“.
- Korak 7: Nakon preuzimanja, vratite se na tab „Chat“, izaberite DeepSeek R1 distill sa padajućeg menija i obavezite „Manually select parameters“.
- Korak 8: U GPU offload slojevima – pomerite klizač do maksimuma.
- Korak 9: Kliknite na „Model load“.
- Korak 10: Interagujte sa modelom rezonovanja koji potpuno radi na vašem lokalnom AMD hardveru!
Ako prethodni koraci ne rade za vas, AMD je objavio tutorijal na YouTube-u koji detaljno objašnjava svaki korak. Obavezno ga pogledajte i pokrenite DeepSeek LLM-ove na vašim lokalnim AMD mašinama kako biste osigurali da vaši podaci nisu zloupotrebljeni. Sa nadolazećim GPU-ovima od strane NVIDIA-e i AMD-a, očekujemo značajan porast inferencijske moći, s obzirom na to da će ovi uređaji imati posvećene AI motore za olakšavanje ovakvih radnih opterećenja.
