ByteDance, matična kompanija TikTok-a, razvija dva AI GPU-a koja će ući u masovnu proizvodnju do 2026. godine. TSMC će proizvesti oba proizvoda. Ukoliko su informacije iz neslužbenog izvora tačne, ByteDance će smanjiti zavisnost od Nvidia-e za AI hardver, dok će ostati u okviru američkih izvoznih propisa.
ByteDance-ova linija AI GPU-a, koja je u fazi dizajniranja i očekuje se da će ući u masovnu proizvodnju za godinu dana, uključuje jedan za obuku AI modela i drugi za inferenciju AI-a. Broadcom, koji je već razvio AI čipove za Google, očekuje se da dizajnira AI čipove. GPU-ovi će se proizvoditi koristeći jednu od TSMC-ovih N4/N5 procesnih tehnologija, slično TSMC-ovom 4NP čipu koji se koristi za izradu Blackwell serija GPU-a za AI i HPC. ByteDance-ovi GPU-ovi se očekuju u masovnoj proizvodnji do 2026. godine.
ByteDance je navodno potrošio više od 2 milijarde dolara na više od 200,000 Nvidia H20 GPU-a (oko 10,000 dolara po jedinici, što je malo manje od 12,000 – 13,000 dolara) samo za svoje AI napore ove godine, a mnogi od tih GPU-a još nisu isporučeni kompaniji. Ova velika investicija ističe značaj AI za ByteDance-ovu generalnu strategiju.
Prema izveštaju, nedostatak Nvidia GPU-a i njihove visoke cene su među razlozima zašto je ByteDance odlučio da izgradi vlastiti AI hardver. Nvidia je dizajnirala svoje DGX H20 i neke druge GPU-e posebno za kinesko tržište kao odgovor na američke kontrole izvoza uvedene prošle godine.
Kao rezultat, HGX H20 je značajno smanjena verzija GPU-a (u poređenju sa H100) koja se i dalje prodaje po neverovatnih 10,000 dolara, ako su informacije o ceni tačne. Na primer, dok Nvidia HGX H20 nudi samo 296 INT8/FP8 TOPS/TFLOPS i 148 BF16/FP16 TFLOPS performansi za AI proračune, potpuno funkcionalni H100 isporučuje 3,958 INT8/FP8 TOPS/TFLOPS i 1,979 BF16/FP16 TFLOPS performansi za AI. Ipak, sa 96 GB HBM3 memorije, do 4.0 TB/s propusnosti memorije i mogućnošću povezivanja osam GPU-ova, Nvidia HGX H20 i dalje je u velikoj potražnji među kineskim kompanijama u stvarnim aplikacijama. Izveštaji kažu da Nvidia-ov procesor nadmašuje konkurenciju.
Iako se očekuje da ByteDance neće moći da napravi svoje GPU-ove značajno bržim od Nvidia HGX H20 zbog američkih izvoznih kontrola (jer TSMC neće moći da isporučuje takve GPU-ove ByteDance-u), biće znatno jeftiniji za kompaniju.
Postoji značajan izazov oko ByteDance-ove inicijative da razvije svoje GPU-ove za AI. Kompanija trenutno zavisi od Nvidia CUDA i pratećeg softverskog paketa za obuku i inferenciju AI-a. Kada pređe na svoje AI GPU-ove, moraće da razvije svoju softversku platformu i obezbedi potpunu kompatibilnost svog softverskog paketa sa svojim hardverom. Iako su mnoge kineske kompanije razvile AI GPU-ove kako bi smanjile zavisnost od Nvidia-e, ti čipovi se koriste za specifične radne zadatke i i dalje se oslanjaju na Nvidijine GPU-ove za druge.
Nvidia očekuje da će ove godine isporučiti više od milion HGX H20 jedinica svojim kineskim kupcima, skoro dvostruko više od Huawei-nih predviđenih prodaja od 550,000 Ascend 910B AI GPU-a za 2024. godinu. Nvidia H20 GPU-ovi mogli bi generisati više od 12 milijardi dolara prihoda, nadmašujući ukupne prihode kompanije iz Kine iz prethodne godine, uključujući prodaju drugih tipova hardvera, poput GPU-a za gejmere.