Sestava pro samostudium AI s 2x GPU

[dasvoboda]

Ahoj,

chci si postavit PC na samostudium AI/ML, konkrétně se chci trochu naučit pracovat s multi-GPU aplikacemi (trénink, inference). Proto plánuji sestavu se 2 GPU a prosím o radu:

Jaké retailové GPU (poměr cena/výkon/VRAM) byste dnes doporučili pro takovou 2x GPU sestavu?

Vím, že poslední retail karta s NVLink byla RTX 3090. Má smysl ji dnes pro studijní účely hledat kvůli NVLinku? Nebo pro učení se multi-GPU stačí komunikace přes moderní PCIe a absence NVLinku u novějších karet (RTX 40xx+) není pro domácí experimenty zásadní nevýhodou?

Na co dalšího si dát pozor u zbytku sestavy? (MB/PCIe linky, PSU, chlazení?)

Rozpočet spíše "rozumný nadšenecký", jde mi hlavně o co nejlepší poměr cena výkon. Mám teď jen starší notebook, takže stejně potřebuju koupit něco nového. Ale možná je lepší nakoupit kredit na nějaký cloud, ale nevím, jestli si tam člověk bude moct s tím až tak hrát.

[ja-cz]

Takhle, zacinat hratky s AI stavbou multi-GPU stroje neni uplne idealni. Hromada veci se da delat i na starsim HW, treba i jen na CPU (treba sklearn, nejake neuronky, a dokonce i nektere LLM). Bez toho aby bylo povedomi co se chce vubec delat a jaky HW je na to potreba to bude jen teoreticke tlachani. Nemluve o tom, ze by to chtelo aspon orientacni budget.

Profici prevazne netrenuji velke modely na vlastnim HW ale v cloudu. Pro ty prvni faze vyvoje a nejaky prototyping je samozrejme vlastni HW lepsi, cloud se ti jako hobbikovi muze prodrazit. Urcite bych ale nezacinal dual GPU aniz bych vedel ze (a jak) je vyuziju.

Pro zacatek je moznosti nekolik v zavislosti na rozpoctu. Od budgetoveho AM5 stroje (nebo AM4 bazaru) s 3060 12GB (dostatek VRAM, rozumny vykon a propustnost pameti) pro zakladni hrani, pres rekneme mid range sestavu s 5060Ti 16GB (nebo bazar 4060Ti 16GB) po zravejsi 24GB 3090 / 4090 / 5090. V zavislosti na pouziti, dostupnosti driveru a podpory knihoven muze byt budget alternativou P40 24GB.

Multi GPU prinasi problemy. Od skrine a napajeni (se dvema GPU jeste resitelne relativne standardnim HW), po podporu knihoven - to ze mas vice GPU jeste totiz neznamena ze na vsech budes moci pocitat. Do toho bych se poustel asi jako posledni. Pred investici bych tohle radeji otestoval v cloudu a procetl zkusenosti ke konkretnim modelum.

Dalsi moznost je vzit maca (book nebo krabicku) s Apple kremikem a 64GB+ unified memory. Jete bys tohle treba za 50k mohl sehnat. Treba pro LLM je apple kremik momentalne hodne popularni.

[milsimr]

Za 50k apple? To už fakt vyjde lépe koupit dedikovanej server - aspoň co do poměru cena / výkon.

[Emil Pastelka]

Pokud tazatel vyloženě míří na 2 a více GPU, pak na hraní je celkem prima Tesla z druhé ruky (eBay). Z "herních" karet 4xxx a výše lze místo NVLink použít jedině Model Parallelism (MP) v rámci PCIe - rychlostně je to podobné, jako první verze NVLink.

[ja-cz]

Jabko je nejrychlejsi cesta k 50+GB vram, a je hromada lidi kteri delaji LLM na jabku, takze i komunitni podpora neni uplne marna. Za druhe, na pomery HW jabko si docela drzi hodnotu. Takze pro zacatecnika to nemusi byt spatna volba, protoze az za rok za dva zjisti co opravdu potrebuje, tak to jabko zase proda bez nejake obrovske ztraty. Jedine na co musi davat pozor je jina instrukcni sada, ale je to na svete uz par let a tech lidi co jedou na macu AI je fakt hromada.

Ty starsi Tesly jsou krome VRAM ale tusim docela slabe, a navic je tam potreba resit drivery a kompatibilitu. Je to urcite zajimava moznost, ale tusim ze to nebude zrovna plug & play. Rychlost nevim jestli je potreba nejak extra resit. Jsou lidi kteri jedou na tezarskych x1 riserech. Pro LLM to neni tragedie, projevuje se to hlavne pri nacitani modelu, pri inferenci o poznani mene.

[Emil Pastelka]

Kdyby nepsal, že se chce učit multi-GPU, pak souhlasím, na LLM je jablko zajímavá alternativa. Byť ne jediná viz Framework Desktop a cokoliv s Ryzen AI Max 300 - také umí sdílenou RAM/VRAM.

[dasvoboda]

Přesně tak, jde mi hlavně o to pochopit, jak v praxi funguje trénování na více GPU.Jak se řeší věci jako synchronizace, data loading nebo checkpointy. Napadlo mě, jestli by na naučení těchto principů mohla stačit např. sestava se dvěma RTX 3090. Myslel jsem, že dvě takové herní karty by se snad daly ještě provozovat bez nutnosti pořizovat nějaký extra výkonný a drahý server. Je to reálné a dají se ty karty ještě rozumně sehnat?

[ja-cz]

Sestava s 2x RTX 3090 urcite levna nebude, protoze potrebujes idealne 1600W zdroj pokud chces relativni klid, takze to je nejakych 12k jen za zdroj. Nemluve o chlazeni takove hromady tepla. Takze pokud zacinas, tak bych sel po treba 2x 3060 z bazaru, coz je 5k za kus.

K tomu 9600X, MSI B850-P PRO (MSI ma i druhy slot ktery frci na PCIe4 x4, GB prevazne ma jen x1 sloty krome hlavniho), 2x32GB 6000 EXPO Kingston, Meshify 2 a osadit 7x Arctic P14 PWM PST, Vertex 1200W, 2x2TB KC3000, a bude to i relativne tiche po odlazeni (nepises pozadavky na hluk) a uprave chlazeni gpu.

Pokud to ma byt vylozene jen na hrani a hluk nedela az takovy problem, tak se da i levneji. 2xRTX 2060, deska stejna jako vyse, procesor 8400/7500f pameti treba jen 1x32GB (casem prikoupis), 2x2TB sn580, BQ system power 850W, a nejaky Fractal Define R z druhe ruky a ten osadit opet Arcticy. Levneji asi uz jen z druhe ruky a to chce zkoumat kazdou desku zvlast.

Zalezi na budgetu a pozadavku na hluk, o nicem z toho nepises. Moznosti jsou i ty tesly, zdroj pak prizpusobit wattazi GPU, a dohledat jak je na tom konkretni model s ovladaci, podporou atd.

[dasvoboda]

Jestli mají vůbec cenu dvě RTX 3060. Jasně, jsou tam ty 12GB verze, ale u nich stejně NVLink není a velikost paměti je dneska zásadní. Dvě 3090 by byly úplně ideální, ale sehnat je v bazaru za nějakou rozumnou kačku je asi fakt mimo. Když by nebyl ten NVLink, tak deska by určitě měla umět x8/x8.

A samozřejmě hodilo by se, kdyby to moc nehučelo, protože to trénování se fakt umí protáhnout na dlouho.

Budget mám tak těch 80 tisíc, ale upřímně nevím, jestli je vůbec šance se do toho s tímhle vším vejít, možná může být lehce víc.

[ja-cz]

No je potreba si ujasnit jestli to mas na hrani a samostudium, nebo od toho pozadujes vykon. Ono totiz aby sis osvojil nektere techniky nepotrebujes horentni vykon, a velka VRAM bude znamenat ze budes potrebovat vetsi datasety, ktere budou klast vetsi naroky na vsechno okolo. Kdyz chces byt automobilovym zavodnikem, tak te taky hned nenarvou do monopostu F1, ale zacnes na motokarach...

Protoze pokud chces honit vykon, tak tak k tem 80k si pridej jednu nulu a porad to jeste muze byt malo... A pokud chces honit vykon, a zaroven se vlezt do tech 80k, tak o Apple kremiku uz jsem psal vyse.

Dual GPU setupy s RTX budou a normalni retail platforme budou vzdycky jen nadsenecke veci a uplne bych nehrotil veci jako nvlink nebo nekolik x8 slotu (nerikam ze se neda, ale nebral bych to jako hlavni). Mnohem lepe udelas, kdyz si postavis kvalitni tichy zaklad za, strelim, 50k, naucis se co je potreba a pak treba pro nejake velke joby pujdes do cloudu. Bude se ti s tim zit prijemneji, nez se dvema ultra zravymi kartami.

Kdyz vemes to co jsem psal vyse s 2x3060 12GB, tak jses na cca 50k. Pripadne muzes vzit Meshify 2 XL s 9xP14 za minimalni priplatek, zdroj PX 1600W za priplatek nejake 4 tisice, a budes mit i chlazeni ready na neco vykonnejsiho v budoucnu. U desky asi za zvazeni stoji az X870E Taichi ktera nabidne dva sloty po x8, ale stoji dvojnasobek te zakladni MSI. Osobne bych ale sel proste po slusnem zakladu, nez ted daval dardu za jete 3090...

[KineCZek]

ASRock opatrně, už jsem to dnes jednou shodou okolností psal.

[dasvoboda]

Souhlas že je fakt důležitý mít kvalitní základ, na kterým se dá do budoucna stavět. To znamená pořádnou bednu, co dýchá, desku, co něco vydrží a má výhledově dobrou konektivitu a pořádnej zdroj. Na tomhle bych nešetřil, ať už se rozhodnu pro jakékoliv grafiky.

Co se týče těch grafik, když už se tu řeší ten kompromis mezi výkonem, VRAM a cenou: co takhle zvážit strategii jedna fakt nabušená nová grafárna s hromadou paměti na tu hlavní AI práci, a k tomu si z bazaru za pár šupů sehnat nějakou RTX 3060 12GB? Ta 3060 by sice výpočetně tu hlavní kartu asi moc nepodpořila, ale na takový to "hraní si" se synchronizací a učení se multi-GPU věcí by mohla bejt super.

Zvažovali byste i 2x RTX 5060 Ti s 16GB paměti, což může znamenat připlatit třeba těch 10 tisíc Kč navíc oproti dvěma bazarovým RTX 3060 12GB?
Pokud by tedy dvě nové RTX 5060 Ti 16GB stály kolem 23 tisíc Kč dohromady, byla by to teoreticky hodně zajímavá volba, měli bych dvě moderní karty s novou architekturou (a zárukou), což by znamenalo znatelně vyšší výkon a lepší efektivitu než u RTX 3060 nebo i RTX 4060 Ti. 2x 16GB VRAM (celkem 32GB) je skvělý základ pro paralelní práci na modelech.

No a nebo je tu samozřejmě pořád ta úplně jiná cesta vykašlat se na velký železo doma, koupit si třeba nějakej lehkej MacBook Air jenom jako terminál a k tomu pořádnej balík kreditů na cloud.

No je o čem přemýšlet...

[ja-cz]

Ano, na ASRock opatrne, ale bohuzel nic jineho v bezne retail nabidce co dava dva x8 sloty jsem nenasel (to neznamena ze neni). 5060Ti 16GB taky vypada zajimave, navic spotrebou +- jako 3060. Dve tyhle karty zerou zrhuba jako jedna 5080 (a daleko mene nez jedna 3090), takze to muzes napajet i chladit relativne normalnim HW a zaroven to bude tiche.

Ono totiz cim vic hardcore to bude, tim hure se s tim bude zit. Napriklad taky muzes vzit jety server s hromadou PCIe linek (lidi treba provozuji Dell R730), k tomu koupit risery a externi zdroje a mit tech starsich karet nekolik. Ale souziti s tim... Na vytapeni garaze, sklepa nebo do pradelny asi OK, ale do obyvacich prostor bych to nechtel ani zadarmo.

[dasvoboda]

Ano, to je všechno pravda. Já určitě nechci trávit dny tuněním nějaké šílenosti, na druhou stranu myslim že využiju relativně hodně VRAM paměti.

Když už jsme u desek Taichi, myslíte, že je to riziko ve srovnání s jinými značkami je jako opravdu značné? Docela mě překvapuje, o kolik až ta x8/x8 bifurkace ty desky zdraží třeba u MSI.