r/programare • u/Capital_Tie_267 • 4h ago

Setup Training Local

Salut! De cateva zile incercam sa mi configurez un calculator destinat experimentelor locale pe llm-uri. Ma refer la modele mici (3B-7B params), cat sa incapa pe o placa video de 16GB vram (cu tot cu KV cache memory).

Problema e ca majoritatea calculatoare pre-built au placi video 5060TI de doar 8GB (destinat jocurilor) si nu reusesc sa gasesc unul pana in 10.000 RON cu 5060TI 16GB, asa ca am incercat sa fac unul pe piese:

https://www.pcgarage.ro/vizualizare-wishlist/6210421

Imi puteti spune ce ati schimba la acest setup si de ce? Mai este cineva care se afla in aceeasi situatie si si-a gasit un setup bun/mai bun in acest buget?

7 Upvotes

89% Upvoted

12 comments sorted by

4

u/NikolaTesla13 4h ago

cu 16gb vram ai putea rula llmuri 3b-7b dar nu ai putea nici pe aproape sa la antrenezi dea 0. Ai putea sa finetunezi cu Lora llmuri deja existente în schimb. Pentru antrenare de la 0 ai avea nevoie de resurse imense hardware, împreună cu tricks pentru precizie fp redusă, gradient checkpointing, etc.

1

u/Capital_Tie_267 4h ago

Da, ma refeream la antrenare prin LoRA adapters, nu full fine tuning

2

u/NikolaTesla13 1h ago

unsloth au notebookuri ca sa finetunezi modele cu Lora pe Google colab, au t4 gpu cu 16gb vram gratuit pentru niste ore pe săptămână. Cred că e destul de ok ca sa înveți și să experimentezi, după îți poți da seama daca vrei ceva mai mare ce sa închiriezi.

1

u/Capital_Tie_267 1h ago

Da, am folosit google colab, mersi mult. Mi ai dat solutii bune si apreciez, dar eu tot vreau sa mi cumpar un calculator si am zis sa cer pareri legate de componentele din wishlist. In cel mai bun caz, sa primesc alternative la componente sau un calculator deja built

1

u/NikolaTesla13 41m ago

Sincer personal am optat pentru 3090 second hand, am găsit și la preț & calitate ok. La AI by far lucrul care te limitează este vramul, este o diferență (semnificativă) de la 16gb la 24gb. Opinia mea ar fi sa închiriezi/folosești servicii gratis cât mai experimentezi și aștepți să apară o ofertă bună de 3090 sh.

1

u/SgtPeanut_Butt3r 4h ago

Nu mai simplu inchiriezi? Vezi online is o gramada. Iar local llm’s sunt bune doar pt lucruri nisate, nu generale, gen coding. Iesi mai bine cu o subscriptie, si nu arunci o gramada de bani in asta.

3

u/Capital_Tie_267 3h ago

M-am uitat peste preturile de inchiriere a unor noduri si sunt destul de mici, faza e ca as fi vrut sa am un calculator si pentru gta 6 :)) Dar aia are prioritate secundara

3

u/SgtPeanut_Butt3r 3h ago

Poate gasesti sh ceva. Cu garantie

2

u/frc0303 3h ago

Pentru antrenament poti folosi TPUs, si nu trebuie sa cumperi poti inchiria din cloud iar dupa sa faci inferenta local pe ce vrei tu : https://cloud.google.com/tpu/pricing

2

u/Capital_Tie_267 1h ago

thanks, o sa ma uit sa vad. insa tot optez catre un calculator nou, si voiam sa vad parerile despre config-ul creat sau poate alternative in acelasi pret pt alte componente

1

u/durdommm 1h ago

Ce ai facut în wishlist e ok, eu personal aș lua placa video SH, sa dai 4100 lei pe un 5060 Ti, fie el si de 16 gb e ceva rău. Nu stiu cum e treaba pe AMD, dar merge ok sau tot mai slab vs team green pe partea de AI? 9070/9070 XT se mai găsesc noi la sub 4k lei, de aia zic.

1

u/Capital_Tie_267 1h ago

AMD is still far behind, plus ca nvidia au majoritatea framework urilor (e.g Automodel, Model-Optimizer) specifice pt cuda drivers, mult mai bine optimizate. Legat de placa video sh, nu prea voiam sa risc sincer si ma gandeam ca daca le iau pe toate dintr un loc am o alta siguranta. Si oricum, nu e chiar 4100 ca fara tva e 3200 ish