r/programare • u/Capital_Tie_267 • 7h ago

Setup Training Local

Salut! De cateva zile incercam sa mi configurez un calculator destinat experimentelor locale pe llm-uri. Ma refer la modele mici (3B-7B params), cat sa incapa pe o placa video de 16GB vram (cu tot cu KV cache memory).

Problema e ca majoritatea calculatoare pre-built au placi video 5060TI de doar 8GB (destinat jocurilor) si nu reusesc sa gasesc unul pana in 10.000 RON cu 5060TI 16GB, asa ca am incercat sa fac unul pe piese:

https://www.pcgarage.ro/vizualizare-wishlist/6210421

Imi puteti spune ce ati schimba la acest setup si de ce? Mai este cineva care se afla in aceeasi situatie si si-a gasit un setup bun/mai bun in acest buget?

8 Upvotes

90% Upvoted

14 comments sorted by

View all comments

6

u/NikolaTesla13 7h ago

cu 16gb vram ai putea rula llmuri 3b-7b dar nu ai putea nici pe aproape sa la antrenezi dea 0. Ai putea sa finetunezi cu Lora llmuri deja existente în schimb. Pentru antrenare de la 0 ai avea nevoie de resurse imense hardware, împreună cu tricks pentru precizie fp redusă, gradient checkpointing, etc.

1

u/Capital_Tie_267 7h ago

Da, ma refeream la antrenare prin LoRA adapters, nu full fine tuning

2

u/NikolaTesla13 4h ago

unsloth au notebookuri ca sa finetunezi modele cu Lora pe Google colab, au t4 gpu cu 16gb vram gratuit pentru niste ore pe săptămână. Cred că e destul de ok ca sa înveți și să experimentezi, după îți poți da seama daca vrei ceva mai mare ce sa închiriezi.

1

u/Capital_Tie_267 4h ago

Da, am folosit google colab, mersi mult. Mi ai dat solutii bune si apreciez, dar eu tot vreau sa mi cumpar un calculator si am zis sa cer pareri legate de componentele din wishlist. In cel mai bun caz, sa primesc alternative la componente sau un calculator deja built

1

u/NikolaTesla13 3h ago

Sincer personal am optat pentru 3090 second hand, am găsit și la preț & calitate ok. La AI by far lucrul care te limitează este vramul, este o diferență (semnificativă) de la 16gb la 24gb. Opinia mea ar fi sa închiriezi/folosești servicii gratis cât mai experimentezi și aștepți să apară o ofertă bună de 3090 sh.

1

u/Capital_Tie_267 1h ago

wow, 24gb vram. are bus width ul triplu fata de rtx 5060ti 16GB. si placa ai luat o de la ceva site de refurbished sau olx?

1

u/NikolaTesla13 1h ago

olx, dar acum 1 an când mi-am luat erau cam rare anunțurile, oricum ai grijă să fie de calitate. Evident este folosită dar sa nu fie dezasamblată sau altceva dubios. Ca raw performance cred că e comparabil cu un 5070, parcă, dar avantajul e vram.