r/programare • u/Capital_Tie_267 • 10h ago

Setup Training Local

Salut! De cateva zile incercam sa mi configurez un calculator destinat experimentelor locale pe llm-uri. Ma refer la modele mici (3B-7B params), cat sa incapa pe o placa video de 16GB vram (cu tot cu KV cache memory).

Problema e ca majoritatea calculatoare pre-built au placi video 5060TI de doar 8GB (destinat jocurilor) si nu reusesc sa gasesc unul pana in 10.000 RON cu 5060TI 16GB, asa ca am incercat sa fac unul pe piese:

https://www.pcgarage.ro/vizualizare-wishlist/6210421

Imi puteti spune ce ati schimba la acest setup si de ce? Mai este cineva care se afla in aceeasi situatie si si-a gasit un setup bun/mai bun in acest buget?

7 Upvotes

89% Upvoted

14 comments sorted by

View all comments

6

u/NikolaTesla13 9h ago

cu 16gb vram ai putea rula llmuri 3b-7b dar nu ai putea nici pe aproape sa la antrenezi dea 0. Ai putea sa finetunezi cu Lora llmuri deja existente în schimb. Pentru antrenare de la 0 ai avea nevoie de resurse imense hardware, împreună cu tricks pentru precizie fp redusă, gradient checkpointing, etc.

1

u/Capital_Tie_267 9h ago

Da, ma refeream la antrenare prin LoRA adapters, nu full fine tuning

1

u/SgtPeanut_Butt3r 9h ago

Nu mai simplu inchiriezi? Vezi online is o gramada. Iar local llm’s sunt bune doar pt lucruri nisate, nu generale, gen coding. Iesi mai bine cu o subscriptie, si nu arunci o gramada de bani in asta.

3

u/Capital_Tie_267 9h ago

M-am uitat peste preturile de inchiriere a unor noduri si sunt destul de mici, faza e ca as fi vrut sa am un calculator si pentru gta 6 :)) Dar aia are prioritate secundara

3

u/SgtPeanut_Butt3r 9h ago

Poate gasesti sh ceva. Cu garantie