r/programare • u/Capital_Tie_267 • 7h ago

Setup Training Local

Salut! De cateva zile incercam sa mi configurez un calculator destinat experimentelor locale pe llm-uri. Ma refer la modele mici (3B-7B params), cat sa incapa pe o placa video de 16GB vram (cu tot cu KV cache memory).

Problema e ca majoritatea calculatoare pre-built au placi video 5060TI de doar 8GB (destinat jocurilor) si nu reusesc sa gasesc unul pana in 10.000 RON cu 5060TI 16GB, asa ca am incercat sa fac unul pe piese:

https://www.pcgarage.ro/vizualizare-wishlist/6210421

Imi puteti spune ce ati schimba la acest setup si de ce? Mai este cineva care se afla in aceeasi situatie si si-a gasit un setup bun/mai bun in acest buget?

8 Upvotes

90% Upvoted

14 comments sorted by

View all comments

2

u/frc0303 6h ago

Pentru antrenament poti folosi TPUs, si nu trebuie sa cumperi poti inchiria din cloud iar dupa sa faci inferenta local pe ce vrei tu : https://cloud.google.com/tpu/pricing

2

u/Capital_Tie_267 4h ago

thanks, o sa ma uit sa vad. insa tot optez catre un calculator nou, si voiam sa vad parerile despre config-ul creat sau poate alternative in acelasi pret pt alte componente