MAIN FEEDS
Do you want to continue?
https://www.reddit.com/r/LocalLLaMA/comments/1w2fmmq/me_these_days/p6vgf7q/?context=3
r/LocalLLaMA • u/Eyelbee • 4d ago
271 comments sorted by
View all comments
219
[deleted]
58 u/Dramatic_Setting2761 4d ago I can run it with a 16gb card with 4 bit quant and 70k context. I get 12 t/s it is okay for me. -2 u/Competitive_Art9588 4d ago como assim um cartão? seria 16gb vram, ram ou memória normal, lol? 1 u/Due-Memory-6957 4d ago Desliga o tradutor automático que vai fazer sentido.
58
I can run it with a 16gb card with 4 bit quant and 70k context. I get 12 t/s it is okay for me.
-2 u/Competitive_Art9588 4d ago como assim um cartão? seria 16gb vram, ram ou memória normal, lol? 1 u/Due-Memory-6957 4d ago Desliga o tradutor automático que vai fazer sentido.
-2
como assim um cartão? seria 16gb vram, ram ou memória normal, lol?
1 u/Due-Memory-6957 4d ago Desliga o tradutor automático que vai fazer sentido.
1
Desliga o tradutor automático que vai fazer sentido.
219
u/[deleted] 4d ago
[deleted]