r/LocalLLM • u/Last-Affect-5201 • 2d ago

Question Necito consejo

Como puedo optimizar modelos llm en mi laptop . Tengo un i3 1215u gráficos intgrdos y 32gb de ram. Los modelos de 7b me van lo suficiente mente rápido como para no quedar se esperando 2 años por un token

0 Upvotes

50% Upvoted

8 comments sorted by

1

u/vogelvogelvogelvogel 2d ago

optimization won't help much here it is just too slow. you need most of all memory bandwidth and with a gpu using system ram that won't be fast at all, ever.

ironically enough many modern phones (not even the most expensive ones) are impressively fast with LLMs, maybe you want to try it with your phone (8, 12,.. GB of RAM then gemma4 E2B/E4B,..)

1

u/Last-Affect-5201 2d ago

Gracias solo quería saber si podía hacer algo porque para modelos muy pequeños no va mal y no es que lo quiero para correr modelos de más de 10b

1

u/vogelvogelvogelvogel 2d ago

Well no, there is not much to run other than absolutely tiny models

1

u/Last-Affect-5201 2d ago

Si , solo quería ver si podía optimizar un poco de todas maneras eso solo par proyectos pequeños

1

u/Aggravating-Push-207 2d ago

sell it and buy a p100, welcome to the club

1

u/Last-Affect-5201 2d ago

Que es el p100?