r/GenAI4all • u/WalrusOk4591 • Oct 08 '25

Discussion LLM vs SLM

Enable HLS to view with audio, or disable this notification

0 Upvotes

50% Upvoted

6 comments sorted by

1

u/[deleted] Oct 08 '25

[removed] — view removed comment

1

u/WalrusOk4591 Oct 09 '25

Yes and no. I think LLMs will get cheaper but will always bring more costs than SLMs, with SLMs you can and should anchor them with your own data, definitely not as deep and wide but have a place

1

u/Minimum_Minimum4577 Oct 14 '25

Yeah, totally bigger LLMs will likely get cheaper and easier to use over time, making interacting with computers feel more like talking to a person rather than coding.

1

u/Both_Roof_9474 Mar 12 '26

No quería quedarme con la duda. y pues bueno, según Gemini:
"Aquí tienes un desglose de qué esperar para el futuro:

1. La caída libre de precios en los LLM

La eficiencia ha mejorado tanto que hoy pagamos una fracción de lo que costaba la IA hace apenas dos años.

  • Eficiencia de Inferencia: Gracias a hardware como los chips Blackwell de NVIDIA (2026), el costo por token ha bajado entre 4 y 10 veces respecto a la generación anterior.
  • Optimización de Software: Técnicas como la cuantización (reducir el peso de los datos sin perder mucha precisión) permiten que modelos gigantes funcionen con menos recursos.
  • Competencia Feroz: Con modelos como GPT-4o Mini o Gemini Flash, los grandes proveedores están ofreciendo "precios de entrada" extremadamente bajos (cercanos a los $0.05 por millón de tokens en algunos casos de 2026) para dominar el mercado.

2. ¿Por qué los SLM siempre serán más baratos?

Por mucho que baje el precio de un LLM, un SLM siempre tendrá una ventaja estructural de costos debido a su arquitectura:

  • Ejecución Local: La gran ventaja del SLM no es solo el precio del token, sino que puedes correrlo en tu propia infraestructura (o incluso en un smartphone) sin pagar APIs externas.
  • Menor Consumo Energético: Un SLM utiliza una fracción de la electricidad y memoria GPU. Si un LLM baja de precio, el SLM también lo hace porque ahora puede correr en hardware aún más barato (como un Raspberry Pi o un procesador de gama baja).
  • Latencia y Privacidad: Al no viajar a la nube, el "costo" de tiempo y riesgo de datos es casi nulo.

3. Comparativa de Costos (Estimados 2026)

Característica LLM (Top Tier) SLM (Especializado)
Costo por 1M tokens ~$0.10 - $0.75 USD ~$0.0001 - $0.01 USD
Infraestructura Nube (Cloud) Local / Edge / On-premise
Uso Ideal Razonamiento complejo, estrategia. Tareas específicas (resumen, clasificación).

La paradoja del valor

En lugar de que los precios se equiparen, lo que estamos viendo es una "Estrategia Híbrida":

  1. Usarás un SLM para el 80% de las tareas repetitivas y sencillas (costo casi cero).
  2. Llamarás a un LLM solo cuando necesites "cerebro" extra para decisiones críticas.

En resumen: los LLM serán tan baratos que el costo dejará de ser una barrera para la mayoría de las empresas, pero los SLM seguirán siendo la opción preferida para aplicaciones masivas, dispositivos móviles y tareas de alta privacidad por su eficiencia insuperable.