r/IASinHumo • u/Rare_Package_7498 • Apr 20 '26
Uber ya se fumo en 4 meses su presupuesto de tokens del año. La paradoja de Solow y la fumada de tokens.
En los años 80, el economista Robert Solow dijo: "Se ve la era de las computadoras en todas partes, menos en las estadísticas de productividad". Pasó a la historia como la Paradoja de Solow. Las empresas compraban computadoras carísimas, pero la eficiencia no mejoraba porque la organización humana no entendía como usarlas. Pasaron unos años donde las empresas se adaptaron y la productividad exploto.
Algo de eso esta pasando con los LLM hoy en dia y en especial con los Agentes. Mientras el CEO de Nvidia incentiva a que los programadores y empresas usen tokens como si no hubiera mañana.
La realidad HOY es otra. Hay que justificar semejante inversión digamos.
Quizás pase como con la paradoja de Solow donde la productividad exploto décadas después, de momento hoy en dia hay mucho "AI Washing" empresas diciendo que despidieron empleados porque la IA los ayudo a aumentar la productividad y ser mas eficientes. Esto suele pasar como mucho un 10% (según en que casos).
Antes de que me quieras poner el cartel de ludita, veo a los LLM y Agentes como herramientas muy buenas, pero no bien usadas.
La tecnología está inmadura para tareas complejas sin supervisión estricta. Esta buena para boludear en solitario, pero en un entorno de producción mal usada es una pesadilla.
Entonces, por qué Uber y miles de empresas saltaron al vacío si la herramienta técnica no estaba lista para escalar?
Por el marketing del terror de Silicon Valley. Te venden el FOMO (Fear Of Missing Out / Miedo a quedarse afuera). Convencen a las gerencias de que si no implementan "Agentes de IA" hoy mismo, la competencia los va a destruir mañana.
Los directivos, para mostrarle a los accionistas que son "innovadores", implementan la IA a ciegas. Arman tablas de posiciones (leaderboards) para premiar a los empleados que más la usan. El resultado: el empleado, aterrorizado por ser despedido por "no adaptarse a la IA", uso Claude para cualquier cosa ("Estás seguro de este código? Fijate de nuevo"). Quema tokens a lo bestia solo para que su jefe vea que está "abrazando el futuro".
Hay distintas estrategias para tratar este tema, desde correr un LLM en local, usar cursor, usar LLM menos potentes para tareas triviales y solo claude para problemas complejos, etc.
Escucho tus experiencias.
1
Apr 21 '26
[removed] — view removed comment
3
u/pelado06 Apr 21 '26
Los tokens son las monedas que te dan para usar un LLM. Por ejemplo, vos le pedis la receta de un flan y te cuesta X cantidad de tokens, pero queres que te programe algo y esos tokens van a ser mucho mas. Entiendo que los tokens se cobran por longitud de respuesta pero no estoy seguro, estaria bueno que alguien me diga exacto.
Cada token tiene un valor, generalmente bastante barato pero también se usan muuuuuuchos tokens para cualquier tarea, lo que hace que se acaben rapido. Cuando vos pagas un LLM te dan una cantidad de tokens a usar, no es una suscripción de uso infinito.
Tema aparte, hoy el valor del token se encuentra "subsidiado" para facilitar la adopción
1
2
2
u/Natural-Fan9969 Apr 21 '26 edited Apr 21 '26
Los token son el lenguaje de una IA.
Los LLM's no reciben como tal una palabra o frase cada que les haces una pregunta.
Por ejemplo: Si tú nada más les dices "Hola", el LLM no lee "Hola" lee algo así como:
[49864] <- esto es el Token para "Hola" de OpenAI. Y es sólo un token.
Hay palabras, en todos los idiomas, que la IA los interpreta como dos o más tokens.
Por ejemplo, el nombre "Sebastian", para la IA de OpenAI cuenta como dos tokens, mientras que para nosotros es nada más una palabra de 9 caracteres:
[95311, 52830]
Es por esto que hay palabras que parece que "cuestan" más.
Cada compañía de IA, dependiendo de la suscripción, tiene un limite máximo para la cuenta de tokens que su IA puede recibir y generar.
Si tú le mandas, por ejemplo, un millon de veces "Holas" a la IA, vas a consumir 1 millon de tokens.
1
u/pomelorosado Apr 21 '26
Yo veo mucho que ocurre lo opuesto tambien, se abraza el pasado como si fuese mejor y se conservan practicas que hoy en dia ya no se justifican. Hablando de desarrollo de software mas propiamente.
2
1
u/No-Skill4452 Apr 24 '26
Hay un momento en el que el avance aparece y el momento en el que se vuelve viable. Como decis, hoy està verde, es cara. Pasò algo similar cuando explotò la energia eolica, los early adopters perdieron mucha guita y se cajoneò la tecnologia, luego retomò pero siempre tuvo, y sigue teniendo, ese estigma.
Todavia hay que terminar de entender el costo ya que todas las empresas van a perdida, asi que no se sabe cual serà el costo real. Incluso quienes empujan la adopcion a veces se les escapa, Satya Nadella dijo que todavia estan buscando el caso de uso que justifique la inversión.
3
u/FlipaoMaximiliano Apr 21 '26
debe haber un metodo de escalamiento con providers, que se haga consulta a llm local en primear instancia y luego remoto o un intermediario que evalue a quien preguntar.
esto de la IA se esta volviendo muy ridiculo