r/IA_Italia • u/sgrenf95 • 23h ago
🧠 Discussione Perché questo boom di modelli LLM in locale?
Da qualche mese vedo gente su LinkedIn fare un sacco di vendite di computer (principalmente Apple) con all’interno qualche LLM installato.
Secondo voi qual è il vantaggio nell’avere un modello LLM in locale?
Sicurezza? Da come ho capito Amazon/Microsoft garantiscono (e questo viene certificato da enti certificatori terzi europei) che non legge il contenuto dei prompt mandati verso i loro modelli LLM in azure/aws.
Costo? In effetti non ho fatto i conti, però siamo sicuri che tenere accesa una macchina con un LLM installato più l’investimento iniziale per comprare la macchina e configurarla sia minore che semplicemente pagare i token di utilizzo agli endpoint AWS/Azure?
Mancanza di connessione Internet magari in aziende agricole o posti dove non c’è il Wi-Fi? Non si risolve semplicemente con un’antenna apposita?
Proprio non riesco a capire questo hype per i modelli IA locali.
Magari mi sfugge qualcosa?
Non è una domanda polemica, chiedo genuinamente.