Modelli AI locali: quando convengono

I modelli AI locali sono modelli di intelligenza artificiale che girano direttamente sul tuo computer o su un server della tua azienda, invece che sui server di un fornitore come OpenAI, Anthropic o Google. In pratica scarichi un modello "a pesi aperti" (come Llama o Mistral) con uno strumento tipo Ollama o LM Studio, e da quel momento ogni domanda viene elaborata sul tuo hardware: i dati non escono dalla tua infrastruttura.

La domanda giusta non è "il locale è meglio del cloud?", ma "per quale processo, nella mia azienda, ha senso?". Far girare l'AI in casa porta vantaggi reali su privacy, costi ricorrenti e funzionamento offline, ma chiede hardware, accetta modelli mediamente meno capaci e ti scarica addosso la manutenzione. Per molte PMI il cloud resta la scelta più pratica; per altre, con dati sensibili o volumi alti, il locale diventa la mossa giusta.

In questa guida vediamo cosa sono davvero i modelli AI locali, i loro vantaggi e svantaggi concreti, un confronto diretto locale vs cloud e i casi in cui conviene (e quelli in cui no) a una piccola o media impresa italiana.

Cosa sono i modelli AI locali (e come funzionano)

Quando usi ChatGPT, Claude o Gemini, scrivi una domanda e questa viaggia su internet fino ai server del fornitore, che esegue il calcolo e ti rimanda la risposta. È il modello cloud: comodo, sempre aggiornato, ma i tuoi dati passano da un'azienda terza.

Con i modelli AI locali il flusso cambia: il modello è un file (i suoi pesi, cioè i parametri imparati durante l'addestramento) che scarichi una volta e tieni sul tuo dispositivo. Da quel momento ogni richiesta viene elaborata sul tuo hardware, senza connessione obbligatoria a internet. Questo è possibile solo con i modelli AI open source o "a pesi aperti", perché i grandi modelli proprietari non vengono distribuiti come file scaricabile.

Gli strumenti più usati per farlo, a livello concettuale, sono tre:

• Ollama: un programma da riga di comando (con interfacce grafiche di terze parti) che scarica e avvia modelli con un singolo comando. Molto usato per integrarlo in applicazioni.
• LM Studio: un'app desktop con interfaccia grafica, pensata per chi non vuole toccare il terminale. Ottima per provare modelli e chattarci subito.
• llama.cpp: il "motore" tecnico sotto molti di questi strumenti, che permette di eseguire modelli anche su hardware modesto comprimendoli (quantizzazione). Più orientato agli sviluppatori.

In tutti i casi il principio è lo stesso: il modello vive da te. La differenza con il cloud non è nel cosa fa l'AI, ma in dove avviene il calcolo e chi vede i dati.

Quali sono i vantaggi dei modelli AI locali?

I benefici del locale sono concreti, ma valgono solo se rispondono a un bisogno reale. Vediamoli uno per uno.

Privacy: i dati non escono dall'azienda

È il motivo numero uno. Con un modello locale, i documenti, le email dei clienti, i contratti o i dati sanitari che dai in pasto all'AI non lasciano mai la tua rete. Non c'è un fornitore esterno che li riceve, li conserva o (potenzialmente) li usa. Per uno studio legale, un commercialista o una clinica, questo cambia completamente il discorso GDPR: niente trasferimento dati verso terzi da gestire e documentare.

Costi: niente pagamento a token

I servizi cloud si pagano in base all'uso, di solito a token: più testo processi, più paghi. Con il locale, dopo l'investimento iniziale in hardware, l'uso aggiuntivo non costa nulla in licenze. Se elabori grandi volumi ogni giorno (migliaia di documenti, classificazioni di massa), il conto cloud cresce mese dopo mese, mentre il locale ha un costo fisso. Su volumi alti e costanti, la matematica spesso premia il locale.

Funzionamento offline e indipendenza

Un modello locale funziona senza internet e senza dipendere da un fornitore. Niente interruzioni se il servizio cloud va giù, niente sorprese se cambia il prezzo o se una versione del modello viene ritirata. Il modello che hai scaricato resta identico finché vuoi tu: utile dove la continuità conta o dove la connessione è instabile (cantieri, magazzini, sedi remote).

Controllo totale

Decidi tu quale versione usare, quando aggiornarla, come configurarla. Puoi anche fare fine-tuning su dati tuoi senza inviarli a nessuno. È il massimo grado di controllo possibile su un sistema AI.

Quali sono gli svantaggi e i limiti?

Il locale non è "gratis" né "meglio in tutto". I costi si spostano, non spariscono.

• Serve hardware. I modelli grandi richiedono GPU costose o molta memoria. Su un portatile normale giri solo modelli piccoli, e lentamente. L'hardware è un investimento iniziale reale, non un dettaglio.
• Modelli più piccoli, meno capaci. I modelli che giri in casa sono in genere più piccoli dei colossi cloud. Su ragionamenti complessi o compiti molto generali rendono meno. La differenza si nota soprattutto sui casi difficili.
• Manutenzione a tuo carico. Aggiornamenti, monitoraggio, gestione dei guasti, integrazione con i tuoi software: nel cloud è il fornitore a occuparsene, in locale tocca a te (o a chi ti assiste).
• Setup tecnico. Provare un modello è facile; metterlo in produzione, collegarlo ai gestionali e renderlo affidabile richiede competenza. Non è un "installa e dimentica".
• Sicurezza da gestire davvero. Come scritto nel callout: il controllo implica responsabilità. Va trattato come qualsiasi server aziendale.

Locale vs cloud: il confronto

Ecco i criteri che contano per decidere, messi a confronto. Nessuna opzione vince in assoluto: dipende dal tuo caso d'uso.

Per capire più a fondo come pesare questi criteri sul tuo caso, è utile la guida su come scegliere un modello AI.

Quando conviene il locale a una PMI (e quando no)

Riassumendo i criteri sopra in una scelta pratica:

La regola pratica: inizia spesso dal cloud per validare il caso d'uso, passa al locale quando privacy, volumi o compliance lo giustificano con numeri alla mano. Molte PMI fanno un percorso ibrido — cloud per i compiti generali, locale per i dati delicati.

Esempi pratici

Due scenari realistici di PMI e professionisti italiani.

1. Studio legale — analisi di contratti riservati. Lo studio vuole usare l'AI per riassumere e confrontare contratti, ma i documenti contengono dati dei clienti coperti da riservatezza. Inviarli a un servizio cloud esterno sarebbe un problema. Soluzione: un modello a pesi aperti (es. un Mistral, vedi Mistral AI) eseguito su un server in studio con Ollama. I contratti non escono mai dalla rete; il modello prepara la sintesi, l'avvocato controlla. Il valore del locale qui non è il costo, è la privacy non negoziabile. Discorsi simili valgono per l'AI applicata agli studi legali.

2. E-commerce — classificazione massiva di recensioni e ticket. Un negozio online processa migliaia di recensioni e richieste di assistenza al mese. Su questo volume, il costo a token di un servizio cloud crescerebbe ogni mese. Soluzione: un modello locale di dimensioni medie (un Llama o simile) classifica sentiment, smista i ticket e prepara bozze di risposta a costo marginale quasi zero dopo l'acquisto della GPU. I dati non sono ultra-sensibili, ma il volume rende il locale economicamente sensato.

In entrambi i casi non è "l'AI fa tutto da sola": il modello prepara, la persona decide. Cambia solo dove gira il calcolo.

Come scegliere: quattro passi

Errori da evitare

• Scegliere il locale solo perché "sembra più sicuro". Come visto, locale non significa sicuro: significa che la sicurezza è responsabilità tua. Se non la gestisci, è un rischio in più, non in meno.
• Sottovalutare l'hardware. Pensare di far girare un modello grande su un portatile normale porta a risposte lentissime e frustrazione. Verifica i requisiti prima, non dopo.
• Aspettarsi la qualità di ChatGPT o Claude da un modello piccolo locale. Su compiti complessi la differenza c'è. Scegli il locale per compiti specifici dove un modello più piccolo è già abbastanza buono.
• Dimenticare la manutenzione. Un server installato e mai aggiornato diventa un buco di sicurezza. Il locale è un impegno continuo, non una tantum.
• Investire in hardware prima di validare il caso d'uso. Parti dal cloud per capire se l'AI risolve davvero il problema; passa al locale solo quando i numeri lo giustificano.

Come applicarlo in azienda

Per una PMI, il modo sensato di introdurre i modelli AI locali è graduale e legato a un bisogno reale, non alla curiosità tecnologica.

• Identifica un processo dove la privacy dei dati è un vincolo vero, non teorico.
• Valida prima il caso d'uso nel cloud, misurando ore risparmiate ed errori evitati.
• Stima i volumi e confronta il costo cloud annuo con l'investimento in hardware locale.
• Parti con un modello piccolo su un compito definito, non con il modello più grande "perché sì".
• Definisci da subito chi gestisce sicurezza, backup e aggiornamenti del server.
• Tieni l'umano nel controllo: il modello prepara, la persona approva.

Questo è il punto in cui una consulenza AI fa la differenza: capire onestamente se nel tuo caso il locale conviene o se è una complicazione inutile, ed evitare di comprare hardware che resterà spento. Se serve un sistema fatto su misura — un modello locale collegato ai tuoi gestionali — può rientrare in un progetto di software su misura o di automazione dei processi aziendali. Esperimenti e prove concrete su questi temi li trovi nel The Lab.

Conclusione

I modelli AI locali non sono né una moda né la scelta giusta per tutti: sono uno strumento che conviene a chi ha dati sensibili da proteggere, volumi alti da gestire o vincoli di compliance precisi. In cambio chiedono hardware, accettano modelli mediamente meno capaci e scaricano su di te la manutenzione e — soprattutto — la sicurezza, che il locale non garantisce da solo. Per la maggior parte delle PMI ha senso partire dal cloud per validare il caso d'uso e valutare il locale quando i numeri lo giustificano. Da qui puoi proseguire con i modelli AI open source e con la guida AI per aziende per inquadrare il tutto in una strategia.

L'AI diventa utile quando entra nei processi. Giallo Studio aiuta PMI e team a costruire automazioni concrete, misurabili e sostenibili.