Questa settimana ho eseguito un modello AI completamente locale sul mio MacBook. Non per curiosità. Non come demo “vediamo di cosa si tratta”. Stavo davvero cercando di usarlo nel mio flusso di lavoro reale, con il mio sistema agente, per attività che dovevo svolgere.
Il modello era Qwen 3.6 con 9 miliardi di parametri. La mia macchina è un M1 Pro con 16 GB di RAM. Non un Mac Studio. Non una workstation. Un normale portatile. Qwen 3.6 è una versione recente, e le varianti più piccole sono ciò che ha reso questo esperimento utile ora, non sei mesi fa.
Ha funzionato.
Non “ha funzionato” nel senso che si è avviato senza errori. Ha funzionato nel senso che me ne sono stato lì a fare cose con esso e non ho avuto la sensazione di lottare contro l'hardware. Era più lento di Claude. Ovviamente. Ma la lentezza era entro un range accettabile. Il tipo di lentezza in cui sai che esiste, ma non ti senti penalizzato.
Mi ha sorpreso più di quanto mi aspettassi.
Due diverse storie di “AI locale”
Prima di addentrarci nell'esperimento, c'è una distinzione che vale la pena fare, perché viene continuamente confusa.
La prima versione di “AI locale” è un agente locale con un modello cloud. Tutto il codice risiede sul tuo dispositivo. Il tuo sistema di memoria, i tuoi script di automazione, le tue integrazioni con gli strumenti. Ma il modello vero e proprio è remoto. Chiami Claude o OpenAI dal tuo portatile, ma l'architettura che gestisce tutto è tua, sul tuo hardware.
Ed è anche il motivo per cui quest'anno la gente ha iniziato a comprare Mac Mini per ospitare framework agente locali. Ne ho scritto quando OpenClaw è diventato virale: il dispositivo è la parte economica. Un Mac Mini base costa circa 599 $. Il modello cloud è quello che fa il lavoro pesante. Tieni l'orchestrazione locale, privata e sempre attiva, senza bisogno di un abbonamento sempre attivo o di dipendere dall'infrastruttura di qualcun altro per la tua automazione.
La seconda versione è un LLM completamente locale. Il modello stesso risiede sul tuo dispositivo. Nessuna chiamata API. Nessuna dipendenza dal cloud. Nessun dato che esce dalla tua macchina. Per molto tempo, questa seconda strada ha significato hardware serio, perché i modelli che valeva la pena eseguire erano grandi, e grandi significava costosi. Dovevi guardare a un Mac Studio molto potente o superiore per ottenere qualcosa di realmente capace.
Questo calcolo sta iniziando a cambiare.
L'esperimento sul MacBook
Qwen 3.6 con 9 miliardi di parametri funziona in modo accettabile su 16 GB di RAM. Questa è la scoperta principale, ed è più importante di quanto sembri.
Ho usato Ollama, che è essenzialmente un'installazione con un unico comando che gestisce tutto il modello e ti fornisce una API locale compatibile con OpenAI su localhost:11434. Qualsiasi strumento che supporti il formato OpenAI può puntare a essa. Incluso Claude Code, che uso come interfaccia per Wiz.
Se vuoi replicare questo, bastano tre comandi:
<code-segment id="0" lang="text">
ollama pull qwen3.6:9b
</code-segment>
<code-segment id="1" lang="text">
ollama run qwen3.6:9b
</code-segment>
<code-segment id="2" lang="text">
poi punta il tuo strumento su localhost:11434/v1
</code-segment>
Questo è tutto. Ollama avvia un server locale su localhost:11434 con una API compatibile con OpenAI. Se usi Claude Code, puoi puntarlo a Ollama impostando l'URL di base. Qualsiasi strumento progettato per il formato API OpenAI funziona semplicemente. Ora sei offline, senza chiave API, senza costo per token.
Ecco cosa è realmente successo:
Il recupero della memoria ha funzionato sorprendentemente bene. Gli ho chiesto di estrarre contesto dai miei file di memoria. Li ha letti e ha riportato informazioni pertinenti con ragionevole precisione. La sintesi non era al livello di Claude, ma le informazioni sono state recuperate e utilizzate correttamente. Per un compito che fondamentalmente è “leggi un file, trova il pezzo pertinente, riportalo”, un modello da 9 miliardi lo gestisce senza problemi.
La chiamata agli strumenti è stata interessante. Qwen è riuscito a invocare gli strumenti nel mio sistema agente con ragionevole precisione per richieste semplici. Questo conta più della qualità del testo grezzo per il lavoro agente. Quando pensi all'ottimizzazione dei costi dell'AI, il modello che sa chiamare lo strumento giusto al momento giusto è spesso più prezioso di quello che scrive la prosa più bella.
Compiti creativi e ragionamento complesso? Non lo stesso. Quando ho chiesto aiuto per scrivere, analizzare o qualsiasi cosa richiedesse una sintesi reale, il divario di qualità era evidente. Questa non è una critica. È solo un'osservazione onesta su cosa un modello da 9 miliardi è e cosa non è. Ho provato anche la variante da 4 miliardi, e come previsto, il calo di capacità era significativo. Il 9 miliardi è dove traccerei la linea di usabilità per il mio tipo di lavoro.
La cornice importante qui: non si tratta di confrontare Qwen con Claude Opus. Non sono nella stessa categoria. Si tratta di capire se un modello locale può gestire un sottoinsieme reale del lavoro che faccio, e la risposta è sì. Un sottoinsieme reale e non banale.
C'è anche una strada che non ho ancora esplorato ma che mi interessa: il fine-tuning. Puoi fare fine-tuning di un modello da 4 o 9 miliardi sul tuo hardware. Inserisci la tua scrittura, le tue preferenze, la tua terminologia, il tuo stile. Ottieni qualcosa di più personalizzato di qualsiasi modello standard. Questo è possibile su un MacBook. Richiede tempo, ma non è un esercizio teorico. Per compiti specifici e personali in cui sai esattamente cosa vuoi che il modello faccia, un modello piccolo con fine-tuning potrebbe superare uno più grande generico.
L'esperimento sull'iPhone
L'esperimento sull'iPhone è stato più per curiosità che per utilità immediata. Ma alla fine è stata la parte che mi ha sorpreso di più.
L'app che ho usato si chiama PocketPal AI (gratuita sull'App Store). È un'app open-source che ti permette di scaricare ed eseguire modelli linguistici direttamente sul tuo iPhone, completamente in locale. Sfogli modelli da Hugging Face, li scarichi via Wi-Fi una volta, e poi li esegui senza bisogno di internet. Il modo più semplice per verificare che funzioni: attiva la modalità aereo, poi chiedi qualcosa al modello. Risponde. Niente lascia il tuo telefono.
Ho eseguito Qwen con 0,8 miliardi e 2 miliardi di parametri sul mio iPhone 17 Pro. La configurazione è semplice:
- Installa PocketPal AI dall'App Store
- Apri l'app, vai al browser dei modelli
- Cerca Qwen e scarica una variante piccola (0,5B o 1,5B per telefoni più vecchi, 2B per quelli più nuovi come il 17 Pro)
- Inizia a chattare, poi attiva la modalità aereo per confermare che è completamente locale
La domanda ovvia non era “questo è buono quanto Claude” ma semplicemente “riesci a mettere qualcosa di localmente utile su un telefono?” La risposta è sì, ma con chiari limiti. Sono modelli piccolissimi. Gestiscono compiti di testo base e risposte a domande brevi con qualità ragionevole. Non ti aiuteranno a creare un'app in una notte. Ma funzionano. Completamente sul dispositivo. Interamente in locale.
L'implicazione più interessante qui non è la capacità del modello. È il segnale hardware. Un iPhone che esegue un LLM locale nel 2026 significa che gli smartphone sono ora abbastanza potenti per farlo. Questo è significativo. Non perché il modello da 0,8 miliardi sia impressionante, ma perché l'hardware che hai già in tasca ha superato una soglia.
Anche l'angolo della privacy è reale. Quando niente lascia il tuo dispositivo, non devi pensare a cosa stai inviando dove. Nessun termine di servizio che regola le tue query. Nessun log API. Solo tu e i pesi che girano sul tuo silicio. Ci penso da quando ho perso l'accesso a sei mesi di dati vocali quando un servizio AI cloud è stato bandito nell'UE. Il locale è un diverso tipo di resilienza.
L'angolo del costo
Ecco la ragione pratica per cui questo conta oltre l'interesse tecnico: gli abbonamenti AI si accumulano velocemente quando esegui molti compiti agente. Questo non è ipotetico. Traccio il mio utilizzo attentamente.
Non tutti i compiti richiedono Opus. Molto lavoro agente è genuinamente semplice: leggere un file, formattare qualcosa, riassumere una breve nota, rispondere a una domanda fattuale dal contesto. Instradare quei compiti a un modello locale invece che a un modello di frontiera cambia notevolmente i conti.
La prossima versione di Haiku è qualcosa che seguo attentamente. Continua a migliorare e il costo continua a scendere. I modelli locali seguono la stessa traiettoria, solo a un livello diverso.
Dove va a finire
Penso che il futuro dell'AI coinvolgerà molta più potenza di calcolo locale di quanto suggerisca la conversazione attuale.
La forma che vedo: modelli cloud per le cose difficili. Ragionamento complesso, lavoro creativo, decisioni architetturali, cose che richiedono vera direzione e visione. Ma per le centinaia di piccoli compiti cognitivi che accadono in un sistema agente ogni giorno, i modelli locali diventeranno abbastanza buoni da rendere sensato l'instradamento.
Anche l'argomento hardware è importante qui. Guarda gli ultimi quattro anni di silicio consumer. M1, M2, M3, M4, M5. Ogni generazione significativamente più veloce e più efficiente dal punto di vista energetico della precedente. La traiettoria da entrambi i lati, modelli migliori e hardware migliore, sta puntando verso lo stesso posto. Tra qualche anno, i portatili che le persone già possiedono eseguiranno modelli che sembreranno notevolmente più capaci di quelli che ho eseguito io questa settimana.
La mia previsione approssimativa: tra tre anni, ci saranno modelli locali ottimizzati per casi d'uso specifici che competono genuinamente con gli attuali modelli di frontiera su quei compiti specifici. Non sul ragionamento generale. Non sulla sintesi creativa. Ma su “fai questa cosa specifica che mi interessa, rapidamente, privatamente, senza connessione internet”. È una categoria molto reale e utile.
C'è anche un aspetto ambientale che non viene discusso abbastanza. Il costo energetico e infrastrutturale di una query che colpisce un data center è di ordini di grandezza superiore rispetto alla stessa inferenza eseguita su silicio locale. Se la maggior parte dei compiti AI di routine si sposta in locale, l'equazione delle risorse cambia. Non risolta, ma significativamente diversa.
Al momento i compromessi sono chiari: i modelli locali sono limitati, il fine-tuning richiede sforzo, e il divario di capacità con i modelli di frontiera è reale. Ma la direzione di marcia non è ambigua. Il divario si sta chiudendo. L'ho testato questa settimana su hardware che possiedo da anni, e ha funzionato abbastanza bene da farmi pensare a dove instradare i compiti.
Se sei curioso: installa Ollama, fai il pull di Qwen 3.6 con 9 miliardi, e prova qualcosa di semplice nel tuo flusso di lavoro. L'esperienza è diversa dall'eseguire un benchmark. È sorprendentemente reale.
Se questo è stato utile – segui il mio canale Telegram:
