Qwen su Piattaforme Raspberry Pi

Con l’avvento dei Large Language Models (LLM) ad alte prestazioni e, parallelamente, con la spinta verso l’edge computing, ci troviamo di fronte ad un vero cambiamento.

In questo contesto, la serie di modelli Qwen, sviluppata da Alibaba Cloud, si è distinta come una delle soluzioni più versatili e potenti nel panorama open-weight.

La capacità di far girare modelli di linguaggio complessi su hardware limitato, come il Raspberry Pi, non rappresenta solo un esercizio tecnico di ottimizzazione, ma una necessità strategica per garantire la sovranità dei dati, la riduzione della latenza e l’indipendenza operativa dalle infrastrutture cloud.

Il presente rapporto analizza l’evoluzione della famiglia Qwen, le innovazioni architetturali che ne permettono l’efficienza e le procedure tecniche dettagliate per l’integrazione su sistemi embedded di classe Raspberry Pi 4 e 5.

Evoluzione e Paradigmi della Famiglia di Modelli Qwen

La traiettoria di sviluppo della serie Qwen riflette una transizione dai modelli monolitici e pesanti verso architetture altamente scalabili e ottimizzate per compiti specifici.

Fin dalle sue prime iterazioni, Qwen ha posto un’enfasi particolare sul supporto multilingue e sulle capacità di coding, superando spesso benchmark stabiliti da modelli con un numero di parametri significativamente superiore. L’originale Qwen-72B, addestrato su oltre 3 trilioni di token, ha dimostrato che la qualità del dataset di addestramento è fondamentale quanto la scala del modello stesso.

Con il rilascio di Qwen 1.5 e successivamente Qwen 2.5, Alibaba ha introdotto una granularità senza precedenti nelle dimensioni dei modelli, offrendo varianti che spaziano da 0,5 miliardi a 110 miliardi di parametri.

Questa segmentazione ha permesso agli sviluppatori di selezionare il compromesso ideale tra prestazioni e requisiti hardware.

In particolare, la serie Qwen 2.5 ha consolidato miglioramenti nel ragionamento logico, nella generazione di testi lunghi fino a 128.000 token e nella produzione di output strutturati come il formato JSON, essenziali per l’integrazione in pipeline software complesse.

L’introduzione della serie Qwen 3 e del successivo affinamento Qwen 3.5 ha segnato l’apice della ricerca sull’efficienza per dispositivi edge. Qwen 3.5 è stato progettato esplicitamente per hardware con risorse limitate, come smartphone, tablet e microcontrollori, adottando un approccio che privilegia la velocità di inferenza e il basso consumo di memoria senza sacrificare la qualità delle risposte.

La tabella seguente illustra la distribuzione delle dimensioni dei modelli e i relativi target hardware consigliati, fornendo una panoramica della scalabilità della famiglia Qwen.

Fondamenti Architetturali: Ottimizzazioni per l’Efficienza Computazionale

L’efficienza della serie Qwen deriva da una serie di scelte progettuali che deviano dal Transformer standard per ottimizzare l’uso della memoria e del calcolo. Al centro di queste innovazioni vi è l’integrazione di tecniche come la Grouped-Query Attention (GQA), la normalizzazione RMSNorm e l’uso di attivazioni SwiGLU, che collettivamente riducono il sovraccarico computazionale durante l’inferenza su CPU ARM.

Meccanismi di Attenzione e Gestione della Memoria

La tradizionale Multi-Head Attention (MHA) richiede che ogni testa di query abbia le proprie teste di chiave e valore, portando a una crescita lineare della cache KV con il numero di teste. Qwen implementa invece la GQA, dove più teste di query condividono un’unica coppia di teste di chiave e valore.

Questo riduce drasticamente l’impronta di memoria della cache KV, un fattore critico quando si opera nei limiti degli 8GB o 16GB di un Raspberry Pi 5. La riduzione della cache KV permette non solo di caricare modelli più grandi, ma anche di gestire finestre di contesto più ampie senza incorrere in errori di esaurimento della memoria (Out-of-Memory).

Un’ulteriore raffinatezza è l’introduzione della QK-Norm (Query-Key Normalization) in Qwen 3, che applica la normalizzazione RMSNorm ai vettori di query e chiave prima del calcolo dell’attenzione.

Questa tecnica stabilizza i punteggi di attenzione e previene la divergenza dei valori numerici, migliorando la precisione del modello durante sessioni di chat prolungate o elaborazione di documenti estesi.

Il Modello Ibrido di Ragionamento: Thinking Mode

Una delle innovazioni più discusse di Qwen 3.5 è la modalità di ragionamento ibrida “Thinking” e “Non-Thinking”. Nella modalità “Thinking”, il modello genera una catena interna di pensieri (Chain of Thought) prima di fornire la risposta finale.

Questo processo permette al modello di risolvere problemi di logica, matematica e coding con una precisione paragonabile a modelli di scala molto superiore.

Tuttavia, su hardware edge come il Raspberry Pi, questa modalità introduce una latenza significativa, poiché il modello può generare centinaia di token di ragionamento interno prima che l’utente veda la prima parola della risposta effettiva.

Per ottimizzare l’esperienza utente su sistemi embedded, è fondamentale comprendere quando abilitare o disabilitare questa funzione.

Per compiti semplici come la sintesi di testi o l’assistenza generale, la disabilitazione della modalità “Thinking” (impostando il parametro think: false) può ridurre il tempo di risposta da minuti a pochi secondi.

Analisi Hardware del Raspberry Pi per l’Integrazione LLM

L’esecuzione di modelli come Qwen richiede una valutazione rigorosa delle capacità hardware del Raspberry Pi, con particolare attenzione alle differenze tra i modelli 4 e 5.

Processore e Memoria

Il Raspberry Pi 5 rappresenta un salto generazionale significativo grazie al SoC Broadcom BCM2712, dotato di quattro core ARM Cortex-A76 a 2,4 GHz. Questo incremento di potenza di calcolo, unito alla larghezza di banda superiore della memoria LPDDR4X-4267, permette di raggiungere velocità di generazione dei token che rendono l’interazione con modelli da 2B a 4B parametri fluida e utilizzabile in tempo reale.

Tuttavia, il vero collo di bottiglia per gli LLM non è la velocità della CPU, ma la larghezza di banda della memoria. Poiché il modello deve essere caricato interamente nella RAM e i pesi devono essere letti per ogni token generato, la velocità di inferenza è intrinsecamente limitata dalla velocità con cui la RAM può alimentare i dati al processore. L’uso di versioni da 8GB o 16GB di RAM è quindi obbligatorio per chiunque desideri eseguire varianti di Qwen superiori a 1.5B parametri.

Interfacce I/O e Storage

L’introduzione di un’interfaccia PCIe 2.0 sul Raspberry Pi 5 ha aperto la strada all’uso di unità SSD NVMe tramite HAT (Hardware Attached on Top) dedicati. L’uso di un SSD invece di una scheda MicroSD è fondamentale per due ragioni: la velocità di caricamento iniziale del modello (che può pesare diversi gigabyte) e la stabilità del sistema quando viene utilizzata la memoria virtuale (swap). Sebbene lo swap su SSD sia ancora ordini di grandezza più lento della RAM fisica, esso previene il crash del sistema quando il modello eccede leggermente la memoria disponibile, permettendo l’esecuzione di varianti quantizzate di modelli da 7B o 9B su un Pi da 8GB.

Gestione Termica

L’inferenza di LLM è uno dei compiti più intensivi dal punto di vista computazionale che un Raspberry Pi possa affrontare, portando tutti i core della CPU al 100% di utilizzo per periodi prolungati.

Senza un adeguato raffreddamento attivo, come l’Active Cooler ufficiale o case ventilati, il processore raggiungerà rapidamente la soglia critica di 80°C, innescando il throttling termico che dimezza le prestazioni per proteggere l’hardware.

Procedura Tecnica di Installazione tramite Ollama

Ollama è diventato lo strumento di riferimento per la gestione degli LLM su piattaforme Linux e ARM, grazie alla sua architettura che semplifica il download, la gestione dei modelli e l’esposizione di API compatibili con OpenAI.

Requisiti Software Preliminari

È indispensabile installare Raspberry Pi OS a 64-bit (basato su Debian Bookworm). Le versioni a 32-bit non supportano le istruzioni necessarie per l’inferenza efficiente e hanno limiti di indirizzamento della memoria che renderebbero impossibile l’esecuzione di Qwen.

Prima dell’installazione, è necessario assicurarsi che il sistema sia aggiornato e che le dipendenze base siano presenti:

Bash

sudo apt update && sudo apt upgrade -y
sudo apt install curl ca-certificates -y

Installazione di Ollama

Ollama fornisce uno script di installazione “one-liner” che rileva automaticamente l’architettura ARM64 e configura Ollama come un servizio di sistema systemd. Questo garantisce che il server Ollama sia sempre disponibile all’avvio:

Bash

curl -fsSL https://ollama.com/install.sh | sh

Dopo l’installazione, è possibile verificare lo stato del servizio e la versione installata:

Bash

ollama --version
systemctl status ollama

Selezione e Caricamento del Modello Qwen

Una volta che il backend di Ollama è attivo, è possibile procedere al download e all’esecuzione del modello Qwen desiderato. Il comando ollama run scaricherà automaticamente i file necessari (chiamati “blob”) e avvierà un’interfaccia interattiva nel terminale.

Per un Raspberry Pi 5 con 8GB di RAM, la scelta consigliata è Qwen 2.5 1.5B o Qwen 3.5 2B. Per chi possiede la versione da 16GB, è possibile spingersi fino a Qwen 2.5 7B o varianti quantizzate di Qwen 3.5 8B.

# Esempio per Qwen 3.5 2B
ollama run qwen3.5:2b

Strategie di Ottimizzazione per l’Ecosistema Raspberry Pi

Per trasformare il Raspberry Pi in un assistente AI realmente utilizzabile, l’installazione base non è sufficiente; sono necessarie ottimizzazioni a livello di sistema operativo e di configurazione del modello.

Configurazione della Memoria Swap

Il sistema di swap predefinito di Raspberry Pi OS è limitato a 100MB o 200MB, insufficienti per gestire i picchi di memoria durante il caricamento dei modelli LLM. Portare lo swap a 4GB o più è essenziale per la stabilità.

Per sistemi che utilizzano il pacchetto dphys-swapfile:

1. Disattivare temporaneamente lo swap: sudo dphys-swapfile swapoff.
2. Modificare il file di configurazione: sudo nano /etc/dphys-swapfile e impostare CONF_SWAPSIZE=4096.
3. Riavviare il servizio: sudo dphys-swapfile setup && sudo dphys-swapfile swapon.

Per i sistemi più recenti che utilizzano rpi-swap, la procedura prevede la creazione di un file di configurazione in /etc/rpi/swap.conf.d/ specificando il meccanismo swapfile e la dimensione in MiB.

Ottimizzazione dei Parametri di Inferenza in Ollama

Il comportamento di Qwen può essere finemente regolato tramite un file di configurazione chiamato Modelfile. Questo permette di creare versioni personalizzate del modello ottimizzate per il Raspberry Pi.

Un esempio di ottimizzazione per ridurre l’uso della memoria e migliorare la velocità è la limitazione della finestra di contesto e la disabilitazione del thinking mode a livello di sistema.

# Creare un file chiamato Modelfile
FROM qwen3.5:2b
PARAMETER num_ctx 8192
PARAMETER think false
PARAMETER repeat_penalty 1.1
SYSTEM "Sei un assistente locale leggero e veloce, ottimizzato per Raspberry Pi."

Dopo aver salvato il file, si crea il modello personalizzato con: ollama create my-qwen-pi -f Modelfile.

Gestione del Thinking Mode via API

Se si sviluppano applicazioni personalizzate che interagiscono con l’API di Ollama, è fondamentale passare correttamente il flag per disabilitare il ragionamento esteso se non necessario. Nel corpo della richiesta POST all’endpoint /api/chat, includere "think": false tra le opzioni. Questa singola modifica può ridurre drasticamente il tempo di risposta, poiché evita la generazione di decine di token di “pensiero” che consumano cicli di CPU preziosi.

Benchmark Prestazionali e Analisi Comparativa

L’efficacia di queste ottimizzazioni è evidente quando si analizzano i dati di test reali condotti su Raspberry Pi 5 con diverse varianti di Qwen.

Velocità di Generazione e Latenza

La metrica fondamentale per valutare l’usabilità di un LLM è la velocità di generazione dei token (t/s). Per una lettura confortevole, sono necessari almeno 5 t/s.

È interessante notare come la variante 35B MoE (A3B), nonostante la sua dimensione massiccia, riesca a girare su un Pi 5 da 16GB grazie alla natura sparsa dell’architettura Mixture-of-Experts, che attiva solo una frazione dei parametri per ogni token.

Tuttavia, la velocità di circa 2 t/s la rende adatta solo a compiti non interattivi o agentici dove la latenza non è critica.

Comparativa con Altri Modelli

Rispetto ad alternative popolari come Phi-3 di Microsoft o TinyLlama, Qwen 3.5 mostra una superiorità marcata nelle capacità di coding e nel supporto multilingue, pur mantenendo un’efficienza simile. Mentre TinyLlama (1.1B) può essere più veloce, la qualità dell’output di Qwen 3.5 2B è significativamente più alta, rendendolo il “punto di equilibrio” ideale per il Raspberry Pi.

Interfacce Utente e Integrazione nel Mondo Reale

L’interazione tramite riga di comando è utile per i test, ma per un utilizzo quotidiano è necessario integrare Qwen in interfacce grafiche o ecosistemi di automazione domestica.

Open WebUI tramite Docker

Open WebUI offre una dashboard web completa che supporta chat, caricamento di documenti e gestione di più modelli contemporaneamente. L’installazione su Raspberry Pi è consigliata tramite Docker per evitare conflitti di dipendenze:

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

Una volta avviato, l’interfaccia è accessibile all’indirizzo http://<indirizzo-ip-pi>:3000. Attraverso questa interfaccia, è possibile caricare file e interrogare Qwen sul loro contenuto, trasformando il Raspberry Pi in un assistente di ricerca locale e privato.

Automazione e Agentic AI

Grazie all’API REST di Ollama, Qwen può essere integrato in piattaforme come Node-RED o Home Assistant. Ad esempio, un flusso Node-RED può inviare una trascrizione vocale a Qwen 3.5 2B per estrarre l’intento dell’utente e comandare dispositivi intelligenti, tutto senza inviare dati all’esterno della rete domestica.

L’uso della modalità “Thinking” in questi contesti può essere riservato a compiti complessi di pianificazione, mentre la modalità veloce può essere usata per conferme e risposte rapide.

Manutenzione e Risoluzione dei Problemi Comune

L’inferenza locale su hardware edge comporta sfide operative costanti che richiedono una manutenzione attenta.

Errori di Memoria Insufficiente (Killed)

Se il comando ollama run fallisce con l’errore Signal: Killed, la causa è quasi sempre l’esaurimento della memoria fisica e dello swap. In questi casi, è necessario ridurre la finestra di contesto (num_ctx) o utilizzare una quantizzazione più aggressiva (es. Q3_K invece di Q4_K). L’aumento dello swap file è la prima contromisura da adottare.

Latenza Eccessiva

Se il modello risponde troppo lentamente, verificare tramite il comando htop se altri processi stanno consumando risorse CPU. Assicurarsi che il Raspberry Pi non stia subendo un throttling termico controllando i log di sistema: vcgencmd get_throttled. Se il valore è diverso da 0x0, è necessario migliorare il raffreddamento.

Problemi di Caricamento e Download

I modelli LLM pesano diversi gigabyte; un download interrotto può portare a file corrotti. Se un modello si comporta in modo anomalo o genera caratteri casuali (“gibberish”), è consigliabile rimuoverlo e scaricarlo nuovamente : ollama rm qwen3.5:2b && ollama run qwen3.5:2b.

Considerazioni

L’integrazione della serie Qwen su piattaforme Raspberry Pi segna un punto di svolta nell’accessibilità dell’intelligenza artificiale.

Non si tratta più di una tecnologia confinata nei server di grandi multinazionali, ma di uno strumento che può risiedere fisicamente sulla scrivania di uno studente, di un ricercatore o di un hobbista.

Il successo di Qwen 3.5 in questo ambito risiede nella sua architettura “consapevole dell’hardware”, che sfrutta innovazioni come GQA e SwiGLU per minimizzare il footprint senza compromettere la coerenza semantica.

La capacità di operare in modalità ibrida permette di adattare il carico computazionale alle necessità del momento, rendendo il Raspberry Pi 5 un laboratorio AI portatile e autosufficiente.

Mentre il futuro vedrà l’emergere di processori AI dedicati (NPU) integrati nelle future iterazioni del Raspberry Pi, l’attuale combinazione di ottimizzazione software (Ollama/llama.cpp) e design del modello (Qwen) ha già reso l’IA locale una realtà pratica e produttiva.

La strada verso un’intelligenza artificiale privata, sicura e onnipresente passa inevitabilmente per questi piccoli “mostri” di silicio che, alimentati dai modelli giusti, possono ragionare e assistere con una competenza che fino a pochi anni fa era pura fantascienza.