Strata è un motore di inferenza open source che gira un modello da 125 miliardi di parametri su una GPU consumer da 12 gigabyte: è in homepage su Hacker News, e per chi ha fretta di capire il trucco (e i limiti) la risposta è una: Mixture of Experts. Non carica tutto il modello in memoria, attiva solo i neuroni che servono. Ma i numeri spaventosi nascondono insidie che devi conoscere se pensi di usarlo in azienda.
In breve: Strata comprime il modello attraverso una tecnica che attiva solo una parte dei parametri per volta, riducendo il carico in RAM. Conviene se serve privacy assoluta e il tuo ambiente può ospitare una GPU decente, ma non è gratis né magico: la velocità cala, i costi di setup iniziali ci sono, e il modello Qwen open source ha limiti rispetto a OpenAI o Google. Per una PMI, la vera domanda non è «ci entra?» ma «ne vale la pena rispetto a un'API cloud con meno mal di testa?»
Un modello da 125 miliardi di parametri, caricato tutto intero, occuperebbe circa 250 gigabyte in precisione float32. Con quantizzazione aggressiva scende a 30-50 GB: troppo per una RTX 4090 (24 GB di VRAM), impossibile per una RTX 3070 (10 GB). Qui entra Mixture of Experts: il modello non carica tutti i neuroni contemporaneamente, ma solo quelli attivi per ogni input.
È come avere un'officina dove solo i banchi di lavoro necessari si illuminano. Se il compito è semplice, accendi 5 banchi; se è complesso, accendi 20. Non illumini tutta l'officina ogni volta.
Qwen 125B non è un modello monolitico. È costruito come un albero di decisioni neurali: dato un input, il modello passa attraverso una serie di "router" che decidono quale sottogruppo di neuroni (detto "expert") elaborerà il dato. Non tutti gli expert vanno accesi per ogni token: Strata controlla dinamicamente quale subset serve e carica solo quello.
Il risultato pratico: con 12 GB di VRAM, Strata riesce a processare il modello perché tiene in memoria solo gli expert attivi per il batch corrente, e scarica il resto. La velocità di esecuzione cala rispetto a un modello caricato tutto intero, ma rimani in piedi senza comprare un server da 500.000 euro.
Mettere un LLM in locale dentro la tua infrastruttura significa zero dati sullo schermo a OpenAI, Google o Anthropic. Se gestisci dati sensibili, clienti che per contratto vietano cloud terzi, o semplicemente non vuoi affidare i tuoi prompt a una mega-corporation, questa è la vera leva.
L'AI Act italiano e europeo spinge verso trasparenza: sapere esattamente dove gira il tuo modello, quali dati vede, come sono protetti. Strata ti permette di dire «il modello gira su un server in azienda, solo noi lo maneggiamo». È una risposta legale e operativa ai nuovi obblighi.
Mixture of Experts non è magia. Tre freni importanti:
La velocità. Un modello in locale, anche con MoE, è lento rispetto al cloud. Un prompt su Strata impiega 5-15 secondi per rispondere; OpenAI GPT-4 fa lo stesso in 2-3 secondi. Se il tuo workflow ha fretta (chat in tempo reale, decine di richieste al secondo), il local diventa un problema.
La qualità. Qwen 125B open source è bravo, ma non è GPT-4 o Claude 3.5. Su task specifici (ragionamento astratto, linguaggi poco comuni, problemi nuovi) perde punti rispetto ai modelli chiusi. Se serve il 95% di accuratezza, il locale non basta.
I costi iniziali. Una GPU consumer costa 1.500-4.000 euro, il server che la monta 3.000-8.000 euro, il software di setup e manutenzione alcuni mesi di lavoro interno o consulenza esterna. Per una PMI di 10 persone che vuole usare un chatbot su 3-4 processi, spendere 10.000 euro iniziali e poi 500 euro al mese di energia e manutenzione può non conviene rispetto a 50 euro al mese di API cloud.
La vera domanda è operativa, non tecnica. Strata ha senso se:
Se invece la tua PMI ha solo bisogno di un assistente che risponda in tempo reale su una decina di processi standard, o un chatbot sul sito, un'API cloud con MCP per collegare il gestionale all'AI costa meno ed è meno complicata.
Se decidi di partire:
Tempo di setup: 2-4 settimane se hai uno sviluppatore junior che sa Linux. 1-2 settimane se è senior.
1. Valuta il volume di richieste mensili: conta quante volte al mese useresti davvero il modello. Meno di 1.000 richieste? API cloud vince. Più di 10.000? Strata inizia a convenire. Tra 1.000 e 10.000 è borderline: calcola i costi effettivi.
2. Mappare i dati sensibili: quali dati il modello deve toccare? Se sono nomi di clienti, numeri di contratto, formule proprietarie, scrivi esplicitamente che non possono uscire dalla rete aziendale. Se sono prompt generici tipo «scrivi una email di presentazione», il cloud va bene.
3. Testare con piccoli batch: non partire full-time. Prendi un vecchio server, installa Strata, fai girare 50-100 richieste reali e cronometra latenza e errori. Vedi se il timing è accettabile.
4. Verificare il supporto interno: chi mantiene questo? Se non hai un DevOps o uno sviluppatore che sa Linux e CUDA, i costi nascosti di troubleshooting si moltiplicano. Meglio un'API e paga meno stress.
5. Calcolare il break-even: costi iniziali + costi mensili (energia, manutenzione, stipendio chi lo guarda) diviso per il numero di richieste che risparmi da API. Se sono più di 24 mesi per il break-even, il cloud è già conveniente.
6. Controllare i requisiti legali del cliente: se lavori in settori regolati (sanità, finanza, diritto), verifica se il contratto con il cliente vieta esplicitamente cloud terzi. Se sì, on-premise diventa obbligatorio, non opzionale.
No. Se i tuoi dati sono sensibili ma il volume è basso, puoi usare OpenAI o Anthropic con contratti di riservatezza (non scritto nei log, non usato per training). Spesso è meno caro che mantenere un'infrastruttura on-premise. La vera discriminante è il volume + la sensibilità, non solo la sensibilità.
Tecnicamente puoi delegare a un DevOps o un consulente, ma non è una soluzione plug-and-play. Significa spendere denaro di consulenza fino a quando non è stabile. Un'API cloud è molto più agnostica: apri un account, genera una chiave, chiami un endpoint.
No. Un modello da 7B caricato tutto intero è spesso più veloce di Qwen 125B con MoE attivato parzialmente, perché non ha l'overhead di routing. MoE conviene se il modello piccolo non è abbastanza bravo e il full-load del modello grande non entra in memoria. È un compromesso, non una vittoria garantita.
Dipende dal task. Per classificazione di testo, generazione di risposta a FAQ, riassunti, sì. Per ragionamento astratto, correzione di codice complesso, consulenza strategica, no. Fai un test su 100 esempi reali prima di mettere Qwen in produzione.
Sì. Per questo serve un fallback: un'API cloud di backup, una coda di messaggi che accumula richieste fino al restart, o manualmente hai qualcuno che notifica "il sistema è down". Non è diverso da gestire qualunque altro server critico.
Sì, è una pratica smart. Usi Strata per task sensibili e non time-critical (analisi batch di dati riservati), OpenAI per task real-time (chat, generazione dinamica). Costano di meno totali e hai ridondanza.
Strata e Mixture of Experts non sono magia: sono un'opzione legittima quando la privacy non negoziabile, il volume è moderato e i tuoi processi possono tollerare latenza. Per la maggior parte delle PMI, un'API cloud con contratto di riservatezza è più semplice e costa meno. Valuta davvero se la privacy on-premise è un requisito operativo o una sensazione: è la differenza tra un investimento che paga e uno che pesa.
Se decidi di partire, parti piccolo: un test su un server aziendale, 50-100 richieste reali, due settimane di monitoring. Vedi se la latenza e la qualità sono accettabili. Se no, torna a un'API: è la scelta giusta e non è un fallimento, è una decisione operativa smart.
