Perché un LLM on-premise nel manifatturiero
Un’azienda metalmeccanica che ci ha contattati aveva una domanda semplice: “possiamo usare ChatGPT sui nostri capitolati?”. La risposta tecnica è: dipende da cosa contengono i capitolati.
Il problema: dato sensibile, valore alto
Nel manifatturiero il knowledge asset è nei documenti che non possono andare a nessun fornitore esterno: distinte, cicli, trattamenti termici, tolleranze, offerte ai clienti OEM. Spedirli a un’API pubblica significa perdere controllo, e in alcuni casi firmare contratti di riservatezza impossibili da onorare.
La soluzione: il modello viene dai dati, non viceversa
Un LLM open weight installato su hardware dedicato cambia l’equazione:
- RAG on-premise: i documenti restano nel perimetro; l’indice vettoriale sta dentro, il modello sta dentro. Niente cloud, niente training sui vostri dati da parte di terzi.
- Costo strutturale, non a consumo: l’hardware si ammortizza; il costo per query tende a zero, e il dimensionamento si fa sui dati veri (non sulle stime di un venditore).
- Governability: versionamento del modello, logging locale, valutazione dei risultati con il vostro personale tecnico.
Quando NON conviene
L’AI locale non è per tutti: se il caso d’uso è una chat commerciale su contenuti pubblici, un servizio cloud ben integrato costa meno e rende di più. Prima del codice viene lo studio di fattibilità: se i documenti non bastano, se il flusso di lavoro non cambia, l’AI è solo costo.
Il nostro lavoro è dirvelo prima di farvi spendere.