Sicurezza dei sistemi di IA
Prima di collegare l'IA ai tuoi dati
Quali documenti può leggere il sistema? A chi può mostrarli? Quali dati raggiungono servizi esterni? C'è anche una quarta domanda: che cosa succede se qualcuno prova a fargli aggirare le regole, per esempio con istruzioni nascoste in un documento? Mettiamo le risposte per iscritto e verifichiamo i controlli.
Che cos'è la sicurezza di un sistema di IA
Significa stabilire e verificare quali dati un'applicazione di IA può leggere, a chi può mostrarli, quali azioni può compiere e che cosa può inviare a servizi esterni. Usare l'IA per proteggere l'azienda dagli attacchi informatici è un servizio specialistico di cybersecurity: non è il nostro lavoro.
I problemi da risolvere
Il sistema legge più di chi lo usa
Nessuno sa che cosa esce dall'azienda
Un documento può nascondere istruzioni
Che cosa facciamo
Verifichiamo i permessi di chi fa la domanda
Impostiamo il sistema perché risponda solo con dati che la persona può consultare. Verifichiamo i controlli con utenze limitate, chiedendo informazioni che devono restare escluse dalle risposte.
Scriviamo quali dati possono uscire
Mettiamo per iscritto quali dati possono raggiungere servizi esterni, quali servizi, in quali paesi e per quanto tempo vengono conservati. Indichiamo anche quali dati devono restare dentro l'azienda.
Limitiamo le azioni consentite
Separiamo i permessi e le credenziali di lettura da quelli di modifica. Impostiamo una conferma umana per le operazioni che riguardano prezzi, pagamenti o dati personali.
Prove di abuso prima del rilascio
Proviamo istruzioni nascoste nei documenti, richieste fuori dai limiti concordati e tentativi di ottenere dati altrui. Usiamo gli esiti per correggere i controlli prima del rilascio e indicare ciò che resta da verificare.
Che cosa non facciamo
Non offriamo monitoraggio gestito e risposta agli incidenti
Sorvegliare la rete in modo continuativo e intervenire in caso di attacco richiede un servizio specializzato, con persone, strumenti e turni dedicati. È un servizio che non offriamo.
Non sostituiamo il tuo fornitore di sicurezza
Se hai già un fornitore di sicurezza, lavoriamo con lui. Le nostre scelte su permessi e dati devono rispettare le regole di sicurezza della tua azienda.
Non dichiariamo un sistema «sicuro»
Diciamo che cosa abbiamo verificato, con quali prove e che cosa resta scoperto. Una dichiarazione di sicurezza che omette ciò che non è stato provato non vale niente.
Che lavoro resta alle persone
La sicurezza di un sistema di IA richiede manutenzione. Persone, permessi, documenti e modelli cambiano: anche i controlli già verificati vanno riesaminati. Servono persone che seguano questi cambiamenti e verifichino che i controlli continuino a funzionare.
Tenere aggiornati i permessi
Leggere le segnalazioni e intervenire
Rifare le prove dopo ogni cambiamento
Che cosa verificare e misurare
A quali archivi può accedere oggi il sistema e con i permessi di chi?
Quali dati raggiungono servizi esterni, in quali paesi vengono trattati e per quanto tempo restano conservati?
Su venti tentativi di ottenere dati senza autorizzazione, quanti riescono?
Quante operazioni può completare il sistema senza una conferma umana?
Chi riceve le segnalazioni delle richieste anomale e quanto tempo passa prima che le esamini?
Fatti e fonti
Il Regolamento generale sulla protezione dei dati richiede misure tecniche e organizzative che garantiscano un livello di sicurezza adeguato al rischio (art. 32). Non prescrive una tecnologia: richiede scelte proporzionate e dimostrabili. Questo vale anche per i permessi di un assistente e per i dati che escono dall'azienda.
Fra le imprese italiane che hanno valutato l'intelligenza artificiale senza adottarla, il 43,2% indica come ostacolo le preoccupazioni su privacy e protezione dei dati. Per affrontare questo ostacolo servono risposte verificabili, non rassicurazioni.
Le domande che ci fanno più spesso
I documenti vengono usati per addestrare i modelli?
Verifichiamo che le condizioni dei fornitori scelti escludano l'uso dei documenti per addestrare i modelli e riportiamo questo vincolo nel contratto. È una condizione da controllare per ogni servizio di IA, senza darla per scontata.
Dove vengono trattati i dati?
Dipende dai dati da trattare, dal fornitore del modello, dalle regioni in cui opera e dagli obblighi della tua azienda. Prima di avviare il progetto concordiamo con te dove saranno trattati i dati e lo scriviamo nel contratto, insieme ai tempi di conservazione e ai dati che non devono mai essere inviati a servizi esterni. Un progetto che tratta dati personali dei clienti ha vincoli diversi da uno che consulta soltanto documentazione tecnica.
Che cos'è un'istruzione nascosta in un documento?
È un'istruzione rivolta al sistema dentro un contenuto da leggere, per esempio un'email o un PDF ricevuto. Se il sistema la tratta come un tuo comando, può mostrare dati o compiere azioni non autorizzate. I limiti alle azioni e le prove di abuso servono a ridurre questo rischio.
Serve una valutazione d'impatto sulla protezione dei dati?
Dipende dai dati e dall'uso previsto: non serve per ogni progetto. Ne valutiamo la necessità all'inizio, così che, quando richiesta, faccia parte del lavoro prima del rilascio.
Vi occupate anche degli attacchi informatici?
No. Non offriamo monitoraggio gestito e risposta agli incidenti: richiedono un fornitore specializzato, con persone, strumenti e turni dedicati. Collaboriamo con chi segue la tua sicurezza per la parte che riguarda le applicazioni di IA.
Come si verifica che i permessi funzionino davvero?
Li proviamo con utenze limitate, chiedendo dati che non devono poter leggere, e ti mostriamo gli esiti. La sola tabella dei permessi non dimostra che i controlli funzionino.
Conviene tenere tutto dentro l'azienda?
Non sempre. Con un modello eseguito in sede, la manutenzione e gli aggiornamenti restano a carico della tua azienda. La scelta dipende dai dati che tratti e da chi può occuparsi di questo lavoro.
Partiamo dai documenti che non devono uscire
Dicci quali dati devono restare in azienda e chi è autorizzato a consultarli. Da qui definiamo che cosa può fare il sistema, quali accessi servono e che cosa va escluso fin dall'inizio.