TheSentinelLedger
Inizia oraPrenota

0. Overview

Che cos’è un audit di sicurezza per AI

L’audit AI è una revisione strutturata del sistema che usa modelli generativi: non solo il modello, ma anche prompt, dati, tool e processi che lo circondano.

Serve a capire se un LLM o un agente può essere manipolato per estrarre dati, eseguire azioni non previste o aggirare i controlli che oggi sembrano sufficienti.

Domanda chiave

Cosa può succedere di peggio se qualcuno prova attivamente a forzare il tuo sistema AI?

Obiettivo

Passare da “speriamo vada bene” a una decisione go/no‑go basata su scenari concreti e remediation verificabile.

1. Perché serve l’audit

Perché fare audit alle AI, anche se fai già pentest

Rischi non coperti da test classici

  • Prompt injection diretta e tramite contenuti esterni (RAG, email, file).
  • Leak di PII, segreti o IP attraverso risposte “creative”.
  • Abuso dei tool collegati all’AI (DB, shell, ticketing, CRM, storage).

Impatto su business e compliance

  • Incidenti difficili da spiegare a clienti e autorità, perché l’AI “decide”.
  • Richieste di prove di sicurezza da parte di partner enterprise.
  • Pressione normativa (privacy, AI Act, audit interni) su use‑case critici.

2. Superfici d’attacco

Dove tipicamente si rompono i sistemi AI

SuperficieChe problema cerchiamoSegnale di rischio
Prompt & istruzioniJailbreak, bypass di policy, escalation di permessi.Modello che “si dimentica” i vincoli quando il prompt è abbastanza lungo.
Dati & RAGEstrazione di documenti interni oltre il perimetro previsto.Risposte che citano informazioni che l’utente non dovrebbe vedere.
Tool & agentiComandi pericolosi passati a shell, DB, API interne o SaaS.Azioni eseguite “solo perché il testo lo chiede”, senza ulteriori controlli.
MLOps & supply‑chainModelli o dataset compromessi, configurazioni di deploy deboli.Ambienti di addestramento e inference esposti oltre il necessario.

3. Processo

Come si svolge un audit AI end‑to‑end

  1. Step 1

    Allineamento su perimetro e rischi

    Mappiamo use‑case, dati coinvolti, integrazioni e decisioni che l’AI influenza, così da concentrare i test sui punti che contano davvero.

  2. Step 2

    Red teaming e test guidati da prompt

    Eseguiamo scenari di attacco mirati (prompt injection, esfiltrazione, abuso di tool) documentando esattamente cosa è stato provato e con quali risultati.

  3. Step 3

    Fix list e verifiche di remediation

    Produciamo una lista di fix con priorità, owner e criteri di accettazione, più i test per verificare che la vulnerabilità sia effettivamente chiusa.

4. Output

Cosa porti a casa e come usarlo

Decisione go/no‑go motivata

Un quadro dei rischi con esempi concreti che permette a board e C‑level di decidere se andare in produzione, con quali limiti e in che tempi.

Materiale pronto per i team

Findings e fix pensati per essere trasformati in ticket, task di roadmap e controlli ripetibili nel tuo ciclo di sviluppo.

Base per audit futuri

Test e checklist che puoi riutilizzare quando cambi modello, integrazioni o apri nuovi use‑case basati su AI.