Definizione
Principio cardine secondo cui l’essere umano deve mantenere un ruolo centrale e insostituibile nel governo dei sistemi di IA. Si fonda sull’approccio antropocentrico (l’IA è uno strumento al servizio dello sviluppo umano) e sul principio di non delegabilità: nessuna decisione significativa può essere demandata esclusivamente all’algoritmo.
Come funziona
- Human oversight: nessuna decisione che impatti significativamente sulla vita degli studenti — in primis la valutazione degli apprendimenti — può essere delegata in via esclusiva alla macchina. L’ultima parola spetta sempre al docente o al dirigente.
- Obbligo rafforzato sui sistemi ad alto rischio: l’AI Act classifica i sistemi di valutazione come ad alto rischio, richiedendo un operatore umano qualificato in grado di comprendere, validare o annullare l’output dell’algoritmo. Il personale deve essere adeguatamente formato a supervisionare, interpretare e all’occorrenza annullare gli output.
- Non delegabilità (Legge 132/2025, Art. 3): la ricerca e l’utilizzo dell’IA devono rispettare l’autonomia e il potere decisionale umano; nessun processo automatizzato può sostituire integralmente la volontà umana.
- Trasparenza e spiegabilità (Explainable AI): studenti, docenti e famiglie hanno il diritto di sapere quando interagiscono con un sistema di IA (AI Act, Art. 50). Le logiche decisionali non devono essere “scatole nere”: le decisioni algoritmiche devono essere trasparenti e spiegabili, compresi limiti e “allucinazioni”.
Applicazioni o esempi
- Validazione da parte del docente dell’accuratezza delle informazioni generate, per evitare le “allucinazioni”.
- Operatore umano qualificato che può annullare l’output di un sistema di valutazione automatica.
- Informativa agli utenti sull’interazione con un sistema di IA.
Relazioni con altri concetti
- Valutazione e integrità accademica — la supervisione è tassativa sui sistemi di valutazione ad alto rischio.
- Governance scolastica dell’IA — la supervisione si traduce in figure e procedure di governance d’istituto.
- Privacy e protezione dei dati — trasparenza e antropocentrismo sono principi condivisi.
- Allucinazione — la spiegabilità include la comprensione di risposte plausibili ma errate.
- Explainable AI (IA spiegabile) — la spiegabilità tecnica è precondizione dell’oversight umano consapevole.
- Trasparenza algoritmica (art. 50 AI Act) — sapere che c’è un’IA (art. 50) è la precondizione per validarne o contestarne le decisioni.
- Riconoscimento delle emozioni (pratica vietata) — pratica vietata: qui non basta la supervisione, il sistema non è ammesso.
- Scuola aumentata — il potenziamento della didattica resta subordinato al controllo umano.
Contraddizioni e dibattiti
Il principio di spiegabilità si scontra con l’opacità tecnica dei modelli (“scatole nere”): garantire decisioni comprensibili è un obiettivo normativo non sempre pienamente realizzabile sul piano tecnologico.