RCD


Attendere prego, caricamento pagina...
“Due Process by Design”: il codice come garanzia procedimentale o come sua violazione?
ISCRIVITI (leggi qui)
Pubbl. Mar, 10 Mar 2026
Sottoposto a PEER REVIEW

“Due Process by Design”: il codice come garanzia procedimentale o come sua violazione?

Modifica pagina

Salvatore Stanizzi
Dottorando di ricercaUniversità degli Studi di Catanzaro Magna Græcia



L’adozione di algoritmi, sistemi di machine learning e smart contract nella decisione pubblica sta trasformando il procedimento amministrativo in un processo computazionale capace di incidere profondamente sulle garanzie del due process. L’opacità tecnica, la difficoltà di ottenere spiegazioni significative e la riduzione del contraddittorio mettono in tensione trasparenza, imparzialità e diritto alla contestazione, rendendo insufficiente il paradigma procedurale tradizionale. Il contributo propone lo standard di “Procedural Algorithmic Integrity”, fondato su tracciabilità, verificabilità indipendente, contestabilità effettiva e controllo umano significativo, come criterio minimo di compatibilità costituzionale per i sistemi decisionali automatizzati impiegati dall’amministrazione.


ENG The growing use of algorithms, machine learning systems, and smart contracts in public decision-making is transforming administrative procedures into computational processes that significantly affect due process guarantees. Technical opacity, limited explainability, and reduced opportunities for contestation undermine transparency, impartiality, and the right to challenge decisions, revealing the inadequacy of traditional procedural models. This article proposes the standard of “Procedural Algorithmic Integrity,” built on traceability, independent verifiability, effective contestability, and meaningful human oversight, as the minimum constitutional threshold for the legitimate use of automated decision-making systems in public administration.

Sommario: 1. Il problema: quando il procedimento diventa codice; 2. Il Due Process tradizionale e i limiti delle garanzie classiche nell’ambiente algoritmico; 3. L’algoritmo come procedimento: emersione di una nuova categoria giuridica; 4. Due Process by Design: programmare la correttezza procedurale; 5. Il modello statunitense: flessibilità normativa, opacità tecnica e rischi sistemici; 6. Il paradigma europeo e italiano: legalità, trasparenza e controllo umano significativo; 7. Verso uno standard di Procedural Algorithmic Integrity; 8. Conclusioni. Il costituzionalismo computazionale tra garanzia, rischio e necessità di un nuovo equilibrio

1. Il problema: quando il procedimento diventa codice

L’adozione crescente di algoritmi, sistemi di intelligenza artificiale e smart contract nell’amministrazione pubblica non rappresenta una mera evoluzione tecnica, ma una trasformazione profonda della struttura stessa del procedimento. Il codice non si limita a eseguire istruzioni: incorpora e organizza il processo decisionale. Ciò genera un modello nuovo, che può essere definito procedimento computazionale[1], nel quale la sequenza procedurale - tradizionalmente regolata da norme e valutazioni umane - viene “scritta” in un’architettura algoritmica che opera automaticamente e spesso in modo opaco[2]. Questa idea è stata intuita, ma non pienamente sviluppata, da parte della dottrina statunitense che ha iniziato a interrogarsi sui limiti del cosiddetto technological due process[3].

La questione centrale è comprendere se questo spostamento dal procedimento umano al procedimento codificato sia compatibile con le garanzie costituzionali tradizionali. Negli Stati Uniti, la Due Process Clause richiede procedure eque, trasparenti e contestabili prima che il governo possa privare un individuo di un interesse rilevante[4]. Tuttavia, quando la decisione deriva da modelli di machine learning o da smart contract, l’utente non interagisce più con un decisore umano, ma con un sistema che spesso non fornisce motivazioni, non permette un contraddittorio effettivo e può generare risultati non modificabili, come mostrato dal caso State v. Loomis sulla valutazione del rischio tramite algoritmo COMPAS[5].

Analoghe tensioni emergono in Europa, dove la disciplina del procedimento amministrativo è più strutturata, ma viene messa alla prova dall’impiego di sistemi automatizzati. Il GDPR riconosce il diritto dell’interessato a non essere soggetto a decisioni unicamente automatizzate e introduce un embrionale diritto alla spiegazione[6]. Tuttavia, la pratica amministrativa mostra come la legalità tecnica - cioè ciò che l’algoritmo è in grado di fare - possa di fatto prevalere sulla legalità formale, come osservato nei primi giudizi amministrativi italiani sui provvedimenti algoritmici[7].

La sfida teorica consiste quindi nel riconoscere che il procedimento non è più il luogo della decisione, ma la sua infrastruttura tecnica, e che questa infrastruttura può garantire o compromettere il Due Process molto più di quanto il diritto positivo riesca attualmente a controllare.

2. Il Due Process tradizionale e i limiti delle garanzie classiche nell’ambiente algoritmico

Il procedural due process statunitense si fonda sull’idea che le decisioni pubbliche debbano rispettare un nucleo minimo di garanzie formali e sostanziali[8] prima di incidere su diritti o interessi protetti. La giurisprudenza della Corte Suprema ha definito tali garanzie attraverso una progressiva stratificazione di principi: il diritto a ricevere una notifica adeguata, il diritto a un contraddittorio effettivo, e la necessità di una decisione resa da un decisore imparziale. La codificazione più influente di questo paradigma è il test elaborato in Mathews v. Eldridge, che individua tre fattori rilevanti: la natura dell’interesse in gioco, il rischio di un errore ingiustificato mediante le procedure esistenti e il valore aggiunto delle ulteriori garanzie, nonché il costo per lo Stato di introdurle[9]. Questo modello, disegnato per decisioni amministrative tradizionali, poggia su un presupposto implicito: l’esistenza di un decisore umano e di una logica operativa trasparente e accessibile.

Quando la decisione è delegata ad algoritmi o sistemi di intelligenza artificiale, tale presupposto viene meno. L’utente si confronta non con un funzionario, ma con un sistema computazionale che spesso non rende noti i criteri decisionali e le ponderazioni adottate. Ciò era già evidente nel caso Goldberg v. Kelly, che valorizzava il confronto orale e la possibilità di contestare direttamente la valutazione dell’autorità pubblica[10]. Tuttavia, queste garanzie presuppongono la comprensibilità del processo decisionale[11]: presupposto che può non sussistere quando l’output dipende da modelli complessi, come confermato dalla Corte del Wisconsin nel caso State v. Loomis, che ha evidenziato la difficoltà di contestare decisioni basate su algoritmi proprietari e non trasparenti[12].

L’incompatibilità tra garanzie classiche e decisione algoritmica emerge anche nelle situazioni in cui l’utente non può conoscere né verificare gli input utilizzati dal modello. La possibilità stessa di fare meaningful hearing è compromessa, poiché il cittadino non può contestare ciò che non è intellegibile. Inoltre, l’imparzialità del decisore assume un significato diverso: non riguarda più soltanto l’indipendenza personale del funzionario, ma l’assenza di bias nel modello, tema oggi largamente documentato dalla ricerca empirica[13].

In questo scenario, il Due Process tradizionale non dispone degli strumenti per garantire effettività procedurale. La questione non è soltanto di aggiornamento delle garanzie, ma di ridefinizione del concetto stesso di procedimento nell’era del calcolo.

3. L’algoritmo come procedimento: emersione di una nuova categoria giuridica

L’introduzione di sistemi algoritmici nella funzione amministrativa non comporta soltanto un mutamento degli strumenti utilizzati dalla pubblica amministrazione, ma determina la nascita di una nuova categoria giuridica: il procedimento algoritmico o computational process. In questo modello, la sequenza logico-decisionale non è più frutto di valutazioni discrezionali, pratiche operative o interpretazioni delle norme, bensì è il risultato di una struttura tecnica che incorpora, in forma computabile, la stessa logica del procedimento. Questo supera la tradizionale distinzione tra regola e applicazione, giacché l’algoritmo, soprattutto quando impiega tecniche di machine learning, non si limita ad applicare la regola: la ricostruisce e la rielabora attraverso la propria architettura[14].

La dottrina statunitense ha iniziato a cogliere questa trasformazione, evidenziando come la crescente centralità dell’algoritmo imponga di ripensare il ruolo del procedimento come garanzia, perché la struttura tecnica diventa essa stessa il luogo in cui si costruisce - o si nega - la tutela degli individui[15]. In un algoritmo decisionale, infatti, l’ordine procedurale è determinato dal codice: quali dati possono entrare, come vengono ponderati, quali soglie attivano certe decisioni, quali alternative sono escluse. Tale codificazione rende il procedimento rigido, opaco e potenzialmente autoreferenziale, soprattutto quando la PA non dispone della capacità tecnica per comprenderne o verificarne il funzionamento.

La giurisprudenza europea ha mostrato di riconoscere questi rischi. Nel 2020, il TAR Lazio ha affermato che l’amministrazione non può sottrarsi al controllo giurisdizionale invocando l’opacità del software utilizzato, riconoscendo un principio essenziale: se l’algoritmo decide, l’algoritmo diventa procedimento, e come tale deve essere conoscibile, verificabile e contestabile[16]. Tale posizione riflette il crescente consenso secondo cui l’utilizzo di modelli automatizzati non attenua, ma rafforza l’esigenza di accountability procedurale.

La novità, dunque, consiste nel fatto che il procedimento non si limita più a garantire la decisione: esso coincide tecnicamente con il processo decisionale. Questa sovrapposizione tra forma e sostanza della decisione pubblica è ciò che rende urgente la costruzione di una teoria del Due Process by Design, capace di assicurare che la struttura algoritmica rispetti - e non dissolva - le garanzie costituzionali.

4. Due Process by Design: programmare la correttezza procedurale

L’idea di Due Process by Design propone una trasformazione concettuale radicale: le garanzie procedurali non devono più essere semplicemente rispettate dall’amministrazione, bensì devono essere incorporate direttamente nelle architetture tecniche dei sistemi algoritmici utilizzati per decidere. Ciò implica che la correttezza procedurale non deriva esclusivamente da norme esterne al sistema, ma è resa possibile - o impossibile - dalla struttura del codice e dal modo in cui esso organizza i passaggi decisionali. Questa prospettiva si colloca in continuità con le intuizioni della teoria del code as law, secondo cui il codice definisce gli spazi di azione e i vincoli degli utenti attraverso una forma di regolazione tecnica che opera con la stessa efficacia - se non maggiore - della regolazione giuridica[17].

In un contesto amministrativo, ciò significa che elementi come la tracciabilità, la verificabilità, la spiegabilità e la contestabilità devono essere incorporati come requisiti tecnici, non come opzioni aggiuntive. La letteratura più recente sull’AI accountability ha mostrato che la possibilità di audit indipendente degli algoritmi è essenziale per garantire l’equità e la legalità delle decisioni pubbliche[18]. Tuttavia, la maggior parte dei sistemi in uso oggi non consente di verificare in modo trasparente i criteri decisionali, né permette agli individui di ottenere spiegazioni comprensibili, come evidenziato anche nel dibattito sul “right to explanation” nell’ambito del GDPR[19].

L’approccio by design permetterebbe di riformulare le garanzie procedurali in forma tecnica. Ad esempio, la notifica potrebbe essere automatizzata e documentata, la tracciabilità potrebbe essere garantita mediante registri immutabili, la valutazione dell’imparzialità potrebbe avvenire verificando sistematicamente l’assenza di bias nei modelli, mentre il diritto al contraddittorio richiederebbe la possibilità di simulare decisioni alternative o di accedere ai parametri utilizzati dall’algoritmo. Tali requisiti non sono ancora pienamente sviluppati nella prassi delle amministrazioni, ma sono stati progressivamente riconosciuti come necessari nei principali report internazionali, tra cui quelli dell’OCSE e della Commissione Europea sul trustworthy AI[20].

L’ambizione del Due Process by Design non è semplicemente quella di controllare gli algoritmi, ma di progettare sistemi decisionali pubblici che siano intrinsecamente compatibili con le garanzie costituzionali, assicurando che la tecnologia non eroda ma rafforzi il procedimento equo.

5. Il modello statunitense: flessibilità normativa, opacità tecnica e rischi sistemici

Il modello statunitense di regolazione dell’azione amministrativa automatizzata si caratterizza per un’elevata flessibilità normativa, unita a una tradizione costituzionale che attribuisce al Due Process Clause un ruolo centrale ma al tempo stesso dinamico. Questa flessibilità ha favorito una diffusione relativamente precoce di sistemi algoritmici nella sfera pubblica, soprattutto nei settori della giustizia penale, dell’immigrazione e dell’assistenza sociale. Tuttavia, essa comporta un rischio strutturale: in assenza di obblighi normativi chiari di trasparenza o spiegabilità, l’utilizzo di modelli complessi può produrre decisioni pubbliche non verificabili e difficilmente contestabili. L’esperienza del sistema COMPAS, oggetto del noto caso State v. Loomis, ha mostrato come la logica proprietaria dei software commerciali possa impedire all’imputato e al giudice di comprendere il funzionamento del modello, compromettendo la possibilità stessa di una revisione procedurale significativa[21].

A differenza dell’Unione Europea, gli Stati Uniti non riconoscono un diritto alla spiegazione delle decisioni automatizzate. Ciò deriva sia dalla struttura costituzionale, che tende a tutelare la discrezionalità amministrativa, sia dalla natura prevalentemente sectoral della regolazione tecnologica. Anche l’intervento federale più organico degli ultimi anni, l’Executive Order 13960 sul “Trustworthy AI in Government”, pur affermando la necessità di sistemi trasparenti, affidabili e controllabili, non introduce obblighi giuridici vincolanti né definisce standard tecnici verificabili da parte degli utenti o dei giudici[22]. La conseguenza è che l’amministrazione federale può utilizzare sistemi di machine learning senza fornire garanzie procedurali equivalenti a quelle richieste nei procedimenti tradizionali.

Parallelamente, la ricerca indipendente ha documentato l’esistenza di bias significativi in modelli utilizzati dalle autorità pubbliche, in particolare nel campo della giustizia penale. L’investigazione giornalistica di ProPublica del 2016 ha mostrato come COMPAS presenti tassi di errore diseguali a sfavore dei soggetti afroamericani, mettendo in luce la fragilità dell’idea secondo cui gli algoritmi sarebbero strumenti neutrali[23]. Ciò solleva interrogativi fondamentali sulla compatibilità tra algoritmi opachi e procedural fairness, soprattutto in assenza di meccanismi di audit indipendente.

In questo scenario, il modello statunitense appare esposto a un rischio sistemico: la tecnologia può amplificare le disuguaglianze procedurali senza che l’ordinamento disponga di strumenti adeguati per correggerle. L’assenza di standard federali vincolanti accentua la distanza tra l’efficienza perseguita e la garanzia procedurale necessaria.

6. Il paradigma europeo e italiano: legalità, trasparenza e controllo umano significativo

Il modello europeo di regolazione delle decisioni automatizzate si distingue da quello statunitense per un approccio più strutturato alle garanzie procedurali, fondato sui principi di legalità, trasparenza, proporzionalità e controllo umano significativo. Il fulcro di tale architettura è l’art. 22 del GDPR, che riconosce all’interessato il diritto di non essere sottoposto a decisioni basate unicamente sul trattamento automatizzato, salvo alcune eccezioni, e che impone obblighi di trasparenza, intervento umano e possibilità di contestazione[24]. Sebbene il dibattito dottrinale abbia osservato che il cosiddetto “right to explanation” non è pienamente codificato nel testo del regolamento, vi è un consenso crescente sul fatto che la trasparenza algoritmica rappresenti una condizione necessaria per la legittimità dell’automazione nelle procedure pubbliche[25].

L’AI Act europeo, approvato nel 2024, rafforza ulteriormente questo impianto. L’atto introduce obblighi specifici per i sistemi di IA ad alto rischio, tra cui quelli utilizzati nelle decisioni amministrative che incidono su diritti fondamentali: documentazione tecnica, valutazione del rischio, registrazione automatica delle operazioni, supervisione umana qualificata e requisiti di robustezza e cybersecurity[26]. Ciò segna una differenza significativa rispetto al modello statunitense, poiché colloca la garanzia procedurale non solo nel momento della decisione, ma nell’intero ciclo di progettazione, addestramento e utilizzo dell’algoritmo.

Anche la giurisprudenza italiana ha sviluppato un orientamento avanzato nel riconoscere che l’algoritmo, quando incide su posizioni giuridiche soggettive, deve rispettare i principi del procedimento amministrativo. La sentenza del TAR Lazio del 2020 sull’algoritmo utilizzato per l’assegnazione degli insegnanti ha stabilito che l’amministrazione ha l’obbligo di rendere conoscibili i criteri di funzionamento e gli elementi determinanti dell’output, affermando che la mera opacità tecnica non può giustificare una deroga alle garanzie di trasparenza e motivazione[27]. Simili conclusioni sono state raggiunte anche dal Consiglio di Stato, che ha chiarito come l’uso di sistemi automatizzati non possa elidere il principio di legalità né il diritto di difesa[28].

Nel complesso, l’approccio europeo e italiano tenta di costruire una forma di garanzia procedurale preventiva, inserendo vincoli di trasparenza e supervisione sin dalla progettazione dei sistemi algoritmici. Tuttavia, permangono criticità: la complessità tecnica dei modelli e la difficoltà di audit indipendenti rendono ancora fragile la promessa di un pieno controllo umano significativo.

7. Verso uno standard di Procedural Algorithmic Integrity

La crescente integrazione di sistemi algoritmici nelle decisioni pubbliche impone l’elaborazione di un nuovo quadro teorico capace di superare le categorie tradizionali del procedimento amministrativo e del procedural due process. Il concetto di Procedural Algorithmic Integrity propone uno standard che definisce le condizioni minime affinché un algoritmo impiegato dall’amministrazione sia costituzionalmente compatibile con un ordinamento democratico. Tale standard non sostituisce le garanzie procedurali classiche, ma le traduce in requisiti tecnici che devono essere verificabili, auditabili e contestabili.

Il primo elemento è la tracciabilità: ogni passaggio della decisione deve essere documentato e ricostruibile, affinché l’utente e il giudice possano comprendere come un determinato output è stato generato. Questo requisito è già stato riconosciuto come fondamentale dalla letteratura europea sull’“AI accountability”, secondo cui la registrazione automatica delle operazioni (logging) costituisce una forma essenziale di auditabilità[29].

Il secondo pilastro è la verificabilità indipendente. L’amministrazione non può utilizzare algoritmi di cui non è in grado di spiegare il funzionamento né di controllare il comportamento. Case di studio come State v. Loomis mostrano come l’opacità dei software commerciali impedisca la piena contestabilità dell’atto pubblico[30]. Per questo, i sistemi decisionali dovrebbero adottare modelli accessibili alla revisione giudiziaria e all’audit tecnico indipendente, principio ora formalizzato nell’AI Act per i sistemi classificati ad alto rischio[31].

Un terzo elemento riguarda la contestabilità effettiva, intesa come la possibilità per il cittadino di ottenere un riesame umano significativo della decisione automatizzata. Ciò richiede non solo la supervisione umana, ma anche la capacità tecnica di ripercorrere, comprendere e correggere il processo algoritmico. In assenza di questo requisito, il diritto al rimedio effettivo, riconosciuto sia dal diritto europeo sia dal Due Process Clause, risulta svuotato di contenuto.

Infine, la Procedural Algorithmic Integrity richiede la neutralità strutturale del modello, che implica verifiche sistematiche sull’assenza di bias discriminatori[32]. La ricerca empirica ha mostrato la vulnerabilità dei modelli predittivi a distorsioni sistemiche, rendendo indispensabili strumenti di auditing basati su metriche statistiche riconosciute[33].

Questo standard si propone quindi come un ponte tra tecnologia e diritto: uno strumento per garantire che l’algoritmo non sia solo efficiente, ma intrinsecamente conforme ai principi costituzionali.

8. Conclusioni. Il costituzionalismo computazionale tra garanzia, rischio e necessità di un nuovo equilibrio

L’emersione del procedimento algoritmico segna una trasformazione profonda del diritto pubblico contemporaneo. Le categorie classiche del due process e del procedimento amministrativo non scompaiono, ma risultano insufficienti a fronte di sistemi decisionali che non si limitano ad applicare regole, bensì le incorporano tecnicamente, determinando la struttura stessa del processo decisionale. Ciò impone l’elaborazione di un nuovo paradigma: un costituzionalismo capace di confrontarsi con infrastrutture computazionali che operano con una logica propria e che, se non adeguatamente regolate, rischiano di erodere progressivamente le garanzie fondamentali.

Il modello statunitense, caratterizzato da grande flessibilità e assenza di obblighi normativi specifici in materia di trasparenza algoritmica, espone l’ordinamento al pericolo di decisioni pubbliche opache e difficilmente contestabili. Il caso State v. Loomis ha mostrato in modo emblematico che, quando il funzionamento di un algoritmo è sottratto al controllo degli individui e dei giudici, il procedural due process diventa difficilmente applicabile[34]. L’approccio europeo e italiano, pur più attento alla trasparenza e alla supervisione umana, è anch’esso alle prese con una complessità tecnica che rende arduo assicurare controlli effettivi, come dimostrano i primi casi giurisprudenziali in materia[35].

In questo scenario, il concetto di Procedural Algorithmic Integrity emerge come uno strumento teorico e pratico per individuare i requisiti minimi di legittimità costituzionale dei sistemi decisionali automatizzati. Tracciabilità, verificabilità indipendente, contestabilità effettiva e neutralità strutturale rappresentano le condizioni indispensabili affinché l’algoritmo possa operare senza sacrificare le garanzie fondamentali. Questo approccio è coerente con le linee internazionali più recenti, come la raccomandazione dell’OCSE sull’IA affidabile, che sottolinea la necessità di accountability e supervisione umana nei sistemi algoritmici pubblici[36].

Il futuro del diritto pubblico dipenderà dalla capacità degli ordinamenti di integrare queste garanzie nella progettazione tecnica dei sistemi decisionali. Senza tale integrazione, il rischio è quello di un “procedimento senza procedura”, in cui l’efficienza tecnologica prevale sulle garanzie democratiche. Con essa, invece, diventa possibile immaginare un costituzionalismo computazionale in cui l’innovazione non minaccia, ma rafforza i diritti fondamentali.


Note e riferimenti bibliografici

[1] HILDEBRANDT M., Smart Technologies and the End(s) of Law, Novel Entanglements of Law and Technology, Edward Elgar, 2015, ove l’autrice analizza come l’introduzione di tecnologie intelligenti modifichi profondamente le condizioni entro cui il diritto può operare e garantire certezza giuridica.

[2] FPASQUALE F., The Black Box Society. The Secret Algorithms That Control Money and Information, Harvard University Press, 2015. L’autore descrive l’emergere di sistemi decisionali automatizzati caratterizzati da forte opacità informativa, osservando che «we are increasingly ruled by black box systems whose workings are opaque».

[3] CITRON D. K., “Technological Due Process”, Washington University Law Review, vol. 85, 2007–2008, ove l’autrice osserva che l’automazione delle decisioni amministrative può compromettere le garanzie procedurali tradizionali, poiché «the increasing use of automated systems threatens core procedural protections».

[4] UNITED STATES SUPREME COURT, Mathews v. Eldridge, 424 U.S. 319 (1976), ove la Corte Suprema ha affermato che «identification of the specific dictates of due process generally requires consideration of three distinct factors», individuando il noto test tri-fattoriale per valutare la sufficienza delle garanzie procedurali.

[5] SUPREME COURT OF WISCONSIN, State v. Loomis, 881 N.W.2d 749 (Wis. 2016), caso relativo all’utilizzo dell’algoritmo COMPAS nella valutazione del rischio di recidiva, nel quale la Corte ha riconosciuto che l’uso di tali strumenti deve essere accompagnato da adeguate cautele, poiché «the risk assessment tool was not intended to determine the sentence».

[6] GDPR, Regolamento (UE) 2016/679, art. 22, che riconosce all’interessato il diritto di non essere sottoposto a decisioni basate unicamente su trattamenti automatizzati, salvo specifiche eccezioni.

[7] TAR LAZIO, Sez. III-bis, sent. 22 gennaio 2020, n. 951, relativa all’algoritmo utilizzato per l’assegnazione degli insegnanti, nella quale il giudice amministrativo ha affermato che l’amministrazione non può sottrarsi al controllo giurisdizionale invocando l’opacità del software, ribadendo la necessità che i criteri decisionali siano conoscibili.

[8] COGLIANESE C., LEHR D., «Regulating by Robot: Administrative Decision Making in the Machine Learning Era», Georgetown Law Journal, 2017, studio che analizza l’impatto dei sistemi di machine learning nei processi decisionali amministrativi e le implicazioni per le garanzie procedurali tradizionali.

[9] UNITED STATES SUPREME COURT, Mathews v. Eldridge, CIT., ove i supremi giudici asseriscono che «the fundamental requirement of due process is the opportunity to be heard».

[10] UNITED STATES SUPREME COURT, Goldberg v. Kelly, 397 U.S. 254 (1970), decisione nella quale la Corte ha sottolineato che il procedimento deve garantire un effettivo contraddittorio, affermando che «the opportunity to be heard must be tailored to the capacities and circumstances of those who are to be heard».

[11] YEUNG K., «Algorithmic Regulation: A Critical Interrogation», Regulation & Governance, 2018, contributo che esamina come i sistemi algoritmici possano ridefinire le modalità di regolazione e decisione pubblica, incidendo sulle tradizionali garanzie procedurali.

[12] SUPREME COURT OF WISCONSIN, State v. Loomis, cit., ove la Corte ha evidenziato i limiti derivanti dall’utilizzo di algoritmi proprietari non trasparenti e ha osservato che l’imputato non può accedere pienamente al funzionamento del software utilizzato.

[13] CHOULDECHOVA A., “Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments”, Big Data, vol. 5, 2017. L’autrice propone uno studio empirico che analizza le distorsioni statistiche nei sistemi predittivi utilizzati nella giustizia penale e dimostra come differenti criteri di equità possano produrre risultati incompatibili, osservando che «different definitions of fairness cannot be simultaneously satisfied».

[14] BURRELL J., “How the Machine ‘Thinks’: Understanding Opacity in Machine Learning Algorithms”, Big Data & Society, SAGE Journal, 2016, ove l’autrice evidenzia come molti sistemi di machine learning presentino forme di opacità, osservando che «opacity in machine learning systems can arise from multiple sources».

[15] CITRON D. K., “Technological Due Process”, Washington University Law Review, cit., contributo nel quale l’autrice analizza l’impatto dei sistemi informatici sui processi decisionali pubblici, evidenziando come l’automazione possa incidere sulla capacità degli individui di comprendere e contestare le decisioni amministrative, osservando che «automated systems increasingly mediate important decisions about individuals».

[16] TAR LAZIO, Sez. III-bis, sent. 22 gennaio 2020, cit., che ha ribadito l’obbligo di trasparenza dell’algoritmo amministrativo, affermando che la pubblica amministrazione deve garantire la conoscibilità dei criteri decisionali incorporati nel sistema informatico.

[17] LESSIG L., Code and Other Laws of Cyberspace, Basic Books, 1999, l’autore sostiene che l’architettura tecnica dei sistemi digitali costituisce una forma di regolazione capace di incidere sui comportamenti quanto la norma giuridica, sintetizzando tale intuizione nella celebre affermazione secondo cui «code is law».

[18] BURRELL J., “How the Machine ‘Thinks’: Understanding Opacity in Machine Learning Algorithms”, Big Data & Society, SAGE Journal, 2016. Il contributo individua diverse forme di opacità nei sistemi, sottolineando che «opacity in machine learning systems can arise from technical complexity, trade secrecy, and the characteristics of the algorithms themselves».

[19] WACHTER S., MITTELSTADT B., FLORIDI L., “Why a Right to Explanation Does Not Exist in the GDPR”, International Data Privacy Law, 2017. In questo studio, gli autori sostengono che il Regolamento Europeo non riconosce un diritto generale alla spiegazione delle decisioni automatizzate, osservando che «the GDPR does not provide a general right to explanation of automated decisions».

[20] OECD, Recommendation of the Council on Artificial Intelligence, 2019. Documento che stabilisce principi per uno sviluppo responsabile dell’intelligenza artificiale, sottolineando che i sistemi di IA dovrebbero essere «transparent and explainable» e garantire adeguati meccanismi di responsabilità.

[21] SUPREME COURT OF WISCONSIN, State v. Loomis, cit., con specifico riferimento al punto in cui la Corte ha riconosciuto che l’utilizzo di strumenti di risk assessment algoritmico deve essere accompagnato da adeguate cautele procedurali, precisando che tali sistemi devono essere utilizzati «as a supplement to, rather than a replacement for, judicial decision-making».

[22] EXECUTIVE ORDER 13960, “Promoting the Use of Trustworthy Artificial Intelligence in the Federal Government”, Federal Register, 3 dicembre 2020, con il quale il governo federale statunitense ha affermato che le agenzie devono adottare sistemi di IA «reliable, robust, and capable of being understood by relevant stakeholders».

[23] ANGWIN J., LARSON J., MATTU S., KIRCHNER L., “Machine Bias”, ProPublica - propublica.org, 2016. Indagine giornalistica che ha evidenziato come il sistema COMPAS utilizzato nella giustizia penale statunitense presentasse significative distorsioni, mostrando che il modello risultava «particularly likely to falsely flag black defendants as future criminals».

[24] REGOLAMENTO (EU) 2016/679 (General Data Protection Regulation  - GDPR), art. 22, disposizione che limita le decisioni basate esclusivamente su trattamenti automatizzati e impone l’adozione di garanzie adeguate, tra cui la possibilità di ottenere «human intervention» e di contestare la decisione.

[25] WACHTER S., MITTELSTADT B., FLORIDI L., “Why a Right to Explanation Does Not Exist in the GDPR”, cit., contributo nel quale gli autori analizzano criticamente la portata dell’art. 22 del GDPR, evidenziando come il regolamento non introduca un vero e proprio diritto generalizzato alla spiegazione delle decisioni automatizzate, ma piuttosto obblighi informativi limitati, osservando che «the GDPR does not contain a general right to explanation of automated decision-making».

[26] REGULATION (EU) 2024/1689 (Artificial Intelligence Act), 13 giugno 2024, OJ L, 12 July 2024, che introduce una disciplina armonizzata per i sistemi di intelligenza artificiale, imponendo per i sistemi ad alto rischio obblighi di documentazione tecnica, registrazione delle operazioni e supervisione umana.

[27] TAR LAZIO, Sez. III-bis, sent. 22 gennaio 2020, cit., relativa all’utilizzo di un algoritmo per l’assegnazione degli insegnanti, nella quale il giudice amministrativo ha affermato che l’impiego di sistemi automatizzati non può comprimere le garanzie procedurali del cittadino, ribadendo la necessità che i criteri decisionali siano conoscibili e verificabili anche quando incorporati in un software.

[28] CONSIGLIO DI STATO, Sez. VI, sent. 8 aprile 2019, n. 2270, relativa all’utilizzo di algoritmi nei procedimenti amministrativi, nella quale il giudice ha affermato che l’impiego di sistemi automatizzati «non può comportare l’elusione dei principi di trasparenza e di conoscibilità dell’azione amministrativa».

[29] FLORIDI L., HOLWEG M. et al., “AI and Accountability in Public Administration”, Philosophy & Technology, rivista Springer, 2023. Analisi sui meccanismi di responsabilità nei sistemi algoritmici utilizzati dalle amministrazioni pubbliche, sottolineando come l’impiego di sistemi di IA richieda adeguati strumenti di audit e tracciabilità, poiché «accountability mechanisms are essential when AI systems are deployed in public administration».

[30] SUPREME COURT OF WISCONSIN, State v. Loomis, cit., sui limiti derivanti dall’utilizzo di sistemi algoritmici nel processo decisionale giudiziario, I giudici precisano che «although COMPAS risk scores are not intended to determine the sentence, the court must be aware of the limitations of such tools and of the fact that the proprietary nature of the algorithm prevents a full examination of how the score is calculated».

[31] REGULATION (EU) 2024/1689 (Artificial Intelligence Act), 13 giugno 2024, OJ L, 12 July 2024. Si veda la parte sui sistemi classificati ad alto rischio che devono essere progettati e sviluppati in modo tale da garantire «an appropriate level of transparency and traceability, allowing competent authorities and users to interpret the system’s output and use it appropriately».

[32] BAROCAS S., SELBST A. D., «Big Data’s Disparate Impact», California Law Review, 2016, studio che analizza come l’uso di dati e algoritmi possa produrre effetti discriminatori anche in assenza di intenzionalità.

[33] CHOULDECHOVA A., “Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments”, Big Data, cit. Lo studio empirico dimostra i limiti dei modelli predittivi utilizzati nella giustizia penale e come differenti criteri statistici possano produrre risultati divergenti, osservando che «a single algorithm cannot simultaneously satisfy multiple commonly proposed definitions of fairness».

[34] SUPREME COURT OF WISCONSIN, State v. Loomis, cit., caso che rappresenta uno dei precedenti più discussi nel dibattito giuridico sull’uso degli algoritmi nelle decisioni pubbliche e sui limiti del controllo giurisdizionale su sistemi proprietari.

[35] TAR LAZIO, Sez. III-bis, sent. 22 gennaio 2020, cit., vedasi parte sull’obbligo di trasparenza dell’algoritmo amministrativo.

[36] OECD, Recommendation of the Council on Artificial Intelligence, cit., con specifico riferimento alla parte che promuove l’adozione di sistemi di IA trasparenti, responsabili e sottoposti a supervisione umana.

BIBLIOGRAFIA

ANGWIN J., LARSON J., MATTU S., KIRCHNER L., «Machine Bias», ProPublica, 2016.

BAROCAS S., SELBST A. D., «Big Data’s Disparate Impact», California Law Review, 2016.

BURRELL J., «How the Machine “Thinks”: Understanding Opacity in Machine Learning Algorithms», Big Data & Society, 2016.

CHOULDECHOVA A., «Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments», Big Data, vol. 5, 2017.

CITRON D. K., «Technological Due Process», Washington University Law Review, vol. 85, 2007–2008.

COGLIANESE C., LEHR D., «Regulating by Robot: Administrative Decision Making in the Machine Learning Era», Georgetown Law Journal, 2017.

CONSIGLIO DI STATO, Sez. VI, sent. 8 aprile 2019, n. 2270.

EXECUTIVE ORDER 13960, «Promoting the Use of Trustworthy Artificial Intelligence in the Federal Government», Federal Register, 3 dicembre 2020.

FLORIDI L., HOLWEG M. et al., «AI and Accountability in Public Administration», Philosophy & Technology, 2023.

HILDEBRANDT M., Smart Technologies and the End(s) of Law. Novel Entanglements of Law and Technology, Edward Elgar, 2015.

LESSIG L., Code and Other Laws of Cyberspace, Basic Books, 1999.

OECD, Recommendation of the Council on Artificial Intelligence, 2019.

PASQUALE F., The Black Box Society. The Secret Algorithms That Control Money and Information, Harvard University Press, 2015.

REGOLAMENTO (UE) 2016/679 (General Data Protection Regulation – GDPR).

REGULATION (EU) 2024/1689, Artificial Intelligence Act, 13 giugno 2024.

SUPREME COURT OF WISCONSIN, State v. Loomis, 881 N.W.2d 749, 2016.

TAR LAZIO, Sez. III-bis, sent. 22 gennaio 2020, n. 951.

UNITED STATES SUPREME COURT, Goldberg v. Kelly, 397 U.S. 254, 1970.

UNITED STATES SUPREME COURT, Mathews v. Eldridge, 424 U.S. 319, 1976.

WACHTER S., MITTELSTADT B., FLORIDI L., «Why a Right to Explanation Does Not Exist in the GDPR», International Data Privacy Law, 2017.

YEUNG K., «Algorithmic Regulation: A Critical Interrogation», Regulation & Governance, 2018.