13._lo_stato_sociale

LO STATO SOCIALE DIGITALE

a) Premessa

Nel mese di ottobre del 2019 è stato presentato all'ONU il rapporto[^65] del relatore speciale sulla povertà estrema e i diritti umani, Philip Alston. Il rapporto è dedicato all'allarme per i diritti umani derivante dall'abuso della digitalizzazione nel campo della protezione sociale.

Lo stato sociale digitale è un complesso ed eterogeneo insieme di interventi totalmente o quasi interamente governati dal software e da sistemi automatizzati. Come riferisce il rapporto \<\<*i sistemi di protezione sociale e di assistenza sono sempre più dipendenti dai dati digitali e dalle tecnologie che vengono utilizzate per automatizzare, prevedere, individuare, sorvegliare, rilevare il bersaglio e punire. I commentatori hanno predetto un futuro in cui le agenzie governative potrebbero effettivamente legiferare con i robot, ed è evidente che stanno emergendo nuove forme di governance che si basano in modo significativo sull'elaborazione di grandi quantità di dati digitali da tutte le fonti disponibili, utilizzano l'analisi predittiva per prevedere il rischio, automatizzare il processo decisionale e rimuovere la discrezionalità dalle decisioni umane. In un mondo del genere, i cittadini diventano sempre più visibili al loro governo, ma non il contrario*\>\>.

Il rapporto osserva che nei paesi dove questi sistemi sono stati implementati, lo stato sociale digitale viene presentato come una creatura benigna, foriera di efficienza, riduzione dei costi e di un livello più alto dei servizi. In realtà la digitalizzazione dei sistemi di welfare è stata spesso \<\<*accompagnata da profonde riduzioni di budget complessivo, un restringimento della platea di beneficiari, l'eliminazione di alcuni servizi, l'introduzione di forme esigenti e intrusive di valutazione dei requisiti di accesso ai benefici, il perseguimento di obiettivi di modifica dei modelli di comportamento, l'imposizione di regimi sanzionatori più forti e una completa inversione della nozione tradizionale secondo cui lo stato dovrebbe essere responsabile nei confronti dell'individuo*\>\>.

Insomma, siamo in presenza di una sorta di neoliberismo strisciante mascherato da buon samaritano digitale con effetti fortemente regressivi che riflette valori e ipotesi che sono molto lontani dai principi dei diritti umani e che possono risultarvi addirittura antitetici.

La minaccia di un futuro distopico è particolarmente significativa rispetto al tema dello stato digitale. Il rapporto presenta un resoconto sistematico dei modi in cui le tecnologie digitali vengono utilizzate nello stato sociale e delle loro implicazioni per i diritti umani. Il documento si conclude chiedendo la regolamentazione delle tecnologie digitali, compresa l'intelligenza artificiale, per garantire il rispetto dei diritti umani e un ripensamento dei modi positivi in cui lo stato sociale digitale possa divenire uno strumento potente per il raggiungimento di un effettivo miglioramento dei sistemi di protezione sociale.

b) La verifica dell'identità

Quello della verifica dell'identità della popolazione è stato considerato uno dei fattori strategici e di sviluppo. In effetti in moltissime aree del mondo gran parte della popolazione non possiede un documento di identità e non sono stati adottati sistemi efficienti di registrazione delle nascite. La Banca Mondiale ha attivato dei programmi di finanziamento finalizzate alla promozione ed all'implementazione di tecnologie digitali per la registrazione anagrafica e l'identificazione. Pur essendo innegabili i benefici di tali interventi, esistono dei pericoli intrinseci al funzionamento di questi sistemi informatici, talvolta basati su tecnologie di riconoscimento biometrico, che possono mettere a repentaglio la sicurezza dei dati personali della popolazione oppure essere utilizzati come tecnologie di controllo di massa o, più semplicemente, possono funzionare male mettendo a repentaglio anche la vita di esseri umani. In India ad esempio è stato introdotto dal 2009 un gigantesco sistema di riconoscimento biometrico che ad oggi coinvolge oltre 1,2 miliardi di persone.

Raccolte di massa di dati biometrici e DNA si riscontrano in Kenia, Sudafrica, Argentina, Bangladesh, Cile, Irlanda, Giamaica, Malesia, Filippine e Stati Uniti.

Nel nostro ordinamento l'art. 9 del GDPR riguarda proprio il trattamento dei dati biometrici, che è generalmente vietato ma risulta ammesso se si verificano i casi previsto al paragrafo 2 (vedi in particolare le lettere b), g), h), i)[^66]).

c) La valutazione dei requisiti di ammissibilità alle prestazioni assistenziali

I sistemi automatici di valutazione dei requisiti di ammissibilità alle prestazioni assistenziali sono sempre più utilizzati. Nello stato canadese dell'Ontario l'accesso al sistema di assistenza sociale si basava su un software IBM denominato Curam. Il software è stato usato anche negli Stati Uniti, in Germania, Australia e Nuova Zelanda ed è personalizzabile. Ebbene, questo software, a causa di un errore di programmazione, ha letteralmente tagliato le prestazioni per una somma pari a 140 milioni di dollari a fronte di un totale di budget pari a 290 milioni. Prestazioni quindi dimezzate per un errore di programmazione con conseguente panico per i beneficiari e per i pochi operatori umani destinati a risolvere la faccenda.

Nello stato dell'Illinois, riporta il Guardian, il governo ha richiesto il rimborso di sussidi asseritamente pagati in eccesso, relativi in alcuni casi a 30 anni fa. Questi “rimborsi zombie”, decisi sinteticamente dai programmi per elaboratore, stanno mettendo nel panico gli strati più deboli della società. Nel Regno Unito si investono milioni di sterline in un progetto di “robot assistenziali” per sostituire gli umani nella cura delle persone bisognose. In Australia, si usa l'automazione per sospendere, senza preavviso, i sussidi sociali. In India è stato introdotto un sistema di riconoscimento biometrico per l'erogazione delle razioni di sussistenza alimentare.

Questi sono solo alcuni esempi delle distorsioni derivanti da un uso sconsiderato delle tecnologie e dell'automazione governata da algoritmi e senza la supervisione dell'uomo.

d) Il primato del diritto sul codice informatico: code is not law

A tal riguardo è di particolare interesse la sentenza N. 10964/2019 del TAR Lazio. Secondo il TAR, sul solco già tracciato precedentemente dal Consiglio di Stato, in materia di procedimento amministrativo l'intervento umano è necessario e non potrà mai essere completamente sostituito dal sistema automatizzato.

Il meccanismo informatico o matematico è infatti del tutto impersonale e orfano di capacità valutazionali delle singole fattispecie concrete, tipiche invece della tradizionale e garantistica istruttoria procedimentale che deve informare l'attività amministrativa.

Alle procedure informatiche va riservato quindi un ruolo strumentale e meramente ausiliario in seno al procedimento amministrativo e giammai dominante o surrogatorio dell'attività dell'uomo; ostando il presidio costituito dal baluardo dei valori costituzionali scolpiti negli artt. 3, 24, 97 della Costituzione oltre che all'art. 6 della Convezione europea dei diritti dell'uomo, alla deleteria prospettiva orwelliana di dismissione delle redini della funzione istruttoria e di abdicazione a quella provvedimentale.

Le decisioni della giustizia amministrativa italiana sono di fondamentale importanza perché riaffermano il primato dell'uomo e di una delle sue più sofisticate ed evolute creazioni, il diritto. Se ne sentiva il bisogno ma bisogna restare vigili.

e) Proposta

Occorre una regolamentazione dell'uso delle tecnologie digitali, compresi i sistemi esperti digitali - impropriamente definiti come intelligenza artificiale – da intendersi esclusivamente come ausilio all'intervento dell'uomo, per garantire il rispetto dei diritti fondamentali e un ripensamento dei modi positivi in cui lo stato sociale digitale possa divenire uno strumento potente per il raggiungimento di un effettivo miglioramento dei sistemi di protezione.

f) Azioni concrete per una evoluzione digitale

La stragrande maggioranza delle connessioni in rete avviene tra macchine. In Internet l'umanità è ormai minoranza. Con l'introduzione delle tecnologie 5g questo fenomeno si manifesterà in maniera ancor più evidente. Oggi le macchine acquisiscono dati sulle nostre abitudini, sui nostri gusti, sulle nostre attività e suggeriscono ciò che secondo i propri algoritmi informatici dovrebbe piacerci. Se acquisti un libro in una piattaforma online poi la macchina te ne suggerirà altri che potrebbero interessarti; lo stesso accade se guardi un film su un sito di streaming, subito dopo, senza soluzione di continuità te ne verrà proposto un altro che potrebbe piacerti. Questi sistemi, sebbene apparentemente utili, possono limitare l'autonomia e la libertà di scelta da parte dell'uomo. Quella su come dovrà l'essere umano rapportarsi a questi cambiamenti rappresenta una sfida evolutiva. Come vivere nell'infosfera senza subire limitazioni al proprio agire ed al proprio pensare ? Potrà l'essere umano ancora governare la macchina o ne diventerà dipendente e schiavo ?

La risposta a questi quesiti passa attraverso il nodo della centralizzazione delle piattaforme informatiche.

Il fenomeno al quale assistiamo oggi è la presenza di grandi piattaforme informatiche monopolistiche o semi monopolistiche con enormi poteri di influenza su cosa vediamo, con chi interagiamo, quali sono i nostri gusti, qual è il nostro orientamento politico e religioso. Questo potere di influenza può trasformarsi in un perverso e pericolosissimo sistema di manipolazione di massa del quale - chi più, chi meno – siamo tutti vittime.

Siamo soggetti a processi decisionali automatizzati, erroneamente definiti dai comunicatori come “intelligenza artificiale”, che funzionano come una scatola nera senza alcuna trasparenza nei meccanismi di funzionamento.

Il controllo delle grandi piattaforme è in mano a pochi soggetti privati che acquisiscono e conservano tutti i dati che passano attraverso le proprie reti, producendo profitti immensi e con una bassa responsabilità sociale. Quello che è stato creato negli ultimi trent'anni è un ecosistema orientato al profitto, al monopolio ed all'omologazione, dove passano ormai tutte le interazioni tra gli esseri umani.

Una via progressista per cambiare questo stato di fatto e per consentire a tutti di usufruire degli indubbi e grandissimi vantaggi delle tecnologie avanzate digitali è quella della trasparenza dei protocolli informatici, della conoscibilità del codice informatico e degli algoritmi, della decentralizzazione delle piattaforme utilizzando sistemi federati che siano orizzontali e non verticali.

E' necessario promuovere le innovazioni per il bene comune in un ecosistema possibilmente autogestito o gestito da piccole collettività che si trovino in rapporto paritario e mai verticistico tra loro. Un sistema in cui anche l'iniziativa imprenditoriale sia distribuita e socialmente responsabile attraverso l'uso di tecnologie ed energia il più possibile pulite.

E' di strategica importanza una *governance* positiva e forte del settore pubblico nella creazione e condivisione di conoscenza, creatività, ricerca, sviluppo e innovazione, a beneficio di tutta la società. Le tecnologie digitali avanzate possono creare grandi opportunità se orientate alla promozione di iniziative che abbiano un approccio comunitario e cooperativo.

Il cittadino da utente, consumatore o prodotto, deve diventare agente consapevole. Le persone devono riacquistare il potere ed affermare il proprio imprescindibile ruolo di soggetti attivi e mai passivi nella progettazione, nella costruzione e nella fruizione della tecnologia. Solo in questa maniera l'essere umano potrà evitare di soccombere nella grande lotta con la macchina dalla quale risulterebbe sopraffatto ed infine inesorabilmente schiavo, come nei peggiori scenari della fantascienza distopica.

Il ruolo dell'Unione Europea in questo processo è fondamentale.

In primo luogo occorre rafforzare la tutela dei dati personali correttamente elevati dal GDPR ben al di sopra del mero concetto di riservatezza. Il dato personale attiene all'essere umano. Nell'infosfera il dato è paragonabile ad una porzione del corpo umano e la sua tutela ed inviolabilità appartiene al rango più elevato del complesso dei diritti fondamentali.

Occorre limitare l'impatto negativo dei monopoli delle piattaforme e dell'automazione, utilizzando anche la lotta all'evasione ed all'elusione fiscale dei grandi operatori internazionali.

Le piattaforme informatiche e i formati elettronici devono essere interoperabili; i dati devono poter essere esportati da una piattaforma all'altra senza limitazioni.

I processi decisionali automatizzati attraverso l'uso di algoritmi informatici devono essere democratizzati, intellegibili ed a codice aperto.

Occorre potenziare e rendere più facilmente fruibili le basi comuni di dati acquisiti e trattati dalla pubblica amministrazione, che devono diventare vero e proprio bene comune di tutti i cittadini.

Devono essere incentivate e sviluppate le piattaforme cooperative decentralizzate che abbiano sin dalla progettazione una distribuzione orizzontale e non verticistica, attraverso protocolli che consentano l'interconnessione federata.

L'uso della crittografia nello scambio di informazioni sulle reti telematiche deve essere incentivato e non ostacolato sulla base di presunte esigenze securitarie.

Lo Stato deve utilizzare e contribuire fattivamente con i propri mezzi e ed il proprio personale allo sviluppo di software a codice aperto, restituendo in questo modo alla collettività programmi per elaboratore più sicuri e trasparenti, liberandosi dai vincoli delle multinazionali con ovvi ritorni positivi anche in termini di sicurezza nazionale.

La tecnologia deve essere utilizzata per consentire la più ampia partecipazione ai processi decisionali a tutti i livelli, anche quelli delle decisioni economiche, affiancando e coadiuvando ma senza sostituire la rappresentanza parlamentare nelle assemblee legislative.

g) L'uso degli algoritmi nel procedimento amministrativo ed open source nella PA

Il Consiglio di Stato sez. VI, con sentenza n.2270 dell'8 aprile 2019 ha affermato il principio secondo il quale in primo luogo, come già messo in luce dalla dottrina più autorevole, il meccanismo attraverso cui si concretizza la decisione robotizzata (ovvero l'algoritmo) deve essere “conoscibile”, secondo una declinazione rafforzata del principio di trasparenza, che implica anche quello della piena conoscibilità di una regola espressa in un linguaggio differente da quello giuridico. In secondo luogo, la regola algoritmica deve essere non solo conoscibile in sé, ma anche soggetta alla piena cognizione, e al pieno sindacato, del giudice amministrativo.

L'utilizzo di procedure “robotizzate” non può essere motivo di elusione dei princìpi che conformano il nostro ordinamento e che regolano lo svolgersi dell'attività amministrativa.

Difatti, la regola tecnica che governa ciascun algoritmo resta pur sempre una regola amministrativa generale, costruita dall'uomo e non dalla macchina, per essere poi (solo) applicata da quest'ultima, anche se ciò avviene in via esclusiva.

Questa regola algoritmica, quindi:

- possiede una piena valenza giuridica e amministrativa, anche se

  viene declinata in forma matematica, e come tale, come si è detto,
  deve soggiacere ai principi generali dell'attività amministrativa,
  quali quelli di pubblicità e trasparenza (art. 1 l. 241/90), di
  ragionevolezza, di proporzionalità, etc.;

- non può lasciare spazi applicativi discrezionali (di cui

  l'elaboratore elettronico è privo), ma deve prevedere con
  ragionevolezza una soluzione definita per tutti i casi possibili,
  anche i più improbabili (e ciò la rende in parte diversa da molte
  regole amministrative generali); la discrezionalità amministrativa,
  se senz'altro non può essere demandata al software, è quindi da
  rintracciarsi al momento dell'elaborazione dello strumento digitale;

- vede sempre la necessità che sia l'amministrazione a compiere un

  ruolo ex ante di mediazione e composizione di interessi, anche per
  mezzo di costanti test, aggiornamenti e modalità di perfezionamento
  dell'algoritmo (soprattutto nel caso di apprendimento progressivo e
  di *deep learning*);

- deve contemplare la possibilità che – come è stato autorevolmente

  affermato -- sia il giudice a "dover svolgere, per la prima volta
  sul piano 'umano', valutazioni e accertamenti fatti direttamente in
  via automatica", con la conseguenza che la decisione robotizzata
  "impone al giudice di valutare la correttezza del processo
  automatizzato in tutte le sue componenti".

In definitiva, dunque, l'algoritmo, ossia il software, deve essere considerato a tutti gli effetti come un “atto amministrativo informatico”.

Successivamente, la Sezione Terza bis del TAR Lazio con sentenza in forma breve N. 10964/2019, ha fissato un ulteriore importante principio di diritto in materia di uso dell'algoritmo informatico all'interno del procedimento amministrativo, affermando che non si può demandare allo strumento informatico lo svolgimento dell'intero procedimento amministrativo. In mancanza dell'intervento dell'uomo nel procedimento amministrativo, viene a mancare secondo il TAR una vera e propria attività amministrativa. Il meccanismo informatico o matematico è infatti del tutto impersonale e orfano di capacità valutazionali delle singole fattispecie concrete, tipiche invece della tradizionale e garantistica istruttoria procedimentale che deve informare l'attività amministrativa. *Un algoritmo,* motiva la il TAR*, quantunque, preimpostato in guisa da tener conto di posizioni personali, di titoli e punteggi, giammai può assicurare la salvaguardia delle guarentigie procedimentali che gli artt. 2, 6,7,8,9,10 della legge 7.8.1990 n. 241 hanno apprestato, tra l'altro in recepimento di un inveterato percorso giurisprudenziale e dottrinario*. Ed ancora, *gli istituti di partecipazione, di trasparenza e di accesso, in sintesi, di relazione del privato con i pubblici poteri non possono essere legittimamente mortificate e compresse soppiantando l'attività umana con quella impersonale. Ad essere inoltre vulnerato non è solo il canone di trasparenza e di partecipazione procedimentale, ma anche l'obbligo di motivazione delle decisioni amministrative, con il risultato di una frustrazione anche delle correlate garanzie processuali che declinano sul versante del diritto di azione e difesa in giudizio di cui all'art. 24 Cost.*

E' pertanto necessario ed insostituibile l'intervento umano che non potrà mai essere completamente sostituito dal sistema automatizzato. Alle procedure informatiche va riservato *un ruolo strumentale e meramente ausiliario in seno al procedimento amministrativo e giammai dominante o surrogatorio dell'attività dell'uomo; ostando alla deleteria prospettiva orwelliana di dismissione delle redini della funzione istruttoria e di abdicazione a quella provvedimentale, il presidio costituito dal baluardo dei valori costituzionali scolpiti negli artt. 3, 24, 97 della Costituzione oltre che all'art. 6 della Convezione europea dei diritti dell'uomo.*

Demandare ad un impersonale algoritmo lo svolgimento dell'intero procedimento amministrativo (esempio tipico è quello delle procedure di assegnazione dei docenti alle sedi disponibili nell'organico dell'autonomia della scuola) rappresenta una fattispecie in cui manca una vera e propria attività amministrativa.

\<\<*Un algoritmo, quantunque, preimpostato in guisa da tener conto di posizioni personali, di titoli e punteggi, giammai può assicurare la salvaguardia delle guarentigie procedimentali che gli artt. 2, 6,7,8,9,10 della legge 7.8.1990 n. 241 hanno apprestato, tra l'altro in recepimento di un inveterato percorso giurisprudenziale e dottrinario*\>\>.

Secondo il TAR \<\<*gli istituti di partecipazione, di trasparenza e di accesso, in sintesi, di relazione del privato con i pubblici poteri non possono essere legittimamente mortificate e compresse soppiantando l'attività umana con quella impersonale, che poi non è attività, ossia prodotto delle azioni dell'uomo, che può essere svolta in applicazione di regole o procedure informatiche o matematiche. Ad essere inoltre vulnerato non è solo il canone di trasparenza e di partecipazione procedimentale, ma anche l'obbligo di motivazione delle decisioni amministrative, con il risultato di una frustrazione anche delle correlate garanzie processuali che declinano sul versante del diritto di azione e difesa in giudizio di cui all'art. 24 Cost., diritto che risulta compromesso tutte le volte in cui l'assenza della motivazione non permette inizialmente all'interessato e successivamente, su impulso di questi, al Giudice, di percepire l'iter logico – giuridico seguito dall'amministrazione per giungere ad un determinato approdo provvedimentale*\>\>.

Le procedure informatiche, finanche ove pervengano al loro maggior grado di precisione e addirittura alla perfezione, non possano mai soppiantare, sostituendola davvero appieno, l'attività cognitiva, acquisitiva e di giudizio che solo un'istruttoria affidata ad un funzionario persona fisica è in grado di svolgere e che pertanto, al fine di assicurare l'osservanza degli istituti di partecipazione, di interlocuzione procedimentale, di acquisizione degli apporti collaborativi del privato e degli interessi coinvolti nel procedimento, deve seguitare ad essere il dominus del procedimento stesso, all'uopo dominando le stesse procedure informatiche predisposte in funzione servente e alle quali va dunque riservato tutt'oggi un ruolo strumentale e meramente ausiliario in seno al procedimento amministrativo e giammai dominante o surrogatorio dell'attività dell'uomo; ostando alla deleteria prospettiva orwelliana di dismissione delle redini della funzione istruttoria e di abdicazione a quella provvedimentale, il presidio costituito dal baluardo dei valori costituzionali scolpiti negli artt. 3, 24, 97 della Costituzione oltre che all'art. 6 della Convezione europea dei diritti dell'uomo.

Con sentenza recentissima il TAR Lazio ha ribadito il concetto riconoscendo il diritto di accesso al codice sorgente del software relativo allo svolgimento della prova scritta del concorso per il reclutamento dei dirigenti scolastici bandito nel 2017 (sentenza n. 7372 del 30 giugno 2020). Il Ministero dell'Istruzione (che ha bandito la procedura) e il Cineca (che ha realizzato il software) devono ora consentire l'accesso all'algoritmo, attraverso la lettura del codice sorgente del software, in modo che alcuni dei soggetti che hanno partecipato alla procedura possano verificarlo.

L'affermazione di questi principi sacrosanti da parte della giustizia amministrativa richiederà alla pubblica amministrazione un miglioramento delle competenze informatiche da parte dei funzionari della pubblica amministrazione in un paese che purtroppo si trova in coda tra i paesi dell'Unione Europea nella classifica delle competenze digitali. Non sarà infatti più sufficiente attingere semplicemente ed acriticamente i dati elaborati dal programma informatico ma il funzionario pubblico responsabile del procedimento, dovrà partecipare attivamente alla sua stesura e quindi alla definizione dell'algoritmo, inteso procedimento informatico che risolve un determinato problema attraverso un numero finito di passi elementari, chiari e non ambigui.

h) Proposta

In un contesto in cui è sempre più diffuso l'uso di software che gestiscono il procedimento amministrativo o alcune delle sue fasi in maniera automatizzata, è necessario vigilare affinché risultino rispettati i principi delineati dalla più avveduta giurisprudenza amministrativa (trasparenza dell'algoritmo e partecipazione umana al procedimento che non deve essere quindi totalmente automatizzato); di pari passo è necessario migliorare il livello di competenza informatica dei dipendenti della pubblica amministrazione - attraverso il ricorso a risorse interne ed organiche all'amministrazione stessa - nonché incentivare ed estendere l'uso di applicativi informatici a codice aperto.

A tal riguardo si evidenzia che la pubblica amministrazione italiana è tenuta per legge a preferire software libero e/o a codice sorgente aperto, valutando i possibili benefici derivanti dall\'azione di formati aperti. La direttiva Stanca del 2003, affermò esplicitamente l\'adozione di soluzioni informatiche in grado di gestire almeno un formato aperto. Ai sensi dell'art. art. 68 della del Codice dell'Amministrazione Digitale esiste l\'obbligo di effettuare \“analisi comparativa di soluzioni\” ad es. tra programmi a codice aperto ed a codice chiuso. Le Pubbliche amministrazioni hanno inoltre l'obbligo di pubblicare in open source tutto il proprio codice e di valutare software già esistente prima di realizzarne di nuovo (art. 69 CAD). In tale contesto normativo appare di difficile comprensione la recente decisione del Ministero dell'Istruzione di adottare la suite proprietaria ed a codice chiuso Office 365 della Microsoft come piattaforma di lavoro; allo stesso modo non si comprende il motivo per cui i programmi prescelti per le udienze da remoto nel processo civile e penale siano sempre a codice chiuso di proprietà della Microsoft. È necessario quindi richiedere l'accesso agli atti del procedimento amministrativo di adozione degli applicativi informatici della pubblica amministrazione al fine di verificare l'effettivo espletamento delle analisi comparative. Tali procedure comparative, ad esempio nel caso specifico della scuola e della giustizia, non possono fare a meno di considerare costi e benefici nonché i rischi potenziali in termini di trattamento dei dati personali.