Algoritmi e diritti umani: qual è il punto d’incontro?
1. Gli algoritmi come fenomeno sociale
La rivoluzione tecnologica ha permesso, grazie alla digitalizzazione dei contenuti, di reinterpretare la società moderna, nella quale la conoscenza è diventata una fonte di potere e produttività[1]. L’elaborazione dei dati, sempre più potente e rapida, ha reso necessaria l’adozione di strumenti tecnologici in grado di effettuare tale elaborazione in tempi sempre più brevi e in assenza dell’intervento umano: questi sono gli algoritmi, che consistono in una presenza costante, seppur silenziosa, nella vita degli individui, essendo in grado di elaborare, selezionale e distribuire ingenti quantità di dati, a partire dalle più banali attività di vita quotidiana. Le singole attività di ognuno di noi, infatti, vengono scandite, e spesso anche influenzate dai risultati mostrati dai dispositivi digitali, a seguito del lavoro svolto dagli algoritmi sui dati[2].
Ad oggi è possibile osservare che l’ubiquità degli algoritmi ha degli effetti potenzialmente rivoluzionari sia nell’ambito della vita quotidiana che nella ricerca sociale. Tuttavia, capire le modalità attraverso cui gli algoritmi operano è un’indagine decisamente complessa[3]. Un primo approccio potrebbe essere quello di individuare le operazioni che essi compiono: innanzitutto, gli algoritmi selezionano le informazioni rilevanti scartando quelle che non lo sono, compiono una struttura delle priorità e sono di ausilio nei processi di ricerca e decisioni mediante sistemi di selezione e raccomandazione. Tutto ciò si rende necessario anche considerando l’espansione repentina delle reti e del web all’interno della c.d. network society[4], la quale comporta un’esplosione del volume dei contenuti ivi presenti e impone l’ausilio di soggetti intermediari (quali i motori di ricerca e i sistemi di raccomandazione) ormai fondamentali per orientarsi nel sovraffollamento informativo presente online.[5]
Dunque, le potenzialità algoritmiche sono immense; tuttavia, è opportuno mettere in luce i due limiti di tale potere sociale[6]. Da un lato va considerata l’opacità algoritmica, e dall’altro, la percezione diretta a cui essi sfuggono[7]. Infatti, gli algoritmi sono intrinsecamente opachi e ciò significa che è molto difficile sapere perché ed in che modo un algoritmo produca un determinato risultato, anche per i soggetti che lo hanno progettato. Inoltre, spesso, il risultato finale apprezzabile non viene presentato come l’esito di un processo selettivo tra varie possibilità, ma piuttosto come un mero dato di fatto. Per aprire quella che viene definita la black box algoritmica[8] bisogna quindi operare una raccolta di conoscenze dalle matrici disciplinari molto diverse, tra cui anche quella giuridica. Gli algoritmi hanno, dunque, potenzialità immense, ma il loro potere non è illimitato e incontrastabile. In particolare, va osservato che gli algoritmi non sono infallibili ed il loro utilizzo deve essere ridimensionato nel momento in cui entrano in contrasto con il rispetto dei diritti fondamentali degli individui.
2. L’impatto degli algoritmi sui diritti umani
Spesso le problematiche relative all’utilizzo dell’intelligenza artificiale (IA) e degli algoritmi portano a riflettere su questioni tecniche relative al fattore sicurezza delle tecnologie utilizzate per produrre, trasmettere ed archiviare le informazioni digitali. Tuttavia, anche il più corretto utilizzo degli strumenti digitali comporterebbe un inevitabile e notevole impatto sui diritti fondamentali degli individui. Il problema esiste da sempre ma ad oggi è sempre più amplificato, dato il repentino sviluppo tecnologico in tema di IA.
Già nel maggio 2019, il Commissariato per i diritti umani del Consiglio d’Europa ha adottato alcune raccomandazioni sul punto[9], indirizzate alle autorità nazionali nell’ottica di massimizzare il potenziale dei sistemi di IA e prevenire l’impatto negativo sui diritti umani. L’interesse primario era quello di rendere possibile e concreta l’effettuazione di consultazioni pubbliche per valutare l’impatto dei sistemi di IA sui diritti umani; la facilitazione dell’implementazione delle norme sui diritti umani nel settore privato, imponendo agli Stati membri una garanzia di sviluppo di condizioni a favore del rispetto dei diritti umani attraverso accurata informazione, trasparenza, e una supervisione indipendente ed efficace sulla conformità delle tecnologie, senza creare ostacoli all’individuazione delle responsabilità e dei rimedi in caso di violazione dei diritti, nell’ottica del rispetto dei principi di non discriminazione, uguaglianza e protezione dei dati personali. Con lo scopo di predisporre un quadro giuridico per lo sviluppo, la progettazione e l’applicazione dell’IA basata sugli standard del Consiglio d’Europa in materia di: diritti umani, democrazia e stato di diritto, è stato istituito nello stesso anno il Comitato ad hoc per l’Intelligenza Artificiale (CAHAI). Si tratta di un comitato intergovernativo la cui prima riunione si è svolta a Strasburgo dal 18 al 20 novembre 2019 e l’ultima dal 15 al 17 dicembre 2020. L’obiettivo di tale Comitato è quello di valutare l’impatto delle applicazioni dell’IA sull’individuo e sulla società, sugli strumenti di soft law esistenti che si occupano specificamente dell’IA e legalmente vincolanti in ambito internazionale applicabili in materia.
Su queste basi, l’European Union Agency for Fundamental Rights (FRA) si è fatta carico, in un report del 14 dicembre 2020, di esporre la necessità di eseguire una valutazione d’impatto più ampia, circa l’utilizzo di ogni strumento di IA, tenendo conto non solo delle potenziali problematiche tecniche che l’IA solleva, ma anche di quelle sociali, poiché il fenomeno, originariamente informatico, ad oggi si è tramutato in una vera e propria questione sociale. Il report ha ad oggetto quattro macroaree fondamentali nelle quali la valutazione d’impatto deve essere più incisiva: servizi sociali, polizia predittiva, servizi sanitari, pubblicità mirata. Nell’epoca della profilazione, del tracing sanitario e della diffusione di tecniche di riconoscimento facciale per semplificare il lavoro della polizia, non è difficile immaginare il motivo della concentrazione del lavoro delle istituzioni europee su questi temi. In queste aree sono state raccolte le informazioni emerse da un campione di quasi 100 interviste a funzionari di amministrazioni pubbliche e private, autorità di vigilanza e controllo, avvocati ed altri esperti, con l’obiettivo di capire se i nostri diritti vengono considerati in fase di implementazione e commercializzazione dell’IA. Infatti, la necessità di operare un contemperamento tra l’esigenza di tutelare ed incentivare lo sviluppo tecnologico e quella di rispettare i diritti degli individui, assume ad oggi un rilievo assoluto.
3. Il caso CGIL c. Deliveoo
Un caso di recentissima applicazione, nel quale si evince la fallibilità di un algoritmo in evidente contrasto con i diritti degli individui, è quello relativo alla c.d. vicenda CGIL c. Deliveroo. Si tratta della prima causa avviata in Italia che abbia ad oggetto l’analisi di un algoritmo ritenuto discriminatorio[10], ma non è la prima volta nella quale si discute sull’impatto degli algoritmi sui diritti degli individui: basti pensare alla nota vicenda Exodus[11], relativa al mal direzionamento di un software che ha causato l’installazione automatica di un trojan di Stato sui cellulari di una ingente quantità di cittadini estranea alle indagini per le quali doveva essere utilizzata quella tecnologia.
Nel caso CGIL c. Deliveroo, il sindacato nazionale, in qualità di ricorrente, poiché protettore di un interesse collettivo della categoria dei lavoratori riders, ha agito in giudizio contro la piattaforma digitale di consegna di cibo a domicilio Deliveroo ritenendo discriminatorio l’algoritmo “Frank”, utilizzato dalla stessa azienda per assegnare le consegne ai riders. Secondo CGIL, infatti, l’azienda emarginava i lavoratori che per motivi personali legati a diritti costituzionalmente tutelati, oltre che dalla L. n. 128/2019[12] sulla tutela dei riders, come malattia e sciopero[13], non si rendevano continuativamente disponibili al lavoro. In questo modo i riders che non si adeguavano al meccanismo venivano declassati ingiustamente dal ciclo produttivo aziendale e gradualmente escluso dalle possibilità di impiego. Nonostante la tesi contraria dell’azienda, il Tribunale di Bologna[14] ha stabilito con ordinanza, lo scorso 31 dicembre 2020, che l’algoritmo fosse davvero discriminatorio. Nelle motivazioni attraverso cui ha l’azienda si è mostrata contraria alla tesi secondo cui l’algoritmo fosse discriminatorio, il suo General Manager ha affermato che: “gli algoritmi di Deliveroo sono creati dalle persone e l’algoritmo implementa delle regole che sono sviluppate dalle persone”[15]. In realtà, anche questo è un fattore di importante riflessione sul tema della discriminazione algoritmica. Posto che gli algoritmi possono essere mal direzionati dai soggetti che si occupano della loro progettazione ed implementazione, ciò fa emergere un altro nodo da risolvere: la neutralità algoritmica è un mito da decostruire. L’intelligenza artificiale può considerarsi neutrale proprio perché implementata da persone. Dunque, se il soggetto preposto a progettare un algoritmo ha dei pregiudizi è del tutto probabile che i medesimi pregiudizi saranno inglobati dall’algoritmo. In questo caso l’algoritmo discriminatorio non distingueva le assenze, considerandole tutte uguali, sia che provenissero da motivi futili che da reali esigenze. Dunque, se l’algoritmo riflette le intenzioni dell’azienda, il messaggio che Deliveroo finiva per veicolare non era positivo, considerando che i riders, in quanto persone e categoria di lavoratori, hanno dei diritti. Nel 2019 il Consiglio d’Europa menzionava, tra i diritti da tutelare rispetto all’utilizzo di strumenti di IA, anche il diritto alla libertà di espressione, di riunione, di associazione ed il diritto al lavoro. Dunque, gli Stati membri devono tenere contro di tutti gli standard internazionali sui diritti umani che possono essere coinvolti dall’IA, nell’ottica di rispettare anche questi diritti.
Attualmente Deliveroo ha fatto sapere a mezzo stampa di aver già modificato la tecnologia[16], dunque l’algoritmo oggetto di contestazione è ormai in disuso, ma ciò fa emergere un’ulteriore questione problematica: come si può controllare l’operato di un’azienda che afferma di aver modificato un algoritmo, la cui struttura non è resa pubblica? Innanzitutto bisogna riflettere e capire se sia possibile, ed eventualmente come, contestare l’attendibilità di un dato raccolto automaticamente, anche in un contesto di contenzioso. Non c’è alcun motivo per cui una parte possa contestare l’attendibilità di una prova se non ha accesso ad alcuni dati fondamentali, come il codice sorgente ed altre informazioni tecniche circa il processo di generazione del dato. In realtà, va osservato che diversi modelli computazionali hanno vari modelli di accessibilità e consentono una verifica dei risultati dell’elaborazione di un software, anche ex post, seppure talvolta limitata[17]. Dunque, a seconda di come è stato progettato il software, può diventare possibile capire come e perché il sistema abbia generato un dato piuttosto che un altro, e chi porta davanti al giudice quel dato può sfruttare l’incapacità dell’altra parte a contestarne l’affidabilità. Riflettendo su quali potrebbero essere le soluzioni ad un tema così complicato e che appare irrisolvibile, occorre riflettere sull’importanza di avere una trasparenza algoritmica, necessaria ma spesso utopica[18].
4. Trasparenza algoritmica: quando la garanzia di accessibilità non basta
Per capire se sia possibile risalire alle modalità di funzionamento di un algoritmo bisogna prima individuare il tipo di protezione fornita al software che ha generato il dato: se si tratta di un software dal formato proprietario, vorrà dire che i produttori decideranno di non fornire il codice sorgente del programma, tutelando la segretezza delle loro licenze intellettuali. Indubbiamente i codici sorgente potrebbero rivelarsi fondamentali nell’ambito di un controllo ex post dei dati generati, ma non tale controllo potrebbe risultare decisivo per una valutazione completa del software nell’ottica dell’affermazione della famigerata trasparenza algoritmica.
L’accessibilità e la trasparenza sono concetti estremamente diversi e mettere a disposizione il codice sorgente di un software potrebbe garantirne l’accessibilità, ma non la trasparenza. Solo gli esperti possono validare il processo di creazione dell’output sulla base de codice sorgente[19], poiché a causa dell’immaterialità dei dati, i soggetti non esperti non sono in grado di capire il processo di generazione del modello computazionale e individuarne le eventuali manomissioni. Oltretutto, non è detto che i codici sorgente garantiscano sempre una rendicontazione e una responsabilità in tutti i casi in cui vengono diffusi e analizzati ex post. Anzi, una riflessione sulla validità degli output generati, molto spesso non è sufficiente, seppure accurata.[20] L’ignoto sulla derivazione dei dati che generali ha delle implicazioni fondamentali sui diritti degli individui che vengono colpiti dalle scelte degli algoritmi.
Un processo automatizzato di generazione dei dati non sempre, come si è visto, può essere ricostruito, e la normale prudenza umana che viene utilizzata per valutare l’attendibilità delle informazioni può essere incompatibile con il fenomeno digitale. È proprio qui che si evince l’importanza del significato della trasparenza algoritmica per rispettare i diritti fondamentali degli individui.
La complicata soluzione al problema della discriminazione algoritmica non è giuridica, ma piuttosto va ricercata nella tecnologia. Non ci si può basare, nell’ambito di un controllo di questa portata, solo sui mezzi tradizionali del ragionamento umano, ma servono delle solide basi di convalida dei processi tecnologici. Spesso si verifica una fiducia eccessiva nei confronti dei dati digitali: in tali casi è essenziale che il giudice, in una situazione di contestazione giurisdizionale di un algoritmo, sia disposto ed in grado di permettere una convalida indipendente dei dati generati come output in modo automatico. Ciò, però, può avvenire solo in presenza di alcune condizioni specifiche: il software che ha prodotto i dati dovrebbe essere open-source e ciò non sempre è possibile, molto spesso per questioni legate alla proprietà intellettuale. Tuttavia, il progresso tecnologico è di ausilio anche nell’ottenimento di tale equilibrio senza il necessario ricorso a metodi giurisdizionali: infatti, in alcuni casi, si può ricorrere a strumenti crittografici che permettono di provare le proprietà della politica decisionale di un software, senza rivelarne comunque la politica decisionale[21]. Questa appare una via di mezzo per consentire alla difesa di contestare l’affidabilità della prova a suo carico generata automaticamente, senza implicare obbligatoriamente la divulgazione dei codici sorgente, e dunque, la loro riscrittura successiva.
L’opacità algoritmica amplifica i problemi su come poter verificare le informazioni digitali in un contesto giudiziale. Dunque, si ritiene che la soluzione ad un problema che, come si è visto, è ormai una questione sociale, comprenda la realizzazione ex ante dei modelli che permettano di comprendere, attraverso tecniche di c.d. reverse engineering[22], quale sia stato il processo di generazione dei dati, e stabilire degli standard di revisione ex post che possano convalidare tecnicamente dei dati generati.
Come si è visto, il Consiglio d’Europa ha in molte occasioni dimostrato la sua capacità di aprire la strada a nuovi standard, divenuti anche i punti di riferimento globali. Lo sviluppo delle tecniche di IA deve essere affrontato attraverso un approccio multistakeholder con altre organizzazioni internazionali, con la società civile, le imprese ed il mondo accademico e scientifico. È importante, dunque, la collaborazione puntuale di diverse classi di professionisti con l’obiettivo comune della salvaguardia dei diritti umani.
[1] Cfr. M. Castellis, La nascita della società in rete, 2002.
[2] A. Martella, E. Campo, L. Ciccarese, “Gli algoritmi come costruzione sociale. Neutralità, potere e opacità”, in The Lab’s Quarterly, N. 4/2018, reperibile al sito: https://thelabsquarterly.files.wordpress.com/2019/04/2018.4-the-labs-quarterly-0.-enrico-campo-antonio-martella-luca-ciccarese.pdf.
[3] Sul punto, diffusamente, S. Barocas, S. Hood, M. Ziewitz, “Governing Algorithms: A Provocation Piece”, in SSRN Electronic Journal, 2013, reperibile al sito: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2245322; N. Seaver, “Algorithms as culture: Some tactics for the ethnography of algorithmic systems”, in Big Data & Society, N. 4/2017.
[4] J. Van Dijk, The Network Society, III ed., 2012, reperibile al sito: .
[5] G. Boccia Artieri, “La rete dopo l’overload informativo. La realtà dell’algoritmo da macchia cieca a bene comune”, in ParadoXa, N. 2/2014.
[6] D. Pedreschi, F. Giannotti, R. Guidotti, A. Monreale, L. Pappalardo, S. Ruggieri, F. Turini, “Open the Black Box. Data-Driven Explanation of Black Box Decision Systems”, in ArXiv Preprint, N. 1/2018.
[7] Le operazioni algoritmiche si realizzano ad un livello che appare sfuggire alla coscienza umana, a tal punto che in dottrina, alcuni autori hanno ripreso il concetto di “inconscio tecnologico” elaborato per la prima volta da N. Thrift in Knowing Capitalism, 2018, in riferimento ai sistemi (c.d. track and change) che permettono di posizionare correttamente gli oggetti nel mondo mediante un apparato tecnico-sociale, che sfrutta le conoscenze formalizzate di logistica ed indirizzamento e le più sofisticate tecnologie di tracciamento (dai codici a barre, agli strumenti di identificazione a radiofrequenza, fino ai GPS). Secondo l’autore, tale sistema si muove automaticamente. Sul punto, si veda anche Y. Citton, “Notre inconscient numérique. Comment les infrastructures du web transforment notre esprit”, in La Revue du Crieur, N. 4/2016, reperibile al sito: https://hal.archives-ouvertes.fr/hal-01373129/document.
[8] Quando si parla di algoritmi, si fa riferimento al c.d. modello black box perché essi, esattamente come accade in una scatola nera, sono descrivibili solo nel loro comportamento esterno ed il loro funzionamento interno è ignoto. Il concetto è riconducibile all’opacità algoritmica e si contrappone al c.d. modello white box, nel quale il funzionamento di un determinato sistema è trasparente e noto.
[9] Council of Europe, Unboxing artificial intelligence: 10 steps to protect human rights, 2019, reperibile al sito: https://rm.coe.int/unboxing-artificial-intelligence-10-steps-to-protect-human-rights-reco/1680946e64.
[10] Per approfondimenti in tema di algoritmo discriminatorio si veda M. C. Falchi, “Intelligenza Artificiale: se l’algoritmo è discriminatorio”, in Ius in Itinere, 2019, reperibile al sito: https://www.iusinitinere.it/intelligenza-artificiale-se-lalgoritmo-e-discriminatorio-31066.
[11] Per approfondire si vedano: Security Without Borders, “Exodus: Nuovo Spyware per Android Made in Italy”, 29 marzo 2019, reperibile al sito: https://securitywithoutborders.org/blog/2019/03/29/exodus-ita.html; intervista ad A. Soro, “Caso Exodus – Software spia: Soro, fatto gravissimo”, 30 marzo 2019, reperibile al sito: https://www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9100800; R. De Vita, A. Laudisa, “Vita digitale a rischio: I captatori informatici tra pericoli per i diritti umani e riduzionismo giuridico”, in Osservatorio Cybersecurity Eurispes, 18 novembre 2019, reperibile al sito: https://www.devita.law/vita-digitale-a-rischio/.
[12]G.U. n. 257 del 2 novembre 2019, reperibile al sito: https://www.gazzettaufficiale.it/eli/id/2019/11/02/19G00137/sg.
[13] Rispettivamente Artt. 38 e 40 Cost, reperibili al sito: http://www.senato.it/1024.
[14] Tribunale di Bologna, Sezione Lavoro, CGIL c. Deliveroo, Causa iscritta al RG n. 2949/2019.
[15] Dichiarazioni di Matteo Sarzana, General Manager di Deliveroo Italia srl, reperibili al sito: https://www.corrierecomunicazioni.it/digital-economy/la-cgil-fa-causa-a-deliveroo-lalogoritmo-discrimina-i-riders/.
[16] Le dichiarazioni del General Manager di Deliveroo Italia srl sul punto sono reperibili al sito: https://www.bolognatoday.it/economia/riders-deliveroo-sentenza.html.
[17] Cfr. S. Quattrocolo, Artificial intelligence, Computational Modelling and Criminal Proceedings, 2020.
[18] Si veda diffusamente M. Hildebrandt, D. De Vries, Due Process and the Computational Turn, 2013; F. Palmiotto, “The Black Box on Trial: The Impact of Algorithmic Opacity on Fair Trial Rights in Criminal Proceedings”, in Algotirhmic Governance and Governance of Algorithms (a cura di M. Ebers, M. Cantero Gamito), 2020.
[19] A. Koene, H. Webb, M. Patel, “First UnBias Stakeholders workshop”, 2017, reperibile al sito .
[20] Art. 20 della direttiva (UE) 2016/680., reperibile al sito: https://eur-lex.europa.eu/legal-content/IT/TXT/PDF/?uri=CELEX:32016L0680&from=IT. La norma impone la trasparenza come una caratteristica fondamentale nella progettazione degli algoritmi e dei sistemi automatizzati di estrazione dei dati nelle indagini e nei procedimenti penali.
[21] J.A. Kroll, J. Huey, S. Barocas, E.W. Felten, J.R. Reidenberg, D.G. Robinson, H. Yu, “Accountable Algorithms”, in University of Pennsylvania Law Review, Vol. 165/2017, reperibile al sito: https://scholarship.law.upenn.edu/cgi/viewcontent.cgi?article=9570&context=penn_law_review.
[22] L’ingegneria investa è una pratica che consiste nell’analisi di un oggetto rinvenuto, al fine di produrne un altro che funzioni in modo analogo o migliore a quello originario, o in grado di interfacciarsi con esso.
Praticante avvocato presso l’Istituto Nazionale della Previdenza Sociale; appassionata di diritto e nuove tecnologie, in particolare delle problematiche giuridiche sollevate dall’utilizzo di algoritmi nell’ottica della prevenzione e repressione dei reati, collabora con l’area IP & IT.