Riconoscimento facciale a scuola: il caso francese

1. Introduzione

La rivoluzione digitale iniziata dalla baia di San Francisco ha rapidamente modificato gli equilibri, già fragili, della nostra società contemporanea, catapultandoci in una dimensione totalmente inedita. Frank Pasquale la definisce “black box society[1]”, facendo riferimento al peculiare regime di sorveglianza digitale cui ciascuno di noi è sottoposto, in totale dipendenza dal flusso di dati ed algoritmi che scandiscono le nostre attività quotidiane, profilandoci sulla base di assunti non sempre veritieri e inserendoci in vere e proprie bolle[2] di contenuti ed informazioni. I nuovi strumenti digitali sono, difatti, da anni impegnati nella bulimica raccolta di dati personali – ed hanno acquisito sempre più centralità nel mondo del COVID-19[3] – contribuendo a creare una vera e propria realtà alternativa con dei riflessi sostanziali che necessariamente si riversano anche nel mondo delle cose.

Uno dei fenomeni esemplari di questa euforia digitalizzante è il riconoscimento facciale: si tratta, difatti, di una tecnologia il cui sviluppo è ancora in fieri. Tale aspetto, tuttavia, non ne ha bloccato la sperimentazione e l’applicazione in campo pratico, esacerbando le conseguenze dannose del procedimento decisionale algoritmico, già non sempre trasparente.

Si tratta di uno strumento di sorveglianza di massa, definito dal Data Protection Working Party “il trattamento automatico di immagini digitali contenenti volti di individui, per scopi di identificazione, autenticazione/verifica, o categorizzazione di suddetti individui[4]”. Questa tecnologia, basata su un software di tipo probabilistico, appartiene alla più generale categoria della biometria progettata al fine di raccogliere, trattare e conservare dati biometrici[5] considerati sensibili ai sensi del GDPR[6]. I suoi possibili utilizzi sono molteplici e si adattano, come spesso accade nel digitale, ai più disparati contesti: sicurezza, marketing, controllo sociale[7], identificazione, e-boarding, sono solo alcuni dei modi in cui il riconoscimento facciale può essere impiegato.

Uno strumento la cui sperimentazione, come si è detto, è ancora un work in progress dato che, comportandosi come una black box, non vi è un perfetto controllo sugli input e i dati ottenuti come output dell’analisi facciale: in parole povere, il risultato prodotto non è sempre affidabile. Si tratta di un software probabilistico, il che implica la produzione di un risultato elaborato a livello statistico, e non un risultato certo, incontrovertibile. Un’ulteriore e sostanziale limitazione è il grado di errore (bias), ancora troppo alto, che questo tipo di tecnologia produce, come nel caso di screening di volti femminili o di colore[8], tanto da portare talune delle più importanti aziende tech[9] del pianeta a sospendere la commercializzazione di prodotti basati su FRT[10].

Nonostante le problematiche sollevate dal riconoscimento facciale a livello sia etico sia tecnico, nonché lo scandalo Clearview AI[11] – che ha consentito di rivelare l’esistenza di un database di volti costruito a partire da immagini condivise in rete –, tanto a livello pubblico quanto a livello privato si sono verificati diversi tentativi di sperimentazione del suo utilizzo. Questo è, difatti, il principale problema che si andrà ad osservare nell’analisi della sentenza resa dal Tribunale Amministrativo di Marsiglia, dirimente di una controversia insorta a causa dell’installazione in una scuola superiore di telecamere che effettuavano riconoscimento facciale sugli studenti. Prima di passare alle tematiche appena accennate, occorre domandarci: trattandosi di uno strumento altamente invasivo e la cui sperimentazione ancora è in corso, è davvero necessario l’utilizzo questa ennesima forma di sorveglianza?

 

2. Astuccio, matita, diario e… riconoscimento facciale

La scuola, come ogni altro aspetto della nostra società, è stata radicalmente toccata dalla digitalizzazione di massa, comportando l’adozione di nuovi strumenti di insegnamento a sostegno della didattica tradizionale. L’ufficio scolastico territoriale delle provincie di Marsiglia e Nizza si è spinto oltre arricchendo le classi non solo di lavagne elettroniche e registri digitali, ma installando, persino, telecamere in grado di sottoporre gli studenti a riconoscimento facciale all’entrata della scuola. Non si tratta assolutamente della trama di una puntata di Black Mirror[12], bensì di una decisione che ha interessato diversi studenti francesi, i quali avrebbero dovuto preoccuparsi, recandosi a scuola, non solo della loro istruzione, ma anche delle violazioni che si stavano perpetrando ai loro danni.

Un’eccessiva spinta di modernizzazione che ha assunto i tratti di un vero e proprio pomo della discordia, vedendo, da un lato, il menzionato ufficio pubblico e, dall’altro, l’Associazione La Quadrature.net, attiva sul piano della protezione della privacy, il “Consiglio dei Genitori delle Scuole Pubbliche delle Alpi-Marittime” ed il “Sindacato CGT Educ’Action des Alpes-Maritimes”, i quali hanno proposto un ricorso amministrativo presso il Tribunale di Marsiglia con l’obiettivo di annullare la delibera con la quale era stata decisa l’installazione dei menzionati dispositivi. Tale vicenda, come si vedrà in breve, sebbene non rappresenti un unicum sul suolo europeo inserendosi sul solco di sperimentazioni già condotte in Francia, Danimarca, Germania e Regno Unito[13], ha condotto ad una pronuncia di cruciale importanza, dato che, per la prima volta, l’utilizzo del riconoscimento facciale è stato condannato da un Tribunale poiché lesivo dei diritti fondamentali.

• Il fatto

Procedendo con una breve ricostruzione del fatto, nell’ottobre 2019, l’Ufficio Scolastico delle Provincie di Marsiglia e Nizza ha firmato una partnership con Cisco International Limited, azienda leader nel settore tecnologico, con l’intento di installare suddetti dispositivi nelle due scuole superiori delle rispettive città, allo scopo di identificare gli studenti.

Tale progetto pilota, tuttavia, avrebbe dovuto ottenere il placet del CNIL, l’Autorità Garante della Privacy, che, a contrario, dichiarò illegali[14] i dispositivi di riconoscimento facciale all’ingresso delle scuole. Secondo il parere fornito, la decisione assunta dall’Ufficio non era rispettosa del Regolamento (UE) 2016/679[15]: il CNIL ha avuto modo di sottolineare[16], difatti, come il riconoscimento facciale sia una tecnologia particolarmente invasiva e per nulla proporzionale allo scopo per cui se ne è progettato l’utilizzo.

Non volendo essere eccessivamente luddisti, non essendo lo scopo di questo scritto, è, però, di tutta evidenza come il controllo della presenza degli studenti possa essere effettuato con delle modalità meno lesive della loro privacy. Sulla medesima linea appena espressa si è trovato il CNIL con un’Opinione che, tuttavia, non ha alcun valore legale in quanto meramente indicativa e non vincolante. Pertanto, sebbene l’Autorità avesse giudicato negativamente l’iniziativa, l’ultima decisione è, comunque, ricaduta nelle mani dell’ufficio scolastico che ha criticato la posizione del CNIL come “indietro di oltre un secolo[17]”.

Il problema giuridico che possiamo con ogni evidenza osservare sin da subito è che, mancando una norma positiva a livello tanto nazionale quanto (e soprattutto) a livello europeo, i giudici e le Autorità Garanti sono costretti a svolgere un ruolo interpretativo basandosi su un’analisi caso per caso e lasciando molto in mando all’incertezza. Una crisi totale in quanto abbiamo a che fare con una tecnologia di per sé già fortemente lesiva dei diritti degli individui. Tale pericolosità è esacerbata – anziché essere attenuata – dalla norma, o meglio, dalla mancanza di una regolazione[18].

Le fragilità connesse con questo sistema di grave opacità sono tutte messe in mostra in questo caso. Nonostante l’Autorità avesse espresso un parere contrario, l’ufficio scolastico ha rimandato la richiesta all’autorità regionale la quale ha autorizzato il progetto di sorveglianza classificandolo come “sperimentale”. Ed è a questo punto che le parti sopra menzionate, l’associazione dei genitori e LaQuadrature, hanno depositato il ricorso amministrativo oggetto della nostra analisi, chiedendo, come si è detto, di annullare la decisione dell’ufficio scolastico regionale.

• La decisione del Tribunale Amministrativo di Marsiglia

Il 3 febbraio 2020 il Tribunale Amministrativo di Marsiglia ha deciso[19] in favore dei ricorrenti argomentando la pronuncia sotto tre aspetti.

Il primo è di tipo formale, in quanto si è espressa circa la mancanza di competenza dell’Ufficio Regionale che non aveva nessun potere per assumere la decisione in esame: solamente le singole scuole possono autorizzare o meno la messa in esecuzione di tali progetti sperimentali[20].

Il secondo aspetto preso in esame dalla Corte – nonché quello che maggiormente interessa – è la violazione del GDPR da parte dell’ufficio scolastico tramite l’installazione di dispositivi FRT, in quanto lesivi dell’art. 9[21] del Regolamento: gli studenti, difatti, non potevano in alcun modo fornire un libero consenso al trattamento dei loro dati biometrici[22], trattandosi di una decisione dell’autorità scolastica che si trova in una posizione di potere nei loro confronti.

Da ultimo[23], la Corte ha richiamato il parere (non vincolante) fornito dal CNIL, ribadendo come il riconoscimento facciale non possa essere considerato una modalità proporzionale e necessaria per controllare l’accesso degli studenti all’edificio scolastico, rappresentando, altresì, una grave violazione dei diritti fondamentali degli individui coinvolti: posizione aggravata dal fatto che quest’ultimi fossero per la maggior parte minori. Tali diritti sono, essenzialmente, il diritto alla privacy, rafforzato dai principi di proporzionalità e necessarietà del trattamento enucleati nel GDPR, ed il diritto all’istruzione. La Corte ha, dunque, invitato l’ufficio scolastico a prendere in considerazioni modalità meno invasive per raggiungere il medesimo scopo – e cioè, identificare gli studenti e prevenire azioni criminali –, come controlli tramite badges o una semplice video sorveglianza.

Una decisione di grande valore: non è solo la prima pronuncia francese che riguarda il riconoscimento facciale, ma è anche la prima volta che un uso scorretto del riconoscimento facciale è stato ricondotto all’interno della violazione dei diritti fondamentali. Qualsiasi uso di questa tecnologia, sebbene in via sperimentale, come sottolinea anche il CNIL[24], deve essere rispettoso dei principi su cui si erge la normativa della protezione dei dati personali: uno su tutti quello di proporzionalità.

La Corte ha, dunque, deliberato annullando la decisione dell’Ufficio Regionale, disponendo, infine, il pagamento delle spese legali a favore dell’Associazione “LaQuadrature Du Net” ed il resto degli appellanti.

 

3. Considerazioni conclusive

La vicenda francese ha portato alla luce una problematica che va bene oltre la mera adozione di sistemi basati sulla biometria all’ingresso di edifici scolastici. I fenomeni da osservare sono principalmente tre: anzitutto, non è proprio di uno Stato di Diritto perpetrare l’assunzione di decisioni seguendo un sistema improntato sul caso per caso. Come si è visto, la grave incertezza normativa e l’impossibilità per l’Autorità Garante di dare una risposta più certa circa l’utilizzo o meno del FRT conduce ad un sistema opaco che anziché limitare e proteggere aumenta il rischio di comportamenti lesivi dei diritti fondamentali.

In secondo luogo, il legislatore sta dimostrando di trovarsi in grave difficoltà nel prendere una posizione sul punto. Sebbene sul tavolo della Commissione Europea ci fosse, già lo scorso gennaio[25], l’ipotesi di un moratorium di cinque anni con ad oggetto proprio l’uso del FRT negli spazi aperti al pubblico, questa misura non è stata, in conclusione, adottata, lasciando, ancora una volta, sospesi numerosi aspetti regolatori, con la grave conseguenza di frammentare l’esercizio pacifico dei nostri diritti fondamentali. Preoccupazioni dimostrate anche dalle dichiarazioni dello European Data Protection Board che, avanzando una proposta di collaborazione con le altre autorità governative, ha sottolineato come sia di importanza capillare una riflessione circa il ruolo che questa tecnologia sta acquisendo nell’ambito della nostra società democratica[26]. Giova ricordare, tuttavia, che un debole ma fragile[27] passo è stato compiuto recentemente dal Parlamento Europeo con la firma un accordo sulla vendita e l’esportazione di tecnologie di sorveglianza informatica[28].

Infine, la vicenda francese ci consente di riflettere sulla ratio sottesa all’inserimento massivo di devices nelle nostre vite, seguendo un’euforia collettiva di digitalizzazione che muove un pendolo oscillante tra libertà e dignità da una parte, e sorveglianza capitalistica, dall’altra, per usare le parole di Zuboff, autrice del best-seller “The Age of Surveillance Capitalism[29]”. La mancanza di una regolazione positiva da parte del legislatore provoca una situazione di complesso bilanciamento circa i rapporti tra pubblici e privati, materiali esecutori della rivoluzione digitale. I vuoti provocati dall’obsolescenza normativa, hanno individuato nel giudice il creatore della regola, a partire da un’analisi da effettuarsi necessariamente ed irrimediabilmente caso per caso, come nell’osservata vicenda, e hanno altresì indicato il privato come l’attuatore di determinati obblighi, come nel famoso caso Costeja Gonzalez[30], provocando un fenomeno che da una parte della letteratura è stato efficacemente definito “privatizzazione dei diritti fondamentali[31]”.

Ciechi dinanzi al progresso e sottomessi al motto “the more data the better[32]”, continuiamo ad applicare una pletora di devices, capaci di raccogliere sempre più informazioni su di noi, ma non per noi. Questo è il fenomeno che si osserva attraverso l’impiego – sia da parte del pubblico sia del privato – di strumenti invasivi e sofisticati, dei cui rischi ancora si sa ben poco, come nel caso del riconoscimento facciale. Questo può essere assunto come specimen dell’euforia digitalizzante: applichiamo, difatti, una tecnologia che raccoglie dati biometrici, su adulti e minori, in scuole, stazioni ed aeroporti, di cui ancora non è chiaro quale sia l’effettivo procedimento decisionale, come agisce, i limiti entro i quali può essere applicata, mancando una condivisa visione normativa sul tema.

Avviandoci verso la conclusione di questa breve analisi, è necessariamente da evidenziarsi come la tecnologia non sia stata creata per sorvegliare le persone: questo processo involutivo dipende dalle motivazioni con le quali viene applicata. Tale scelta, tutt’altro che banale, è nelle mani delle principali compagnie digitali del globo e degli Stati, i quali devono decidere se percorre un sentiero che conduce ad un uso orientato alla sorveglianza ovvero ad una riflessione etica e rispettosa dei principi sottesi al nostro ordinamento. Il diritto e, in particolare, il costituzionalismo devono riuscire ad orientare tale scelta. Come spiega efficacemente Domingos[33], autore del famoso libro “The master of algorithm”, non esiste immaginare una lotta uomini contro macchine: deve essere, piuttosto, trovato un nuovo panorama per consentire la loro coesistenza. Siamo ancora in tempo per fare un uso assennato della tecnologia ma è compito dell’uomo e del diritto creare l’ambiente per garantire tanto la digitalizzazione quanto il rispetto dei diritti fondamentali.

[1] La digitalizzazione che contraddistingue la nostra contemporaneità ha visto un incremento di dati mai sperimentato prima nella storia dell’umanità e, di conseguenza, abbiamo assistito al diffondersi di algoritmi in grado di lavorare con essi, i cui processi decisionali sono, però, opachi e creati dal deep learning. Ognuno di noi fornisce un gran quantitativo di informazioni personali ad aziende che le processano e le analizzano. Ed è a quel punto che entrano in gioco le black box, scatole nere che, osservando le caratteristiche degli utenti, pronosticano classi, giudizi e categorie, senza spiegare il collegamento (per l’appunto, non sempre chiaro e trasparente) tra i dati forniti ed il risultato ottenuto, poiché il modello di decisione fornito dai dati in molti casi, purtroppo, è incomprensibile, anche per gli esperti. Da questi dati e dalla loro analisi derivano, tuttavia, delle conseguenze molto imponenti nelle nostre vite, come nel caso del riconoscimento facciale. Circa l’espressione black box v. F. Pasquale, “The black box society”, Harvard University Press, 2015.

[2] In questo caso il riferimento è al concetto di “filtering bubbles”, bolle filtro, di cui parlano S. Flaxman, S. Goel, e Justin M. Rao, in “Filter Bubbles, Echo Chambers, and Online News Consumption”, Public Opinion Quarterly, 22 marzo 2020, pagg. 298–320, consultabile qui: https://doi.org/10.1093/poq/nfw006. In sostanza, si tratta di un sistema di personalizzazione dei contenuti che parte dalla conservazione di informazioni circa le ricerche dell’utente e lo inserisce, sulla base di queste, tramite un procedimento algoritmico, in categorie. La principale conseguenza di questo processo è che la bolla di filtraggio agirà scremando i contenuti non appartenenti a quella peculiare categoria, mostrando, di contro, informazioni con cui l’utente si troverà sempre in accordo o che rispecchiano il proprio gusto. E’ evidente come tale sistema possa essere dannoso in una società democratica, in quanto, tra i principali problemi, mina il corretto svolgimento del dibattito tra individui.

[3] Come sottolinea M. Bracconi in “Le mutazioni”, Bollati Boringhieri, 2020, l’emergenza pandemica, principalmente nei mesi della c.d. “prima ondata”, ci ha dimostrato la necessaria centralità degli strumenti digitali. Abbiamo vissuto in un mondo fisicamente costretto in casa, ma digitalmente eclettico ed iper-connesso, in quanto ogni aspetto, dalla scienza, allo studio, il lavoro e la socialità, si è assestato in un contesto digitale, quasi nella sua interezza.

[4] Tale definizione proviene dall’art. 29 del Data Protection Working Party (2012), “Opinion 02/2012 on facial recognition in online and mobile services”, 00727/12/EN, WP 192, Brussels, 22 March 2012, p. 2.

[5] Definiti, a loro volta, “special categories of personal data” dall’art. 10, par.1, Dir. (UE) 2016/680 Law Enforcement Directive.

[6] Si veda, in particolare, art 9, par.1, Reg. (UE) 2016/679, General Data Protection Regulation (da qui in avanti, GDPR).

[7] Il tema è entrato particolarmente in voga nell’ultimo anno, a seguito del suo impiego da parte delle forze di polizia cinesi contro i protestanti di Hong Kong. Il software impiegato per collezionare, comparare ed individuare coloro che sono scesi in strada a manifestare ha un quid pluris: funziona anche quando il volto è parzialmente coperto da una maschera, come riportato da J. Li in “China’s Facial-Recognition Giant Says It Can Crack Masked Faces during the Coronavirus”, Quartz, 2020, https://qz.com/1803737/chinas-facial-recognition-tech-can-crack-masked-faces-amid-coronavirus/. Non è un caso che sia stato scelto come simbolo delle proteste un ombrello, utilizzato dai giovani manifestanti per proteggersi anche dal riconoscimento facciale.

[8] Sul punto si rimanda all’analisi di J. G. Cavazos in “Accuracy comparison across face recognition algorithms: Where are we on measuring race bias?”, IEE Transactions on Biometrics, Identity, Profile, 4 giugno 2020, http://arxiv.org/abs/1912.07398. Si veda, inoltre, R. Singh, “On the Robustness of Face Recognition Algorithms Against Attacks and Bias”, Arxiv.org, 7 febbraio 2020, http://arxiv.org/abs/2002.02942.

[9] Si veda sul punto, ad esempio, la posizione presa da IBM, in “IBM Quits Facial-Recognition Market over Police Racial-Profiling Concerns” the Guardian, 9 giugno 2020, http://www.theguardian.com/technology/2020/jun/09/ibm-quits-facial-recognition-market-over-law-enforcement-concerns; “IBM’s facial recognition protest, explained“, Vox, 10 giugno 2020, https://www.vox.com/recode/2020/6/10/21285658/ibm-facial-recognition-technology-bias-business.

[10] Sigla per Facial Recognition Technology (FRT) che verrà adoperata nel corso del testo come sinonimo di riconoscimento facciale.

[11] Per un approfondimento sul tema, v. A. Longo, “Clearview AI, le nostre foto sui social usate per il riconoscimento facciale”, la Repubblica, 20 gennaio 2020, disponibile qui: https://www.repubblica.it/tecnologia/sicurezza/2020/01/20/news/clearview_ai_riconoscimento_facciale_di_massa-246209835/.

[12] Serie televisiva britannica di tipo antologico a tema distopico diretta da C. Brooker, J. Armstrong e W. Bridges, in onda su Netflix Italia.

[13] Il riconoscimento facciale, come si è detto, può essere declinato in molteplici e differenti utilizzi sperimentati da autorità pubbliche e private in vari paesi dell’Unione, sebbene manchi un vero e proprio quadro normativo circa un utilizzo legale (e, al parere di chi scrive, anche etico) del FRT. Uno studio ricostruttivo dei differenti approcci nazionali è svolto con puntualità da B. Calderini in “Riconoscimento facciale, il quadro internazionale: norme, mercato e sfide etiche”, Agenda Digitale, 7 ottobre 2020, https://www.agendadigitale.eu/cultura-digitale/riconoscimento-facciale-mercato-sfide-e-questioni-etiche-un-quadro-internazionale/.

[14] Sul punto, si veda L. Kayali in “French privacy watchdog says facial recognition trial in high schools is illegal”, POLITICO, 29 ottobre 2019, https://www.politico.eu/article/french-privacy-watchdog-says-facial-recognition-trial-in-high-schools-is-illegal-privacy/.

[15] V. Reg. (UE) 2016/679.

[16] V. “Facial recognition: for a debate living up to the challenges”, CNIL, 19 dicembre 2019, https://www.cnil.fr/en/facial-recognition-debate-living-challenges.

[17] Si veda nel merito L. Kayali, “French Privacy Watchdog Says Facial Recognition Trial in High Schools Is Illegal”, ibidem.

[18] Questa situazione di grave incertezza è stata denunciata da molte organizzazioni internazionali quali, ad esempio, Amnesty International che ha pubblicato numerosi report o, ancora, l’ONU. Sul punto, si consiglia di far riferimento all’accurato commento a cura di B. Calderini, in “Sorveglianza, Europa sotto accusa: così rafforza i regimi e indebolisce i diritti umani”, Agenda Digitale, 23 novembre 2020, https://www.agendadigitale.eu/?p=94342.

[19] Trib. Adm. de Marseille, n. 1901249, 3 febbraio 2020. Il testo (solamente in francese) può essere consultato al link che segue: https://www.laquadrature.net/wp-content/uploads/sites/8/2020/02/1090394890_1901249.pdf.

[20] V. punti 7-8 della decisione 1901249/2020.

[21] L’art. 9, Re. (UE) 2016/679 si riferisce al “trattamento di categorie particolari di dati personali”, cui rientrano anche i dati biometrici ricadendo perfettamente nell’inquadramento effettuato dal par. 1. Inoltre, l’iniziativa dell’Ufficio Scolastico non ricade in alcun modo nelle categorie delle eccezioni enucleate, invece, al par.2.

[22] Si veda l art. 4, par. 1, n. 14 Reg. (UE) 2016/679.

[23] Aspetti considerati ai punti 10-13 della pronuncia in esame.

[24] V. «Expérimentation de la reconnaissance faciale dans deux lycées : la CNIL précise sa position | CNIL», ottobre 2019, https://www.cnil.fr/fr/experimentation-de-la-reconnaissance-faciale-dans-deux-lycees-la-cnil-precise-sa-position.

[25] Il riferimento è, chiaramente, alle consultazioni che hanno preceduto l’adozione del White Paper on Artificial Intelligence, nel febbraio del 2020, il cui testo è ivi consultabile: https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf. Circa il mancato deal sul moratorium si faccia riferimento a L. Pascu in “EU No Longer Considering Facial Recognition Ban in Public Spaces”, Biometric Update, 30 gennaio 2020, link di reindirizzamento: https://www.biometricupdate.com/202001/eu-no-longer-considering-facial-recognition-ban-in-public-spaces.

[26] EDPB response to MEPs Sophie in ‘t Veld, Moritz Körner, Michal Šimečka, Fabiene Keller, Jan-Christoph Oetjen, Anna Donáth, Maite Pagazaurtundúa, Olivier Chastel, concerning the facial recognition app developed by Clearview AI, 10 giugno 2020, consultabile qui: https://edpb.europa.eu/sites/edpb/files/files/file1/edpb_letter_out_2020-0052_facialrecognition.pdf.

[27] Si veda B. Calderini, «Sorveglianza, Europa sotto accusa».

[28] Quest’ultimo, che andrebbe ad ampliare il già adottato Accordo Wassenaar relativo alla commercializzazione di armi tradizionali, ha lo scopo di bloccare la vendita di sistemi di sorveglianza a paesi di stampo autoritario, configurandosi il rischio di un uso distorto dei menzionati strumenti, come chiarito dalla Conferenza Stampa rilasciata: “Dual Use Goods: Parliament and EU Ministers Agree on New EU Export Rules. News: European Parliament“, 9 novembre 2020, link: https://www.europarl.europa.eu/news/en/press-room/20201105IPR90915/dual-use-goods-parliament-and-eu-ministers-agree-on-new-eu-export-rules.

[29] V. S. Zuboff, “The Age of Surveillance Capitalism”, Profile Books, 2019.

[30] Case C‐131/12, Google Spain SL and Google Inc. v. Agencia Española de Protección de Datos (AEPD) and Mario Costeja González, ECLI:EU:C:2014:317.

[31] Tale concetto è suggerito da M. Bassini in  “Fundamental Rights and Private Enforcement in the Digital Age”, European Law Journal 25, v. 2, 201, pagg. 182–97, disponibile qui: , ove sottolinea il ruolo preponderante dei private actors nell’assicurare la tutela dei diritti fondamentali, venendo sempre più esposti ad una posizione di necessari intermediari.

[32] F. Pasquale, “The black box society”, ibidem.

[33] “It’s not man versus machine; it’s man with machine versus man without. Data and intuition are like horse and rider, and you don’t try to outrun a horse; you ride it”, P. Domingos, “The master of Algorithm. How the quest for the ultimate learning machine will remake our world”, Penguin, 2017.