Il dibattito internazionale sui rapporti tra le declinazioni di genere e le tecnologie, almeno nella sua forma esplicita e dedicata dei Gender and Technology studies, risale alla fine degli anni ’70, quando si inizia a mettere in discussione il presunto determinismo tecnologico e, allo stesso tempo, la costruzione sociale del genere attraverso le tecnologie, in una prospettiva finalmente ribaltata (cfr. Bencivenga, Bosco & Pozzolo 2016). Dopo la pubblicazione del Manifesto Cyborg di Donna Haraway (Haraway 1985), si era trovata anche una sistematizzazione teorica e militante di questo dibattito, nel quadro di una prospettiva di pratica scientifica militante. Negli ultimi tempi, invece, nella pressoché totale marginalizzazione di un dibattito storico e finanche storicizzato, nel quale alcune interpretazioni e valutazioni sembravano essere diventate ormai dei punti fermi, la nuova temperie culturale, egemonizzata dall’esplosione improvvisa, pervasiva e apparentemente inarrestabile dell’intelligenza artificiale, sembra cancellare decenni di lotte politiche, sociali e soprattutto scientifiche.
Ma procediamo con ordine, cercando di chiarire, con una rapida descrizione del funzionamento dell’intelligenza artificiale, i luoghi e i meccanismi dove emergono le possibili criticità. L’intelligenza artificiale, così come si è strutturata, include nel suo funzionamento il Machine Learning, cioè una parte dedicata a sviluppare algoritmi tali da agevolare un apprendimento autonomo basato sui dati che vengono forniti e individuando possibili pattern che vengono desunti ed estratti dai dati. Il Deep Learning è una sezione del Machine Learning che usa le reti neurali profonde, dove sono nati i modelli di intelligenza artificiale generativa, come GPT oppure DALL-E, che, quando si basano sui linguaggi naturali, vengono definiti Large Language Models (LLM). Questi ultimi riescono a dare delle “risposte” ai quesiti posti tramite un’interfaccia linguistica, grazie a quelle varie e molteplici fasi di allenamento e di training che i vari elaboratori che costituiscono la rete neurale effettuano su dataset generali e specifici. Ovviamente tutto quello che viene incluso in questi dataset di allenamento genera e determina i risultati ottenibili dalle interrogazioni specifiche. Il trattamento di questi dati da parte degli algoritmi avviene al momento in maniera completamente automatica, semplicemente mettendoli in relazione – applicando le istruzioni previste dal programmatore – ed estraendo su base statistica i possibili pattern per poi proporre le conclusioni da essi indotte. Tutto sembrerebbe procedere de plano, se la questione centrale per comprendere il vero ruolo possibile degli algoritmi che le reti neurali utilizzano per processare questi dati non fosse particolarmente problematica, da qualsiasi lato si possa o si voglia affrontarla: la segretezza. Poiché le tecnologie vengono sviluppate essenzialmente da 4 o 5 immense e potentissime imprese globali, con bilanci spesso più grandi di intere nazioni, queste stesse imprese, a volte coadiuvate da tribunali internazionali e nazionali, difendono l’assoluta necessità della segretezza in quanto ritengono che essa rappresenti un vantaggio commerciale e pertanto debba essere preservata affinché il vantaggio non si vanifichi. Da questo ne consegue che non viene reso possibile nessun controllo, né sui dati sottoposti all’IA, né sul meccanismo di trattamento di questi dati. L’output è il solo elemento pubblicato e pubblicabile, con tutte le conseguenze relative.
Questa situazione generale, proposta come inevitabile, include anche un aspetto particolare, che è ben presente a chi si occupa delle reti neurali e che viene definito di solito come black box, cioè un luogo, un momento, un processo, dove gli algoritmi fanno delle valutazioni e prendono delle decisioni che non sono direttamente rintracciabili da scienziati, programmatori e ricercatori.
Qualora i dati sottomessi, allora, siano lo specchio di dinamiche sociali o storiche frutto di pratiche potenzialmente discriminatorie, l’algoritmo, se non viene precisamente istruito nello specifico – poiché notoriamente gli algoritmi non hanno un sistema valoriale e etico operativo e autonomo –, non è in grado di accorgersi di queste aporie. Anzi, quando una rete neurale profonda individua un trend statistico abbastanza netto, proprio per essere più “efficac”’, tende addirittura a forzare i dati e a conformare le risposte in percentuale ancora maggiore di quelle del trend, nella fattispecie aggravando quindi ulteriormente la tossicità del processo.
I risultati che propone un’intelligenza artificiale, quando vengono usati da imprese, organizzazioni o istituzioni, costituiscono una base significativa e dirimente per delle procedure decisionali, siano esse automatiche, semi automatiche o rappresentino gli elementi presi in considerazione per una scelta umana consapevole e cosciente. Laddove l’output provenga da dati nei quali ci siano state delle reali degenerazioni discriminatorie, senza che ci sia possibilità di ripercorrere al contrario le procedure – così come ogni ragionamento scientifico imporrebbe –, si crea una condizione di pericolosità assoluta. Una pericolosità di un sistema umano creato da umani, si faccia attenzione, dalle decisioni tecniche fino alla composizione dei team di sviluppo e ricerca, quindi con una precisa responsabilità umana nella scelta dei set, delle variabili e delle regole da applicare.
Questa notazione va immediatamente collegata ai dati sociali materiali, che rappresentano le condizioni di esistenza di alcune dinamiche. Hicks già nel 2017 aveva chiaramente notato una netta inversione di tendenza nella presenza di donne nell’ambito dell’industria e della ricerca informatica (Hicks 2017) dagli anni ’60 agli anni ’80, e come ha mostrato il progetto Women in Data Science and AI, sviluppato dall’Istituto Alan Turing, oggi solo il 22% del personale impiegato nei settori in questione è di genere femminile e, per giunta, esso risulta in gran parte assunto con ruoli e funzioni associate a uno status inferiore. Inoltre, se si guarda a un dato quantitativo dispiegato su base internazionale e si prendono in considerazione gli accessi a Internet o il semplice possesso di uno smartphone, il gap tra uomini e donne è tuttora molto sensibile, soprattutto nei paesi a reddito basso e medio, come dimostra e riporta chiaramente il Mobile Gender Gap Report 2024. Queste discrasie influiscono in maniera determinante sia sulla modalità di approccio ai dati che sulla massa totale dei dati che vengono utilizzati per costituire i dataset necessari per le reti neurali. L’aspetto fondamentale, allora, che bisogna assolutamente individuare come prioritario rispetto alle possibili discriminazioni di genere che emerge dall’intelligenza artificiale è che esso non solo riflette, ma anzi, amplifica le discriminazioni esistenti, come se scattasse una fotografia dell’esistente e la trasformasse in un intero film d’autore, mostrandolo come un documentario oggettivo.
Poiché, come si è sopra accennato, moltissime istituzioni, organizzazioni e imprese, in domini vari, oggi utilizzano questi sistemi che propongono delle predizioni statisticamente accurate, basate sulle proiezioni fatte dalle reti neurali sulla base delle costanti individuate, diventa necessario valutare come queste proiezioni riflettano effettivamente la società, per essere sicuri che esse siano il risultato di una selezione non solo coincidente con i relativi desiderata, ma siano conformi soprattutto ai valori etici, morali e politici che le istituzioni democratiche assicurano nella società.
MacKenzie & Wajcman (MacKenzie & Wajcman 1989) ipotizzavano che, qualora si guardi alla tecnologia come un “riflesso” della società, laddove ci siano delle discriminazioni, queste emergono anche lì, nella tecnologia stessa. Un algoritmo allora, quando produce dei risultati permeati da bias, non incorre in un errore, in un “bug”, ma semplicemente riproduce nell’analisi e nella risposta, le tracce lasciate dai rapporti reali. Qualora allora i risultati non vengano ritenuti “accettabili” nel discorso pubblico, per esempio perchéé non si considerano aderenti a principi comuni – siano essi imposti o meno poco conta –, la tecnologia stessa deve essere ristrutturata perché diventi funzionale all’affermazione di questi principi anche nei suoi output. Anche West (West 2018) metteva in relazione i dati storici e i valori che da questi emergevano, interpretando il possibile disallineamento come un’‘evoluzione’ del pensiero, a fronte di un cambiamento di valori.
Ovviamente non si deve pensare a un cambiamento universale – come probabilmente fa West –, ma a rapporti di forza tra soggettività diverse nella società che rendono possibili o meno non solo determinate dinamiche, ma anche la loro dimensione pubblica, la cui rappresentazione nei sistemi discorsivi genera variabili differenti e spesso impreviste e dure, a prescindere dalle lotte che ci sono dietro, non ultima quella delle diverse declinazioni dei pensieri “femministi”.
Panzieri scriveva che «le macchine sono sempre fatte nel capitale, non sono delle invenzioni tecniche neutre, oggettive. Dentro la macchina, diceva Marx, c'è la volontà del capitale; la macchina è plasmata dal capitale. Le macchine servono per produrre: in questo senso contengono un elemento oggettivo, per così dire, ma che è commisto sempre all’elemento che deriva dal modo sociale con cui si produce» (Panzieri 1976, p. 36). Il riferimento chiaro è al Marx del Frammento sulle macchine (il testo fu pubblicato sul quarto numero dei Quaderni rossi del 1964, proposto proprio da Panzieri), scritto tra il 1857 e il 1858, laddove si parla del sapere, anzi più precisamente, del general intellect, che si oggettiva nelle macchine e nel loro sistema automatizzato. Al di fuori del lessico “tecnico” dell’approccio marxista, non si può fare a meno di sottolineare che l’idea che la tecnologia non sia un dato naturale, ma che essa dipenda totalmente dal pensiero che la costruisce, in tutte le sue possibili articolazioni e differenziazioni legate alle posizioni sociali, economiche, storiche e antropologiche delle soggettività che lo costituiscono, è evidente da secoli. Ignorare questo dato indica allora una manifesta cattiva fede, semplicemente abbigliata con la versione contemporanea e aggiornata del tecno-entusiasmo.
Le discriminazioni di genere come emergenza dei rapporti di potere, prima e dopo l’IA
In questo contesto si deve leggere il tentativo, notissimo, effettuato tra il 2014 e il 2015, di automatizzazione delle procedure di reclutamento e assunzione effettuato da Amazon, da sempre all’avanguardia nell’implementazione di questi processi. Con lo scopo di assumere degli ingegneri, sono stati sottoposti ai software dedicati i Curriculum Vitae dei dieci ultimi anni di chi era già impiegato in posizioni simili a quelle ricercate. Per motivazioni all’epoca non rilevate - sociali, economiche, storiche, tutte individuabili leggendo le fenomenologie esistenti -, la quasi totalità dei CV era di uomini, e pertanto, l’IA, analizzando gli elementi e desumendone i pattern significativi e determinanti, ha previsto ed effettuato l’eliminazione sistematica di tutti i CV che contenessero una qualsiasi attività legata alla dimensione femminile: dai college sino ai club di scacchi. Il risultato ottenuto è stato allora tale che non solo per la scelta dei candidati da assumere da parte delle imprese ma anche per essere semplicemente prese in considerazione per le proprie capacità e competenze, essere donne significava automaticamente non avere nessuna chance di successo.
Certo, anche prima della diffusione delle previsioni dell’IA, negli anni Settanta negli Stati Uniti si era già dovuto far fronte, adottando poi misure specifiche – l’Equal Credit Opportunity Act –, ad un minore credito assegnato in automatico dalle banche alle donne, a causa dei dati storici presi in considerazione, tanto che per le donne single, vedove o divorziate fino al 1974 era addirittura necessaria la garanzia di un uomo per aprire una qualsiasi linea di credito. E qualche anno dopo, nel 1997 nella Filarmonica di Vienna, per la prima volta e a seguito di un intenso dibattito pubblico internazionale e le proteste della International Alliance for Women in Music, venne assunta a pieno titolo Anna Lelkes, una donna arpista. Le blind auditions, che la Filarmonica aveva istituito dopo la Seconda guerra mondiale, erano state subito eliminate fino a che le prove erano divise in tre parti: nelle prime due, si restava nascosti da uno schermo, nell’ ultima invece il candidato si esponeva fisicamente al giudizio dei selezionatori, che nel corso degli anni hanno escluso centinaia di candidati, con una vera e propria discriminazione sia di genere che di razza, nel tentativo di preservare un’immagine bianca, occidentale e maschile da presentare al pubblico del Das Neujahrskonzert der Wiener Philharmoniker, il Concerto di Capodanno. Uno studio di Claudia Goldin e Cecilia Rouse, sulle blind auditions nelle orchestre americane (Goldin & Rouse 2000), di poco successivo al caso in questione, aveva dimostrato come questa modalità avesse incrementato le possibilità di successo per le donne del 50%, se effettuata nella prima parte della selezione e addirittura del 300%, se disposta nella terza e ultima decisiva parte, permettendo di aumentare la presenza femminile nelle orchestre in vent’anni dal 5% al 36%.
Gli stereotipi di genere come agente determinante per i dispositivi generativi
In una ricerca sui bias nell’IA, portata avanti per il Berkeley Haas Center for Equity, Gender & Leadership da Genevieve Smith e Ishita Rustagi, su 133 sistemi analizzati, il 44,2% presenta bias di genere e il 25,7% bias di genere e di razza. I risultati di questa indagine indicano che i sistemi hanno una minore efficacia in molti campi, dal riconoscimento delle voci femminili che dovrebbero poi impartire i comandi ai dispositivi fino ai software che supportano le agenzie di reclutamento che tengono ancora in poco conto le competenze curriculari (nonostante il caso Amazon appena citato), sempre ammettendo ipoteticamente che questa non sia una scelta deliberata, e che i criteri di selezione si basino su altri parametri.
Un campo abbastanza circoscritto, ma comunque significativo, ci mostra in maniera inoppugnabile uno dei meccanismi che abbiamo sinora elencato. Nelle traduzioni automatiche, che ormai sono a disposizione di ogni singolo utente, si assiste addirittura alla trasformazione di termini considerati neutri – non aggiunge niente qui se la forma del neutro sia resa attraverso il maschile – in definizioni declinate per genere: “the doctor” diventa “el doctor”, e “the nurse” diventa invece “la enfermera”, nel passaggio dall’inglese allo spagnolo. Lo stesso identico fenomeno è stato rilevato in un’intervista rilasciata a UN Women da Beyza Doğuç, un’artista turca, che, quando ha chiesto a un’intelligenza artificiale generativa di scrivere una storia su “a doctor” e “a nurse”, ha osservato l’IA identificare subito il dottore come maschio e l’infermiera come donna. Doğuç così commenta: «Artificial intelligence mirrors the biases that are present in our society and that manifest in AI training data». Quello che si può e si deve notare è che anche nel caso di linguaggio non caratterizzato secondo il genere, è il dispositivo stesso a trasformarlo e ad applicare gli stereotipi che vengono desunti dai dataset di cui si nutre la rete neurale relativa. Nelle interviste riportate da Elisabeth Kelan (Kelan 2024), nelle traduzioni effettuate da Google Translate dall’ungherese, cioè una lingua che ha i pronomi neutri, una tale Brenda (uno pseudonimo, ovviamente) segnala che il sistema identifica come maschile il pronome accostato a “clever” “intelligente” e come femminile quello accostato a “beautiful” “bello”: he is clever, she is beautiful.
L’intelligenza artificiale, come si vede e come si è sottolineato, ha un pericoloso potenziale in grado di amplificare ulteriormente i pregiudizi di genere, soprattutto considerando che i suoi stessi prodotti – sia in forma di dati comportamentali che di testi – costituiranno rapidamente, in pochi anni, una parte crescente degli stessi dati su cui si baseranno i dataset di training delle reti neurali. Inoltre, in un contesto in cui il suo utilizzo è destinato a diffondersi capillarmente e in modo spesso del tutto inconsapevole e non avvertito, e quindi a influenzare un numero sempre maggiore di aspetti della vita quotidiana e sociale, diventa del tutto lecito temere che i suoi prodotti possano trasformare i principi culturali, le reali sensibilità e addirittura possano spostare i limiti di ciò che appare dicibile e socialmente accettabile, ancora più di quando stia accadendo in questi anni sul piano politico. In sintesi, non solo l’operatività probabilistica dell’intelligenza artificiale rischia di rafforzare i pregiudizi di genere, ma i contenuti da essa creati, a loro volta, diventeranno i nuovi dati di riferimento per l’algoritmo, innescando un ciclo infinito di amplificazione dei delle discriminazioni; essi avranno la potenziale capacità di rimodellare dal profondo le sensibilità, consolidare una cultura ancora dominante –anche se non dichiaratamente –, e ridurre ulteriormente gli spazi per la costruzione di un pensiero libero e liberato.
Raccomandazioni, trattati, dichiarazioni, convenzioni e legislazioni: un’occasione (ancora) mancata
In conclusione, almeno dal punto di vista teorico, la questione della necessità di un intervento forte è abbastanza consolidata, tanto che addirittura l’Unesco, nell’ambito dell’applicazione dei principi contenuti nella Raccomandazione sull’etica dell’intelligenza artificiale, ha costituito un ulteriore gruppo di esperti (che si aggiunge ad altri quattro già esistenti, dedicati ad aspetti diversi), denominato Women4Ethical AI, i cui obiettivi sono, oltre a sostenere ovviamente l’attuazione della Raccomandazione, condividere la ricerca nel merito, contribuire a un archivio di buone pratiche, promuovere i progressi in materia di algoritmi e fonti di dati non discriminatorie e, in ultimo, incentivare le ragazze, le donne e i gruppi di solito sottorappresentati a partecipare in misura maggiore alla implementazione dell’IA.
La Comunità Europea nel 2024 ha approvato il AI Act, un dispositivo legislativo che dovrà poi essere implementato in tutte le legislazioni nazionali dei Paesi membri entro il 2027. Il riferimento alle questioni di genere viste dal punto di vista dei pericoli di discriminazione generati dall’uso dell’IA è contenuto in tre parti differenti. In quella sull’istruzione (56), si individuano i sistemi di valutazione per l’accesso alla formazione come possibili luoghi per una violazione del diritto all’istruzione e del “diritto alla non discriminazione”, laddove ci possa essere il rischio di “perpetuare modelli storici di discriminazione, ad esempio, nei confronti delle donne”. I sistemi di reclutamento e di gestione di lavoratrici e lavoratori (57) presentano per il legislatore dei rischi analoghi, anche qui indicati con le stesse identiche parole: “perpetuare modelli storici di discriminazione, ad esempio nei confronti delle donne”. Il terzo luogo (58) riguarda l’accesso ai servizi essenziali, come le prestazioni sanitarie, quelle della sicurezza sociale, la maternità, la malattia, gli infortuni, i servizi per gli anziani; in questo caso, la palese situazione di minorità e di vulnerabilità (ancora una volta, individuando tristemente i soggetti coinvolti sempre con la stessa dicitura già vista sopra), messa in relazione con sistemi praticamente automatici che possono decidere di concedere o meno, ma anche di allargare o restringere le prestazioni richieste, può essere pericolosamente amplificata. Sempre qui si identificano come passibili di rischio i sistemi di richiesta creditizia (si noti che sono ormai passati 50 anni dallo stesso problema rilevato negli Stati Uniti) e della stipula di assicurazioni sulla vita o sanitarie, ma si lascia in questo caso esplicitamente aperta una scappatoia, dichiarando che la legislatura già in vigore è in grado di evitare di attribuire un “alto rischio” a questi sistemi; si faccia attenzione che questo dato non solo non corrisponde alla realtà, in quanto i sistemi di controllo sono nella fattispecie molto più blandi di quanto dichiarato, ma soprattutto la mancata attribuzione della definizione di “alto rischio”, è un tecnicismo giuridico che permette di evitare una regolamentazione più stringente e di concedere quindi una maggiore libertà di azione.
Non si può evitare di concludere che, a fronte delle dichiarate buone intenzioni, che non sono neanche particolarmente ben esplicitate come dovrebbero esserlo in un dispositivo legislativo – per giunta di tale importanza –, si attribuiscano tutte le ipotetiche responsabilità generiche di mantenere delle linee di condotta corrette e non discriminatorie a fornitori e distributori di servizi e soprattutto agli stessi costruttori di questi sistemi (che sono, lo si ricordi sempre, delle multinazionali difficilmente sottoponibili a legislazioni "local”’). Inoltre, come appena visto, questa prassi lascia sempre, in ogni caso, la possibilità di un’interpretazione eccezionale della norma, in grado di aggirare la “raccomandazione”, se non addirittura il divieto di determinate pratiche discriminatorie, semplicemente indicando motivazioni di sicurezza, sia essa sanitaria o nazionale.
Non sembra a questo punto inutile ricordare che il diritto alla tutela contro la discriminazione è un diritto incluso nella Dichiarazione universale dei diritti dell’uomo (sic…), oppure che la Convenzione delle Nazioni Unite prevede l’eliminazione di ogni forma di discriminazione non solo genericamente ma in particolare nei confronti delle donne, o il valore giuridico dei Patti delle Nazioni Unite sui diritti civili e politici e su quelli economici e sociali e della Convenzione europea per i diritti dell’uomo (sic…). La Carta Sociale Europea Riveduta (CSER) del 1996, adottata nell’ambito del Consiglio d’Europa, nell’art. 20, “diritto alla parità di opportunità e di trattamento in materia di lavoro e di professione senza discriminazioni basate sul sesso”, indica gli ambiti nei quali si devono prendere le misure adeguate per rendere effettivi questi diritti: l’accesso al lavoro e le tutele sul licenziamento, le condizioni di impiego e di lavoro (ivi compresa la retribuzione), l’orientamento, la formazione professionale, il reinserimento e, infine, le progressioni di carriera, comprese le promozioni. In Italia, l’art. 37 della Costituzione, decretava una tutela simile e anche la sentenza della cassazione Civile, sezione lavoro, n. 14206 del 5 giugno 2013, riteneva applicabile l’art. 15 sugli atti discriminatori della legge 20.5.1970, n. 300, cioè lo Statuto dei lavoratori, dichiarando nullo ogni atto che fosse interpretabile come tale nei confronti delle donne. Palesemente, le possibilità di tutela e di garanzia contro le discriminazioni esistevano già, dai trattati internazionali alle leggi nazionali, e riconoscevano un quadro che era tanto problematico nella sua effettività, da rendere necessaria l’istituzione stessa di principi di salvaguardia esplicita.
Le nuove difficoltà che possono sorgere dalla creazione incontrollata di queste tecnologie, dal loro uso indiscriminato e arbitrario, e soprattutto dalla materiale impossibilità di una reale tutela giuridica, necessitano sia di una riflessione scientificamente e politicamente consapevole che di una pratica di cui ancora non si vede traccia e sicuramente non possono essere risolte con la riproposizione di principii generali, addirittura espressi con formulazioni standardizzate, che denotano una totale assenza di confronto con i soggetti coinvolti.
In un contesto del genere, la sfida più grande risiede nella capacità di comprendere la parzialità occultata nelle questioni affrontate e di trasformare – se non addirittura di ribaltare – le rappresentazioni dominanti su cosa possano o debbano essere gli sviluppi e le applicazioni dell’intelligenza artificiale. Come altre tecnologie precedenti, essa viene spesso considerata erroneamente neutrale per definizione e, a causa del suo essere proposta come neutra, viene percepita e compresa “spontaneamente” come una realtà apolitica. Questa visione è ulteriormente rafforzata dalla percezione di inevitabilità che accompagna tale tecnologia: oggi, anche a causa degli immensi investimenti necessari, ci troviamo di fronte al fatto compiuto di un processo già avviato, che viene presentato come inarrestabile e proposto come talmente in grado di migliorare la vita quotidiana di uomini e donne, da doversi ritenere impossibile e inaccettabile qualsiasi ipotetica critica.
Ebbene, non è così.
Non solo è possibile, ma addirittura necessario mettere in discussione questa narrazione. Proporre una idea diversa delle tecnologie possibili e indispensabili è l’unica soluzione per cancellare le discriminazioni di genere. A qualsiasi costo.
Bibliografia