Aquest no és un cas aïllat. Dos anys després d’aquests fets, una investigació de Propublica va demostrar que el sistema tendia a assignar riscos molt més elevats a les persones de pell fosca que a les de pell blanca. Era el resultat d’allò que es coneix com a biaix predictiu; en aquest cas, racista.

D’on surt aquest biaix?

L’origen s’amaga en els principis més bàsics dels algoritmes predictius, també anomenats d’Aprenentatge Automàtic (Machine Learning, en anglès). Aquests algoritmes, actualment tant habituals, es basen en una anàlisis estadística de dades històriques, a partir de les quals s’extreuen patrons que més endavant serveixen per fer prediccions sobre noves dades. Com a conseqüència, si aquestes dades històriques contenen una representació esbiaixada de la realitat, les prediccions de l’algoritme predictiu reproduiran el mateix biaix.

Però això no és tot. L’estudi de Propublica va demostrar que la diferència a l’hora d’avaluar persones de colors diferents no s’explicava només per unes dades històricament esbiaixades, sinó que l’algoritme tendia a equivocar-se de manera diferent en funció de si examinava persones de pell negra o de pell blanca. Així, COMPAS va atribuir el doble de vegades un risc erròniament alt de reincidència als presos de pell negra; mentre va assignar un risc erròniament baix a molts més reclusos de pell blanca. Per tant, en aquest cas, la Intel·ligència Artificial no ajudava a mitigar les diferències racials inherents a les dades històriques, sinó que encara les potenciava més.

Per què? Propublica ressaltava que COMPAS no preguntava la raça del pres per formar l’algoritme. No obstant això, les variables que utilitzava per obtenir informació eren 137 preguntes personals sobre el detingut i el seu entorn, com “Els teus amics o familiars formen part de bandes criminals?” o “Has provat l’heroïna?”. Però el problema és que, als Estats Units, les diferències socials entre els col·lectius racials són prou importants com perquè es vegin reflectides en aquest tipus de respostes. Així, si s’evités proporcionar a l’algoritme dades que permeten deduir el color de pell, es quedaria sense informació per a fer prediccions amb precisió.

Conseqüències en el treball, en la salut, en l’amor

El cas de COMPAS no és una excepció, ja que els biaixos predictius són un fenomen inherent als algoritmes d’Intel·ligència Artificial, que són cada dia més freqüents al nostre entorn.

El 2014, Amazon va desenvolupar una eina intel·ligent per reclutar els millors treballadors. Un any més tard, la multinacional va adonar-se que als llocs tècnics no hi havia cap dona. La companyia va abandonar l’eina després que una auditoria interna trobés que els candidats homes havien obtingut més puntuació que les dones. Per què? Tal com expliquen Karma Peiró i Ricardo Baeza-Yates a Medium, les dades massives que serviren per nodrir l’algoritme de sel·lecció de personal es basaven en currículums rebuts durant l’última dècada, quan amb prou feines hi havia dones programadores. Quan el sistema automàtic detectava la paraula “dona” o un sinònim, la penalitzava i puntuava més baix.

En l’àmbit sanitari, als Estats Units s’utilitzen algoritmes per guiar algunes decisions mèdiques. El 25 d’octubre, la revista Science explicava que els models utilitzats per assignar cures als 100 milions de pacients nordamericans que pateixen malalties cròniques, com atacs de cor o diabetis, prioritzaven els pacients blancs en detriment dels negres, i rebien abans una assistència mèdica urgent.

Al llibre El Algoritmo del Amor, Judith Duportail explica que l’algoritme de Tinder classifica els usuaris segons la bellesa, el gènere, els estudis i la classe social. Duportail sosté que els homes amb més ingressos i nivell d’estudis tenen una gratificació i, en canvi, a les dones amb els mateixos atributs se les penalitza. Per això, considera que Tinder vol construir parelles desiguals en què l’home sempre sigui superior: amb més estudis, més ingressos i més edat. Com s’explica això? Per una banda, l’algoritme és el resultat d’una compilació de dades que ha tingut lloc dins una societat masclista i, per l’altra banda, segons l’autora del llibre, els programadors de l’aplicació han introduït els seus propis biaixos dins el programari. Com trencar aquest cercle viciós?

Algunes solucions

El Centre Tecnològic Eurecat, de la mà de la Universitat Pompeu Fabra (UPF) i la Universitat Tècnica de Berlín, ha creat un algoritme, anomenat FA*IR, per evitar la discriminació per raons de gènere, procedència o aparença física en cercadors de feina o de parella. FA*IR detecta els biaixos i els corregeix incorporant un mecanisme per a reordenar els resultats sense afectar la validesa del rànquing. Des de l’UPF, a més, proposen utilitzar els algoritmes de manera crítica i en col·laboració amb experts de l’àrea que correspongui.

Rachel Thomas, directora del Centre d’Ètica Aplicada a les Dades de la Universitat de San Francisco, recomana que cada conjunt de dades es presenti amb un document on s’hi descrigui com es va compilar. També aconsella especificar-hi qualsevol preocupació ètica o legal que hagi pogut sorgir durant el procés. Suggereix, tanmateix, que els equips incloguin gent diversa capaç d’advertir els diferents biaixos.

El 2017, l’Associació de Maquinària Informàtica (ACM) publicà un manifest en defensa de la transparència algorítimica i va establir set principis:

1. Consciència. Els creadors d’aquests sistemes han de ser conscients de la possibilitat que hi hagi biaixos en el seu disseny, implementació i ús.
2. Accés. Els reguladors han d’afavorir l’introducció de mecanismes perquè els individus i grups negativament afectats per decisions algorítmiques puguin qüestionar-les i rectificar-les.
3. Passar comptes. Les institucions han de ser responsables de les decisions de l’algoritme, encara que no puguin detallar com s’han pres.
4. Explicació. Les institucions que empren sistemes intel·ligents han de promoure la producció d’explicacions sobre els procediments i les decisions específiques que s’hi prenen.
5. Procedència de les dades. Les dades emprades per a l’entrenament han d’anar acompanyades d’una descripció del seu origen.
6. Auditabilitat. Models, dades i decisions han de quedar registrats perquè puguin auditar-se quan se sospita d’algun error.
7. Validació i proves. Les institucions han de fer proves rutinàries per a avaluar i determinar si el model genera discriminació.

Encara queda molt per fer

Malgrat els esforços, els biaixos algoritmics són entre els grans problemes de la comunitat científica. En alguns casos, les dades sovint reflecteixen diferències no atribuïbles a biaixos, sinó que són resultat d’una descripció objectiva de la realitat i no té sentit corregir-los. A vegades, però, aquests contrastos són producte de certes diferències històriques que cal pal·liar per construir una societat més justa. Tot plegat requereix una feina complexa però necessària per redefinir com conceptualitzem el món i, en conseqüència, com obtenim les dades. Al mateix temps, és urgent introduir l’Ètica a l’hora d’entrenar models intel·ligents que, de ben segur, tindran un gran impacte social.

Notes:

*COMPAS és l’acrònim de Correctional Offender Management Profiling for Alternative Sanctions, que en català es tradueix com a Perfilat per la Gestió Correctiva d’Infractors per Sancions Alternatives.

L’Exèrcit dels Estats Units firmarà amb Microsoft un contracte per 10 bilions de dòlars per modernitzar els seus vells sistemes informàtics i transferir la totalitat de les seves dades a únic sistema de computació en el núvol. A més, els proporcionarà serveis d’anàlisis de dades i ofimàtica en el núvol a través del seu sistema Office 365, així com l’allotjament dels antecendents penals, les auditories fiscals i, fins i tot, els secrets militars classificats. Amb aquesta operació, el Departament de Defensa pretén guanyar avantatja tàctica als camps de batalla, en un context on és clau l’eficiència amb què es gestiona la informació.

Fins fa poques setmanes, Amazon va encapçalar la cursa pel contracte bilionari (el més lucratiu que ha plantejat mai l’Exèrcit), però Microsoft li ha impedit convertir-se en el gran monopoli virtual de la seguretat nacional. Tot i així, el gegant del comerç electrònic ja acapara prop del 48% del mercat mundial de la informàtica en núvol -enfront del 17% de Microsoft- i gestiona alguns dels espais de seguretat més sensibles per a les tasques del govern.

L’Exèrcit nordamericà estreny els vincles amb Silicon Valley

El 2013, Amazon es va convertir en el proveïdor de computació en núvol de la CIA per 600 milions de dòlars. Quatre anys més tard, Amazon Web Services allotjava la informació recopilada pel sistema d’intel·ligència que ajudà el president Donald Trump a deportar milions d’immigrants dels Estats Units -i que creava perfils detallats, utilitzats després per rastrejar les seves relacions familiars, les connexions personals, les adreces, els registres de telèfon o els seus trets biomètrics. A més, alguns departaments de policia utilitzen el programari de reconeixement facial d’Amazon, Rekognition, que pot detectar l’edat, el gènere i fins i tot certes emocions, encara que falli en molts casos.

D’aquesta manera, Microsoft i Amazon es repartiran el pastís de l’emmagatzematge de les dades més sensibles de la primera potència mundial. Aleshores, què pot passar si les dades personals de milions de ciutadans o els secrets d’Estat arriben a ser gestionats, de manera directa o indirecta, per una firma comercial? Podem confiar aquestes dades a empreses privades quan cada cop son més habituals els escàndols per filtracions i usos abusius de les dades dels seus usuaris? A més, entra en l’equació la gran capacitat d’influència de les grans empreses en la confecció de les lleis. Tot plegat ens condueix cap a una nova configuració dels governs i la indústria, i ningú n’ha predit les conseqüències.

El Pentàgon estreny els vincles amb Silicon Valley. Amazon encapçala la cursa per signar un dels contractes d’informàtica en núvol més lucratius que ha plantejat mai l’Exèrcit nordamericà, amb 10 bilions de dòlars en joc. Una passa més perquè la companyia assumeixi la informació del govern federal, des dels antecedents penals fins a les auditories fiscals. El projecte estableix la construcció d’una infraestructura a Internet que emmagatzemi informació militar confidencial. L’exèrcit pretén refrescar la burocràcia militar utilitzant els serveis de les empreses tecnològiques. És així com el Departament de Defensa nordamericà pretén guanyar avantatja tàctica als camps de batalla, en un context on és clau l’eficiència amb què es gestiona la informació.

La companyia de Jeff Bezos ja no es conforma, doncs, amb ser el major minorista en línia del món. El 2013, Amazon va convertir-se en el proveïdor d’informàtica en núvol de la CIA. L’acord, que es va signar per un valor de 600 milions de dòlars, va convertir l’empresa en la gran contractista de la seguretat nacional. El 2017, destaparen que el sistema d’intel·ligència que ajudà Trump a deportar milions d’immigrants dels Estats Units -i que creava perfils detallats que després s’utilitzaven per rastrejar els immigrants com les relacions familiars, connexions personals, adreces, registres de telèfon o trets biomètrics- emmagatzema tota la informació als Amazon Web Services (AWS). L’any següent, els serveis al núvol van proporcionar a la companyia el 13% del seu negoci global. A més, alguns departaments de policia ja utilitzen el programari de reconeixement facial en el núvol, Rekognition. Una eina que pot detectar l’edat, el gènere i fins i tot certes emocions, tot i que falla en molts casos.

La cursa per firmar el contracte amb l’Exèrcit ha nascut enmig de les crítiques furibundes d’altres postulants -Microsoft, Oracle o Google, entre altres-. Per un costat, alguns han denunciat que el procés d’oferta no s’ha desenvolupat en condicions d’igualtat i s’ha afavorit Amazon des del principi. Per altre costat, molts critiquen que només pugui haver-hi un sol guanyador que, a efectes pràctics, acabarà controlant gran part dels núvols del govern federal. Tot plegat, condueix cap a una nova configuració del govern i la indústria, sense que ningú n’hagi predit les implicacions. Allò més probable, però, és que el finalista del contracte disposi en el futur d’una gran capacitat d’influència en les regulacions que el podrien afectar, tenint en compte que, actualment, les grans amenaces dels monopolis no són tant els competidors com la legislació.

Llavors, quin serà el paper d’Amazon en la política i la seguretat nacional? Quines són les conseqüències de que els secrets d’Estat arribin a ser gestionats, de manera indirecta, per una firma comercial?