El cíborg ha burlat els límits de la ciència-ficció per convertir-se en la nova definició de l’ésser humà: com a espècie, hem creat artificialment el món que habitem i, alhora, hem modificat la naturalesa per adaptar-la al nostre mode de vida. I, en aquest context, la tecnologia també pot servir a causes emancipadores. Aquesta idea teixeix els escrits reunits per Teresa López-Pellisa i Remedios Zafra a l’antologia Ciberfeminismo. De VNS Matrix a Laboria Cuboniks (Ediciones Holobionte), que recullen el pensament de més de vint creadores i pensadores ciberfeministes, o sigui, els feminismes orientats a la tecnologia. El mateix principi vertebra els relats de Las Otras: Antología de mujeres artificiales (Eolas Ediciones), editat per López-Pellisa i que aplega contes de vint-i-sis autores i autors catalans, espanyols i llatinoamericans sobre ginoides, nines o dones virtuals i biotecnològiques de silici, plàstic i dígits binaris. L’obra defuig els clixés i, aquest cop, molts autors s’atreveixen a anar més enllà de la concepció tradicional de la dona artificial com a fetitxe, prostituta o companya sentimental en el marc de les relacions heteronormatives i dibuixen la imatge de l’autòmat femení des de postures dissidents. 

Potser se’n parla poc, de ciberfeminisme, tot i que el feminisme i la seva relació amb la tecnologia és un tema d’absoluta actualitat?

L’etiqueta de ciberfeminisme ja no està d’actualitat, tot i que continua existint. De fet, moltes ciberfeministes han anat canviant de posicionaments, tal com es pot comprovar en el procés del llibre [Ciberfeminismo. De VNS Matrix a Laboria Cuboniks] que, primer cop, tradueix i reuneix textos clau del ciberfeminisme. El concepte de ciberfeminisme s’encunya als anys noranta. Neix sobretot en el context de l’art feminista i el Net.art, quan es reflexiona sobre la cibercultura en uns termes que avui ens resulten inversemblants i ingenus. Cal tenir en compte que als noranta no tothom tenia un ordinador personal. Tal com escriu Remedios Zafra al pròleg, el llibre també reivindica la necessitat de publicar aquests textos en la llengua cíborg, meridional i mestissa que és el castellà per evidenciar les relacions entre Espanya i Llatinoamèrica amb una cultura digital que semblava que pertanyia exclusivament al món anglosaxó, i recull des dels primers manifestos dels noranta fins al posthumanisme i el xenofeminisme, que és cap a allò al qual ha tendit el ciberfeminisme. El problema és que el ciberfeminisme dels noranta reclamava un espai per a la cultura digital que per a les dones no ha existit. Es pensava en una relació postgènere a l’espai virtual que finalment no ha sigut real perquè el patriarcat l’ha col·lonitzat. 

Com es podria caracteritzar el ciberfeminisme avui?

Trobem el ciberfeminisme en Las Otras o en pel·lícules com Her, Ex-Machina, Ghost in the Shell, o en sèries com Black Mirror; productes culturals que reflexionen sobre l’imaginari científic i tecnològic de la feminitat i la projecció d’aquest futur especulatiu a través de la ciència-ficció. Cada cop que tractem l’imaginari femení tecnològic parlem de ciberfeminisme. Els ciberfeminismes plantegen que allò personal és hiperpolític -i no només polític, com deien els feminismes de la segona onada- entenent la hiperpolítica com una ampliació d’allò polític a través de la seva extensió al món virtual. Totes les lluites feministes que es duen a terme a través de la xarxa tenen a veure amb el ciberfeminisme o allò que s’ha denominat tecnofeminisme. El llibre va de Venus Matrix, un grup d’artistes australianes sorgit als noranta, fins als textos xenofeministes del 2019. Algunes treballen des del ciberactivisme i les xarxes de dones del ciberespai, mentre altres treballen des de la idea de la representació de la dona en l’imaginari científic i tecnològic cultural i els estereotips que s’hi repeteixen i que reforcen la desigualtat de gènere.

Estem veient la quasi monopolització dels codis estètics per part de lògiques mercantilistes i algunes grans empreses, i, per tant, ni els videojocs, ni les xarxes socials, ni altres espais virtuals són, generalment, feministes avui en dia.

Els estereotips no només es perpetuen en la ficció: la ficció crea la realitat. Allò que consumim és allò que naturalitzem com a normatiu i com a real. Per això és important analitzar la representació femenina al cinema i la literatura del passat: per a entendre com s’ha construït una realitat que es continua perpetuant. El que passa és que interioritzem aquests rols i discursos en la mesura que els veiem. Al món virtual de Second Life, tots els avatars tenen uns cossos impressionants. Allà tothom pot tenir el físic que sempre ha volgut. Però el gust i l’estètica deriven de la cultura, i si continuem educant-nos en els mateixos models, res canviarà. Si no plantegem alternatives, no podem imaginar-nos altres possibilitats. I és en la imaginació poètica i l’espai simbòlic on es plantegen aquestes altres opcions. Per això la ciència-ficció és tan interessant: perquè ens pot mostrar altres societats viables. I perquè la ficció crea o reforça la realitat. Però, compte, que també pot ser conservadora.

Sovint les distopies ens transmeten recel cap a allò que en realitat és crític o vol qüestionar el present...

Sí, és un dels gèneres de moda del segle XXI. Trobem una gran quantitat de distopies al teatre, a la narrativa i al cinema. I habitualment són súper conservadores. Ens diuen que el futur és pitjor, que val més quedar-nos així i conformar-nos amb allò que tenim. A través de la por, se’ns condueix cap a la immobilitat. Però també hi ha distopies interessants, aquelles que ens inciten a canviar les causes del nostre malestar. És preferible sortir de l’habitual discurs distòpic per plantejar-nos alternatives socials, solidàries, de gènere, de sexualitat… I, això, avui, l’única narrativa que ho fa possible és la ciència-ficció.

Ha de ser aquesta una de les missions de la ciència-ficció? A Ciberfeminismo es planteja que l’art té més potència deconstructiva que la teoria perquè aquesta última està més afectada pels codis i estructures científic-tecnològiques.

Quasi totes les filòsofes i els filòsofs contemporanis utilitzen la ciència-ficció en els seus textos. Braidotti, Haraway, Zizek o Sloterdijk, que s’adonen que no es tracta d’un gènere marginal perquè planteja qüestions, metàfores i imaginacions de la poètica de la resistència amb un contingut social i polític molt interessant. A través de la ciència-ficció es pot plantejar un món fora del patriarcat i del gènere binari i normatiu. Unes altres regles són possibles en la ficció i en el ciberespai, que era allò que plantejaven algunes ciberfeministes dels noranta. Ara bé, cal després que puguem treure aquestes qüestions al món real, ja que al final la ficció és el reflex del món i viceversa.

La tecnologia diria que és ambivalent. Per una banda, ha esdevingut un lloc on ha quallat la societat patriarcal mentre, alhora, pot tenir un paper important per a les lluites feministes. Com podem utilitzar la tecnologia per aconseguir una justícia social i de gènere, segons els últims corrents ciberfeministes? 

La reproducció i la biotecnologia són temes que actualment treballen els col·lectius SubRosa o Laboria Cuboniks, i tenen molt a veure amb el posthumanisme tecnomaterialista (tot són paraulotes meravelloses!). En plena segona onada del feminisme, Shulamith Firestone escriu la Dialèctica del Sexe, on parla de l’alliberament del rol reproductiu de les dones a través dels anticonceptius. Aquest fet suposa una revolució perquè de sobte les dones guanyen la capacitat de decidir si volen reproduir-se o no. Més enllà dels anticonceptius, també es posa sobre la taula la possibilitat de l’ectogènesi, que és la gestació fora de l’úter. Hi ha una antologia de ciència-ficció escrita per dones espanyoles i llatinoamericanes, Proyectogénesis, on només hi apareixen relats que plantegen mons on això succeeix. I, en alguns casos, no són gens encoratjadors. És clar, el problema d’aquesta tecnologia -com el de qualsevol altra- és a quins interessos respon, qui hi accedirà o quin preu tindrà. Per això els ciberfeminismes han reclamat que aquestes eines siguin sense ànim de lucre. En el marc del capitalisme monopolista, els beneficis d’una tecnologia perverteixen el seu sentit. Què passaria si l’Estat necessita més soldats o pagadors d’impostos perquè mantinguin el sistema i la reproducció humana ja no depèn de la dona? A l’Estat li interessa tenir un control sobre els úters i els cossos femenins, i per això es legisla.

Tot això ja s’ho van plantejar les primeres ciberfeministes?

Quan Donna Haraway [considerada la primera ciberfeminista] escriu el Manifest Cíborg, l’humà entès com a cíborg, com un organisme biològic modificat per la tecnologia, esdevé un ésser queer. Tot i que el concepte queer no apareix fins més tard, Haraway l’utilitza més enllà del significat literal i el transforma en una metàfora del subjecte postmodern. Alhora, ens diu que els límits entre biologia i cultura o entre natural i artificial són borrosos. Ens diu que la biologia és un discurs científic que respon a uns certs interessos històrics de gènere, per exemple. Haraway obre un món per a l’ésser humà que interactua amb els entorns digitals i evidencia que les nostres identitats estan absolutament intervingudes per les noves tecnologies. D’alguna manera, tots som cíborgs, al marge de les pròtesis que cadascú duu al cos -vacunes, ulleres, etc. Els ciberfeminismes i el posthumanisme crític feminista sostenen que cal desplaçar l’humà com a mesura de totes les coses perquè aquesta idea és absolutament androcèntrica, antropocèntrica, patriarcal i racista, i no inclou les dones, ni els cossos amb disfuncionalitat, ni els d’altres colors de pell, ni els altres éssers vius amb els quals convivim… Aquest pensament té molt a veure amb la quarta onada feminista que vivim, on l’ecocrítica és fonamental. Cal veure com la tecnologia i la biotecnologia han vist beneficis en l’explotació de la terra i els cossos. Això preocupa molt des de l’ectogènesi, la clonació o la intervenció en la línia germinal, que consisteix a dissenyar els éssers que naixeran utilitzant la reproducció en els cossos femenins. En aquest sentit, es parla d’eugenèsia terapèutica. Però les tecnologies poden servir tant per al control com per a l’alliberament. Ara ens toca debatre quin ús donarem a la biotecnologia un cop descoberta la recepta de l’ADN que ens permet intervenir-lo i modificar-lo.

Cal veure com utilitzarem el mètode d’edició genètica CRISPR…

Exacte, l’edició de l’ADN suposa un canvi de paradigma. De fet, John Haldan, un biòleg de principis del segle XX -qui, per cert, coneixia Aldous Huxley, l’autor de la novel·la distòpica genètica Un món feliç (1932)- va treballar en les possibilitats de la biologia reproductiva durant els anys vint i somiava amb la possibilitat que, en un futur, l’espècie es reproduiria per ectogènesi. Sostenia que el 2044 el 75-80% de la població naixeria a través d’aquest mètode i que, a més, només veurien la llum aquells éssers desitjables. Parlava d’eugenèsia, un tema que les teories darwinianes del segle XIX van posar molt de moda. Fins als anys seixanta, el Japó esterilitzava les persones amb Síndrome de Down o alguna deficiència sense el seu consentiment. Es tracta d’una pràctica eugenèsica que executa l’Estat sense el consentiment de les persones afectades. Avui en dia es duen a terme diverses pràctiques eugenèsiques.

A Las Otras escrius que “en els relats d’aquesta antologia no només ens trobem amb Galatees sinó també amb Pandores, un mite que m’interessa reivindicar com a metàfora per a analizar aquells textos en què es creen dones des d’una perspectiva patrilinial per a l’ús, el goig i el gaudi del plaer masculí”.

El relat de Las Otras de José María Merino, membre de la Reial Acadèmia Espanyola (RAE) i un dels autors de la literatura fantàstica de ciència-ficció més importants d’Espanya que ha publicat diversos textos protagonitzats per dones artificials, parla de prostíbuls i d’una societat on les fèmines virtuals estan molt sol·licitades, mentre manquen homes artificials perquè no hi ha demanda. Però va ser molt interessant veure com alguns autors dels contes de l’antologia defugen l’imaginari grecollatí i estereotipat de Galatees i Pandores i plantegen alternatives com fan Alberto Chimal, Naief Yehya o Lola Robles. Segons el mite, Pigmalió, el rei de Xipre, esculpeix Galatea perquè s’ha de casar i tenir descendència, però no li interessa cap dona de l’illa que regna. Perquè les considera a totes malvades i malignes. Perquè té por de l’altre, d’allò desconegut, allò que no és ell mateix. Per tant, decideix crear-se la seva pròpia muller i, tal com relata Ovidi a Metamorfosis, la fa a imatge seva. Aleshores, la deessa Venus infon vida a l’escultura. Galatea és la projecció del desig masculí, és la seva imatge, tal com passa amb la majoria d’actrius de Hollywood: dones que responen a la sexualitat heteronormativa per al gaudi i el plaer de l’ull masculí. Al final, Galatea és com una dona inflable que, a més, viu feliç com a esposa submisa i mare fins al final dels seus dies.

Pandora també és una dona artificial que neix per encàrrec de Zeus amb l’objectiu de castigar Prometeu per haver ajudat els homes. Per això, Zeus ordena a Hefest la creació d’alguna cosa desastrosa per a l’home. Cada déu de l’Olimp li confereix un do, mentre Hermes li infon la curiositat i la mentida. Al mateix temps, els déus omplen una capsa amb els mals de la humanitat i, Pandora, presa de la curiositat, l’obre i fugen tots els mals que corren avui per la terra, provocant també la seva mort. A mi m’interessa Pandora perquè quan parlem de dones artificials sempre es fa al·lusió a Galatea i, en canvi, mai es menciona a Pandora. En la majoria de textos com aquest, la dona -ja sigui de fang, metàl·lica, virtual o electrònica- acaba sent assassinada o destruïda, carregant-se també l’home que l’ha creada, que sovint és el pare o l’amant de l’artefacte. Ho veiem, per exemple, a El hombre de arena de Hoffmann. En el fons, crec que en aquests textos es penalitza la relació de l’home amb una dona artificial perquè amb ella no es pot reproduir. En la majoria d’aquests textos es parla de dones incompletes, que no tenen la regla ni poden engendrar fills. Són una joguina, un mer entreteniment.

És un enfocament que hauríem de canviar?

El posthumanisme crític es planteja una relació diferent amb la tecnologia i els éssers no humans. Desaprova l’antropolatria, la superioritat de l’ésser humà, tal com va fer Haraway al Manifest de les espècies de companyia. Dins el sistema capitalista, tractem malament els objectes perquè els comprem, ens els apropiem, els tirem i, després, ens en comprem uns altres. Això només fomenta el consumisme, l’esgotament dels recursos i la sobreproducció. En la ciència-ficció, la majoria d’éssers artificials són autoconscients, però se’ls tracta malament. Per això serveixen com una metàfora de l’altre i la diversitat. I, al final, el que es penalitza és això: la relació amb algú que no és igual. 

Per què hi ha encara tan poques tecnòlogues dones amb relació als homes? A la UIB, les dones no arriben al 8,5% del total de matriculats a Enginyeria Informàtica a la Universitat de les Illes Balears i representen com a màxim el 18% dels treballadors amb perfil tècnic del sector digital. Què cal fer per empènyer les dones a intervenir-hi, tenint en compte que la tecnologia tindrà un pes tan gran en la fabricació del futur?

És una qüestió de cultura i educació. Jo, que sóc professora de lletres, pràcticament només tinc dones. I a la carrera de Magisteri potser hi ha dos homes. Per això hem de construir imaginaris on les dones facin ciència i tecnologia, i amb això la ficció té un paper fonamental. Quantes pel·lícules has vist protagonitzades per una dona hacker? Si de petita ja et relaciones de manera natural amb la tecnologia, de gran escolliràs la carrera que vulguis. Però mentre els missatges que arriben a les nenes siguin que han d’estar boniques, dedicar-se a la criança i ser mestres… Per a generar nous discursos s’ha de fer resistència… però clar, quina resistència pot fer una adolescent de disset anys, si tot just comença a formar-se la seva consciència política? Quantes pensadores has llegit durant la carrera de Filosofia?

Doncs molt poques, la veritat. Hannah Arendt i poques més. Cap de les que ha esmentat aquí. D’homes, un munt.

Pràcticament, tots. Tenim un problema, i és com s’ensenya la Història. Porten tota la vida dient-me que no hi ha autores de ciència-ficció i és mentida. La primera novel·la del gènere és Frankenstein (1818) de Mary Shelley. De fet, la primera ginotopia [utopia on només apareixen personatges femenins] l’escriu Christine de Pisan el 1405 que, considerada la primera escriptora professional de la història d’Occident, imagina un món poblat només per dones que poden educar-se, escriure i cultivar-se. Allò cert és que li va costar molt viure en un món d’homes i no van parar de dir-li que mancava de capacitat intel·lectual. Quan estudiem Història de la literatura sembla que al segle XVIII no hi havia escriptores. Hi eren, però s’han invisibilitzat. Del ciberfeminisme he après que cal recompondre la Història de la ciència i la tecnologia tenint en compte la participació de les dones. No sabem què feien les dones del passat? Doncs investiguem-ho. Tothom coneix Utopia (1516) de Thomas More o La ciutat del sol (1602) de Campanella; però pocs coneixen The Blazing World (1666), una utopia fascinant de l’anglesa Margaret Cavendish on, a més, hi apareix una perspectiva ecocrítica molt interessant.

A la ciència-ficció també veiem allò que Barbara Creed defineix com la síndrome del femení monstruós. Per exemple, tal com comenta Rosi Braidotti, a la pel·lícula Alien l’ordinador principal que controla la nau es diu Mare i és molt malvada amb la protagonista. Las Otras vol combatre també aquesta idea?

La teòrica Rosi Braidotti amb la seva filosofia del posthumanisme crític feminista es presenta com a antihumanista. La seva posició vol fer-nos veure que hi ha alternatives a l’humanisme occidental imperialista, capitalista, blanc, occidental i heteronormatiu, per la qual cosa el posthumanisme ens ofereix altres maneres de relacionar-nos entre els éssers humans, amb el planeta que habitem i amb altres éssers vius i tecnològics. No és que Braidotti no cregui en la humanitat, sinó que aposta per una altra idea de l’humà més igualitària, justa i sostenible.
A l’antologia de Las Otras hi ha relats que defensen la subjectivitat posthumana, però també hi ha monstruositats femenines que simbolitzen i reforcen el patriarcat al costat d’unes altres que el subverteixen. La tradició literària i cinematogràfica està plagada d’aquesta mena de monstres femenins. Sense anar més lluny, l’exemple d’Alien també pot llegir-se com una crítica a la maternitat obligatòria. Si tens la bestiola al ventre, has de parir vulguis o no. Cal tenir en compte que la pel·lícula s’estrena als anys setanta, durant la segona onada feminista, quan precisament es comença a reivindicar el dret a l’avortament.

El canal de Filosofia i Disseny de Telegram va néixer com un quadern de notes on apuntar les nocions bàsiques sobre les quals havia de girar el curs d’introducció a la filosofia del disseny, El disseny de nosaltres mateixos, la primera edició del qual s’anava a impartir l’octubre del 2019. Però se’m en va anar de les mans. Les meres notes van convertir-se en llavors d’on van florir arguments filosòfics al voltant del disseny. I aquests arguments van empeltar-se els uns amb als altres fins a unir-se en un mateix tronc: allò que va començar en forma de meres anotacions a rajaploma havia acabat constituint l’eix central d’una lectura filosòfica del disseny. Havia nascut el llibre homònim El diseño de nosotros mismos. Una lectura filosòfica del disseny (Experimenta Libros). Un tractat que intenta traçar ponts entre dues disciplines que tradicionalment s’han donat l’esquena, quan no s’han menyspreat. Una escletxa que calia superar. Que era urgent superar. Perquè la filosofia compta amb una llarga tradició d’eines analítiques que ens permeten un millor enteniment del disseny, la seva pràctica i el seu resultat. I perquè el disseny trenca amb molts postulats filosòfics previs que es consideraven inamovibles i, si alguna cosa il·lumina la filosofia, és el qüestionament.

Aquestes notes són el record d’un viatge d’anar i tornar. Un viatge que parteix de la tecnologia i el seu ús per acabar en la tecnologia i la seva expressió, el disseny. I tornar una altra vegada. I una altra vegada. I una altra… Aquestes notes que aquí apareixen publicades s’obren també a la crítica de la tecnologia, atès que el disseny és inintel·ligible sense ella. De manera que s’ajusten millor a l’audiència de La Tecnòloga, a qui m’agradaria agrair els seus esforços i ànims incansables per a la seva publicació. De fet, al canal de Telegram s’entén el disseny com l’expressió de la tecnologia, entre altres coses. I és que el disseny sense tecnologia deixa de ser-ho per ser una altra cosa, un mal record de l’artesania. Així que allí es parla ara molt sobre tecnologia. És el viatge de tornada…

Un viatge de tornada també a una antiga passió meva, l’ètica. Perquè en aquesta selecció que es presenta ara apareixen algunes anotacions sobre els avanços de la intel·ligència artificial (IA), la biotecnologia, el reconeixement facial… i com aquestes tecnologies estan començant a despertar fantasmes ètics que crèiem superats. I, el més interessant, és que es proposa una solució.

Una altra cosa és que ningú en faci cas.

Sobre l’autor:

Luis Montero va néixer el 65. Va estudiar Filosofia a la UNED i Publicitat a la Complutense. Ha estat guia turístic, creatiu publicitari i consultor estratègic. Ha viscut a Madrid, Nova York, Londres, Frankfurt, Marràqueix, Benarés i ara a Palma. Ha escrit les novel·les de ciència-ficció Artrópodos, Feliz Año Nuevo i Clon i els assajos sobre ontotecnologia Mundo-hecho i Dejad que las máquinas vengan a mí. D’aquí a dues setmanes apareix El diseño de nosotros mismos. Una lectura filosòfica del disseny. Llibre que complementa i aprofundeix en algunes de les notes aquí publicades. A més ha publicat en diversos mitjans, La Tecnòloga entre ells, on va aparèixer el diàleg D’humans, màquines i altres éssers que senten. Últimament procura gaudir de la vida i anar amb bicicleta.

Podeu llegir aquest article en versió original (castellà) en aquest enllaç.

Notes sobre tecnologia (sel·lecció de l’autor)

1.- La discussió sobre l’ètica de les IAs està fatal enfocada. Tot déu tem que ens matin quan el que havíem de témer és que no ens matin. Com a espècie històricament hem demostrat molt baixa tolerància als exterminis massius però altíssima a les formes de tirania que mantenen la vida, per dolentes que siguin les seves condicions.

2.- Hi ha un fons polític efecte de la producció tecnològica de la realitat sobre el qual es demanen respostes ètiques.

2.1.- Es pretén buscar una bona vida en un entorn polític que ignora –quan no impossibilita– aquesta bona vida (al contrari del que succeïa en, per exemple, Aristòtil, l’ètica del qual també està alçada sobre un fons polític que la sustentava i feia possible; però, potser al contrari del que passa ara, aquella política sustentava l’ètica dels qui vivien les condicions polítiques d’Aristòtil –l’home propietari i, per tant, lliure– i no de la majoria. Aquella ètica estava igual de segrestada, però l’hem romantitzat. Per què l’hem romantitzat? A part de l’argument d’autoritat -ei, que és Aristòtil!-, hi ha la contradicció entre aquella ètica i la política que la feia possible i la relació entre la nostra política i la impossibilitat de l’ètica). L’ètica pateix un segrest, el segrest de la política, que la redueix a la redempció personal dels actes i les seves conseqüències. La vida es redueix a cadascun dels actes, a la seva suma potser, però una suma que no té un resultat final o el resultat final del qual es limita a l’enumeració dels actes, com aquesta passada de diapositives mítica que en diuen avantsala de la mort. És una vida estreta, algebraica. De l’ètica reduïda a les conseqüències dels actes no resulta una vida bona. Una vida es compon d’actes, sí, però no només. I ni tan sols els actes han de ser el component fonamental: en aquest cas algú impedit a realitzar algun acte sigui per discapacitat o per tancament no podria qualificar-se com a capaç de viure una vida plena. Aquí el tot és major que la suma de les parts. Gairebé fins i tot es podria dir que d’aquesta reducció o segrest ni tan sols resulta una vida.

La teleologia utilitarista és peanuts davant la teleologia aristotèlica. L’ètica d’aquest no tractava d’avaluar un acte concret sinó aixecar una vida.

2.2.- Per això el problema del disseny és més polític que ètic. O dit d’una altra manera: la producció tecnològica de la realitat és una estructura política i una ètica no pot ser més que un sistema. I un sistema no pot anar a contracorrent de l’estructura que el suporta. El sistema no pot negar l’estructura que el sosté.

2.3.- I, no obstant això, la generalitat –que no abstracció– de l’imperatiu kantià allunya tantíssim allò moral de les nostres vides, de qualsevol vida, que és impracticable per inaplicable. Si el conseqüencialisme es dissol en la immediatesa fins a perdre de vista aquest horitzó que és la vida, el kantianisme funciona si, al contrari, la vida se subjuga i dissol en aquest sistema reglat. I amb aquesta dissolució es perd la vida. També.

De fet, i com apunto a Dejad que las máquinas vengan a mí, la tecnologia –i per tant el procés de producció industrial de la realitat– parteix del que allí anomeno «error metafísic» perquè tota màquina –i més les IA– és kantiana per definició: porta incrustada en si la definició del món en el qual opera, l’ontologia. Així doncs sobre aquest fons kantià es pretén pensar una ètica que possibiliti una vida bona i al mateix temps estigui subjecta a aquest teixit legiforme kantià de la tecnologia.

2.4.- En aquest sentit de l’acceptació del polític com a substrat sobre el qual floreix –l’avui tan de moda flourish saxó– per ètic s’entén el ressorgir de l’anomenada ètica de les virtuts. L’ètic resideix en el caràcter del subjecte que viu privilegiat pel polític. Tal com succeïa amb Aristòtil, qui podia atribuir al caràcter –i per tant al subjecte– les virtuts morals, virtuts morals que partien d’un i revertien en un, entre altres coses perquè l’altre que també disposava de caràcter era igual que l’u, això és, estava en la mateixa situació política. Però aleshores com ara aquesta situació no sempre és compartida per tots. De fet, gairebé mai. Si bé aquestes ètiques de la virtut prenen constància dels diferents caràcters de cadascun de nosaltres suposen que tots partim d’una mateixa situació política des de la qual la distància i dificultats per a arribar a l’acte moral és el mateix.

3.- Davant les crítiques estereotipades dels perfils més conservadors al canvi en l’espai públic, abans solia dir mig de broma mig de debò que no és que ara estiguem pitjor educats, és que tenim més oportunitats de molestar. I moltes d’aquestes oportunitats són causades per objectes de disseny (altaveus sense fils, envasos portàtils, vehicles elèctrics omnipresents, etc.). Molts dels problemes que genera el disseny no són tant existencials –que requereixen solucions ètiques– com de convivència –que requereixen una reformulació d’allò que significa viure en comunitat–. L’educació en la seva accepció disciplinària, no pedagògica, se’ns ha fet gran. Cosa que no està malament i per la qual hem sospirat en innúmeres ocasions per la cosa hipòcrita que hi havia darrere de la salutació desapegada, però que ara ens enfronta a uns mores (sí, l’avantsala d’allò moral) que no sabem redefinir sense recaure en una moralitat de nou castradora. De sobte el xaval que escolta trap a tot volum a la plaça ens ha retratat a tots.

I no ens agrada com sortim a la foto.

3.1.- La convivència no es basava tant en el costum com en l’acceptació d’aquest costum. El disseny, gran productor d’objectes que fan fallida i inhibeixen aquesta convivència o, almenys, la qüestionen, podria produir el benèfic efecte insospitat d’obligar les comunitats a haver de negociar les pautes de convivència amb cada nou objecte que la desequilibra. Però aquí s’anticipen dos problemes: d’una banda la incapacitat de la comunitat d’articular aquestes negociacions –incapacitat que explica l’acceptació submisa al costum– i per una altra la curtíssima shell life que imposa el mercat a la producció de la realitat. Encara que el primer problema no es donés i la societat fos capaç de negociar al mateix temps que apareixen nous objectes desavinents –que amenacen la convivència–, la creixent velocitat d’aparició d’aquests objectes, que no és d’estranyar que es veiés impulsada per aquesta capacitat d’acceptació, ja que l’objecte de disseny ha de xocar per a no ser fons, aquesta creixent velocitat empenyeria a la societat cap a dos extrems, tots dos extenuants però per diferents raons. O bé la comunitat es convertiria únicament en l’espai de la negociació, una negociació eterna i accelerada donada l’aparició eterna i accelerada d’objectes que, al seu torn, es veiés impedida a acceptar aquests objectes per falta de temps, tot aquest dedicat a una esgotadora negociació. O, a l’extrem oposat, que enviés a pastar fang l’educació i, amb aquesta, la convivència.

Que és on sembla que estem. O cap a on ens dirigim.

3.2.- Però amb una diferència. Aquesta negació de la negociació –i per tant del canvi: no oblidem que la història de la humanitat és la història de la negociació per a l’acceptació del canvi, un canvi que ha comportat 25 segles a occident perquè acabem aquí– no part d’una decisió voluntària dels membres de la comunitat –que és l’òptim buscat quan des de la tradició es critica el costum: aquell denunciar l’educació com un sistema de control i coerció– sinó que és una condició exògena a la comunitat a la qual no sap reaccionar. A la qual no pot reaccionar. Perquè, ja se sap, sense negociació no hi ha acceptació.

3.3.- Si Thatcher va dir «No existeix la societat, existeix l’individu», avui podríem afirmar «No existeixen societat ni individu, existeix l’objecte».

4.- Abunden –o comencen a abundar– els llibres de tecnòlegs i dissenyadors proposant solucions ètiques per a la tecnologia i el disseny. I a mi sempre em xoquen. I no sols perquè em sembla que la solució ètica no pot venir de la part que genera el problema, ningú té aquesta equanimitat –ni tan sols Moore quan afirmava que en tot acte hi ha un punt de vista objectiu, que és el de l’altre afectat… que és cert que n’hi ha, però pretendre que el patró moral sigui aquest és pretendre que siguem sants: no sempre puc actuar amb la mirada de l’altre, entre altres coses perquè desconec la seva mirada, és impenetrable–, sinó perquè aquests llibres de tecnòlegs i dissenyadors escrivint ètiques de tecnologia i disseny em sonen a exercici de capellanets. Són llibres en certa manera redemptors. Un «va, ànim, nois, que no som tan dolents, que podem fer-ho bé», potser necessari, però que té molt poc a veure amb l’ètica, té a veure amb el consol –un consol injust, perquè el tecnòleg i el dissenyador estan en un espai de poder, i no sols polític–.

4.1.- Però no em xoquen per això, em xoquen per alguna cosa més densa. El disseny és un exercici de creació. I els discursos redemptors ho són precisament perquè tot exercici de creació és fallit. I vaig amb un exemple més gran. No hi ha creador més gran que déu, que en la seva teoria ho ha fet tot. Bé, acceptem-la per un segon i com a experiment mental. Si ho ha fet tot, per què ens ha d’enviar un redemptor (que sempre ens imposa una moral, per cert)? Perquè la creació és imperfecta i hem d’ajustar-nos a aquest patró moral per a salvar-nos. Hi ha salvació condicionada, i només condicionada. La salvació és un condicional fort, si i només si. Però per als qui no tenim moltes ganes de salvar-nos, perquè tampoc pensem que calgui salvar-nos de res, és a dir, per als qui no pertanyem al marc, aquesta salvació coercitiva en realitat no manifesta una altra cosa que la imperfecció ontològica d’allò creat i, per tant, del creador. El tecnòleg o el dissenyador ficat a la pell de l’ètic ocupa per mi aquest espai. En comptes de mirar el problema primer, el problema fonamental del disseny, intenta excusar-lo amb una ètica. Com les religions, que per salvar la creació condemnen a mitja humanitat (d’aquí el magnífic problema de les teodicees, que com a exercici són precioses, però insalvables), el tecnòleg/dissenyador-ètic, per a salvar la disciplina condemna l’honestedat intel·lectual.

4.2.- Convé desconfiar sempre dels tractats ètics escrits a favor del P&L [‘profit and loss‘; en català, pèrdues i guanys] de qui els escriu. Ja sigui de capellans explicant que bona és la catequesi per la moral o de tecnòlegs i dissenyadors explicant que bones són les pràctiques per a la consecució de l’objectiu que li demana el client.

5.- Si la moral tingués una base biològica que depengués de la morfologia cerebral, com sí que succeeix amb la cognició (d’entrada només percebem aquells estímuls que el nostre aparell cognitiu percep com a fenòmens, que no són més que una mostra ínfima del total de possibles estímuls que produeix el món), llavors, deia, podríem disposar d’alguna cosa així com una moralitat augmentada. I no em refereixo a comptar amb una base de dades de casos resolts o no, no amb programes per a desenvolupar la lògica inherent a un arbre de decisions, per exemple, sinó a ampliar les fonts dels nostres sentiments morals més enllà de les nostres fisiologies-cossos. Poder, per exemple, participar dels sentiments morals d’un altre. Un dispositiu que te l’enganxes a l’orella, alguna cosa així com un audiòfon, que t’oferís la visió moral d’una tercera persona en una determinada situació. Alguna cosa així com aquell imperatiu d’objectivitat –davant tota decisió moral sempre hem de tenir en compte la perspectiva objectiva, exterior a nosaltres, que dictaminava Moore–, però generat per un dispositiu.

Cosa que em fa pensar que aquest dispositiu ja existeix, és la plaça del poble. On una comunitat vivia els seus mores compartits.

No feia falta tecnologia, sinó convivència.

Però potser aquesta última sigui una sortida massa fàcil. És que la plaça pública no és una forma de tecnologia? Més enllà que sigui tecnologia o no, que és una disquisició que ara no és necessària, el que sí que és és el lloc que propicia la convivència. Arribats en aquest punt apareix la pregunta: podríem crear altres dispositius que ampliessin el registre-sentiment moral, ja fos mitjançant l’ampliació de la convivència, la seva simulació o representació, o qualsevol altra manera d’obrir-nos, de treure’ns del nostre punt de vista moral subjectiu?

Ho acceptaríem?

6.- La inundació de notícies que anuncien capacitats tecnològiques miraculoses deixen poc espai per a la scifi especulativa més enllà de la política. I és tan aclaparador que gairebé l’única lectura possible és la distopia.

I la distopia, la falta de relats de cels oberts i una certa esperança, ens està matant. I no, no parlo d’aquests relats prefabricats per la indústria de producció del tot, com el disseny de futurs, Hollywood o els casos d’èxit de les consultores estratègiques –que en el fons són tres formes del mateix– sinó de les possibilitats de llegir-nos a nosaltres mateixos de formes alternatives, oberturistes, esplendoroses.

Una inundació que ens arriba en el pitjor moment –totes les crisis sempre arriben en el pitjor moment–, quan a més sembla que a força de narrar-ho tot hem esgotat el diccionari i no fem sinó parlotejar.

Potser, i aquí ho uneixo amb tecnologia i disseny, té a veure amb la pèrdua de pes il·locutiu del llenguatge enfront de la capacitat realitzativa del disseny i la tecnologia. M’explico, una mica. Se suposava des d’Austin que hi havia enunciats que tenien un impacte directe en la realitat, que eren com els manaments d’un déu: es complien. «Queda inaugurat aquest pantà!» significava que efectivament aquest pantà havia estat inaugurat –òbviament la referència franquista és a posta, el feixisme és extremadament il·locutiu–. Aquest efecte era allò perlocutiu de l’acte il·locutiu. El perlocutiu és el que succeïa en el món quan s’emetia un enunciat il·locutiu. Bé, perquè el disseny i la tecnologia poden entendre’s com a actes perlocutius que no necessiten actes il·locutius. I si l’economia regeix els usos del llenguatge, aquesta no-necessitat d’enunciats és un estalvi magnífic que semblaria fer l’acte lingüístic superflu.

7.- Una prova, o potser un mer delator, de la rebolcada causal provocada per la tecnologia i esperonada pel disseny –on els efectes són les causes– és que el procés de denominació d’un nou aparell, artefacte, disciplina o eina moltes vegades ve derivat d’un efecte. El GUI es diu així pel que produeix: la interacció amb objectes és més immediata que la línia de comandos. Chromecast es diu així pel que produeix: emetre a la pantalla de la tele allò reproduït a Chrome. UX s’acronomitza així pel que produeix: una vivència en l’usuari. Els exemples són moltíssims, i és una tendència que ve de lluny: el telèfon o el rentavaixella ja duien impresa aquesta manera d’atribució –atribució que potser també respon a l’entorn domèstic on es despleguen aquests objectes; almenys al principi, ja que ara són sobretot d’ús professional (encara que aquesta diferència ja gairebé manca de sentit)–. En aquest sentit el disseny és una excepció, quasi res del que esmentem és anomenat per l’efecte que produeix. La relació entre el nom i la cosa anomenada poques vegades era identificable. Fins i tot tirant d’etimologies, encara que retrocedim al llatí o al grec, arriba un punt que aquesta relació nom-cosa anomenada apareix com a aleatòria. Indesxifrable. No així en el disseny. És aquell remetre de Heidegger a Ésser i temps propi de tota eina tecnològica.

7.1.- En certa manera l’efecte és el sentit (l’efecte que hauria de ser contingent passa així a universal).

7.2.- Aquest universal impedeix la resignació del dissenyat, acció política proposada moltes vegades com a forma de reapropiació. Exemples d’aquestes propostes n’hi ha molts.

7.3.- No obstant això, qualsevol reapropiació és impossible quan no hi ha cap distància en la relació entre significant i significat i quan aquest, a més, s’ha convertit en universal, sempre el mateix.

8.- La intel·ligència respon a la vida i no al contrari. El mateix hauria de succeir amb la IA, si no volem que es giri contra la vida. Ara bé, per a això la IA hauria d’estar viva. I això és poc probable –i no només perquè estem més lluny encara d’emular la vida que d’emular la intel·ligència–.

9.- L’impacte de la quarantena en la interintimitat. Avui pensava que, si la quarantena té alguna virtut, és que ens permet centrar-nos a cuidar als qui són a prop, als qui estem més pròxims. Els qui a Dejad que las máquinas vengan a mí vaig definir com l’altre-jo, aquells que estan en aquest costat del pal del selfie. L’excepcionalitat de la situació ens ha fet conscients de la importància de les cures d’aquests altre-jo. Però aquesta proximitat amb l’altre-jo, sobre la qual es construeix aquesta interintimitat que s’expressa en selfie comuna –el self compartit com a expressió visual de l’altre-jo–, no és la proximitat física de la distància. El confinament de cadascun s’amplia en l’allunyament i distribució d’aquests altre-jo. És la presència absent que ens permeten les tecnologies, que per alguna cosa totes es denominen amb el prefix tele: telèfon, televisió, teleconferència… Tecnologies que ens permeten ser sense estar. És la presència absent. I avui, confinats, estem més presents-absents que mai. Quan truquem per videoconferència grupal als nostres quatre éssers més estimats. Quan ens posem d’acord en un grup de Telegram que prestarem especial atenció a algú que no està al grup perquè està en una situació delicada, sigui laboral o de salut o del que sigui. Aquesta intimitat estesa que és la interintimitat amb l’altre-jo potser també pot ser anomenada la tele-intimitat. La intimitat del fet de compartir des de la presència absent.

10.- El disseny –i la tecnologia amb aquest– parteixen d’una premissa equivocada: que un només pot habitar un món. És a dir, que la vivència està limitada al món en què es dóna aquesta vivència. El que bé pot ser cert dit de cada vivència. Però no ho és quan les vivències s’entenen com un continu no determinista. No hi ha –o no hi ha raó perquè hi sigui més enllà de la imposició d’un món produït pel disseny– per a pensar que la meva següent vivència sigui dependent del món en el qual es dóna aquesta. No hi ha un historicisme de la vivència. El confinament és una prova d’això. Qui ens hauria dit que ens passaríem sis setmanes a casa? I qui hauria dit que ens semblaria malament? No obstant això aquesta relació unívoca món-vivència que fonamenta el disseny –com a procés de producció d’aquest món i la seva vivència donat el seu caràcter fenomènic– comença a esquerdar-se.

10.1.- És tasca del disseny, si vol sobreviure a la pandèmia, en la qual s’ha demostrat com a superflu, atès que el món que proposava ha esdevingut inhabitable, a explotar aquestes noves esquerdes en si mateix per a permetre l’aparició de noves realitats. De nous mons. Trencar aquesta equació és el nou imperatiu del disseny.

10.2.- El disseny, últimament centrat en els fonaments d’aquest món previ, s’ha entossudit a bussejar en els P&L dels seus clients (els casos d’èxit sempre s’expliquen com a èxits de negoci) i morirà arrossegat per aquests mateixos P&L que ja estan morint. El disseny ha d’aprendre que el seu futur no és aquí sinó en altres llocs. A la vida. M’explico. Com altres indústries culturals, el disseny ha de buscar la seva inspiració en la resta de fenòmens culturals que l’acompanyen. Així com la música pop sempre es renova gràcies als experiments musicals de minories racialitzades o els videojocs a la reinterpretació de clàssics de la literatura, el disseny té trobar altres fonts alienes a ell mateix però que l’enriqueixin. Ha de sortir dels despatxos i els Indesigns de torn i sortir al carrer. Ha de baixar al barri si és que vol sobreviure. Hi ha, per exemple, més futur del disseny en el bombing grafiter que en els estudis de disseny estratègic, que ja fan olor de formol.

10.3.- I el mateix és aplicable a tecnologies creadores de mons com la IA, la RV [Realitat Virtual] o els videojocs.

10.4.- Però una de les raons en la diferència de cos és que la tasca del dissenyador i de l’ideo-CEO és la creació del món, però no el seu manteniment (déu, com a aclariment, és aquell que és perquè és capaç de crear el món/univers, sí, però també de mantenir-lo. En el model producció industrial de la realitat, que inclouria aquestes dues tasques: creació i manteniment, totes dues tasques apareixen com deslligades). El manteniment d’això creat encara continua estant estretament lligat al cos –d’aquí ve que els processos d’automatització i robotització estiguin centrats fonamentalment en els sectors de producció industrial del que ja hi ha: cadenes de muntatge, ERPs, etc.

10.5.- Reflexió que em porta a una altra, relacionada amb l’absència present del cos –en aquest cas el cervell– en les IAs. La tasca de la IA és la creació o el manteniment del que hi ha? De moment jo diria que és la del manteniment, entre altres coses per la no permissibilitat de fal·libilitat de la qual parlava. Però, i aquesta és una tesi que trobo interessant, perquè és fàcil preveure que si la IA intervingués en la creació de nosaltres, com a humans, no entendríem moltes vegades aquest acte com un acte creador i ho entendríem, en canvi, com un acte aleatori, resultat de l’atzar (o de la bogeria de la màquina, que és una altra forma d’atzar).

Així, per exemple, va succeir amb el famós moviment 37 de la segona partida d’AlphaGo, que tots els experts van interpretar com a aleatori, per inexplicable, però que com que es va donar dins d’un món ja creat (aquí la IA no feia altra cosa que mantenir el món que és el joc de Go), va acabar per revelar-se com a intel·ligent i, per tant, intel·ligible.

11.- Amb relació a la disjuntiva instrumentalisme vs. substancialisme d’allò tecnològic (i del disseny) nascuda a partir del que es va anomenar l’empirical turn dels 70s –quan la filosofia de la tecnologia va començar a acceptar d’una manera menys crítica la tecnologia, acceptant que era aquí per a quedar-se–, potser convindria recordar a Plató i el seu Fedre, on rebutjava l’escriptura al·legant que acabaria amb la memòria. Però l’atac no era un atac oral, era un atac escrit. Escrivia per a atacar a l’escriptura. Una vegada que Plató va decidir començar a escriure ja mai va poder deixar de fer-ho –perquè allò no tecnològic, precisament perquè deixa una petjada efímera, es perd en i per a la memòria: per això no sabem què va dir a la seva Acadèmia–. I nosaltres amb ell. Per això, en continuar escrivint definia una manera d’humà, un humà la memòria del qual potser no es veia substituïda per l’escriptura, però sí que es veuria augmentada. Un humà la memòria del qual quedaria per sempre intervinguda per l’escriptura. Que avui encara llegim a Plató ho demostra.

Les interpretacions instrumentalista vs. substancialista s’han llegit fins ara com a contraposades, com dues maneres d’entendre allò tecnològic (i el disseny), contradictoris, però en realitat conformen un mateix discurs, una dialèctica, que a força de negar-se amplien l’àmbit d’allò definit per aquest discurs, que és el tot. Aquesta és la dialèctica que descansa en la dialèctica de la filosofia de la tecnologia, que en cada nou pensar es consolida el tecnograma a la Latour i Borgmann com a continuació interessada de les seves cadenes cosmològiques (que és com denomina Latour a les tres maneres d’estar en el món que Borgmann denominaria Naturalesa, Cultura i Tecnologia):

Cosmograma -> Cultugrama -> Tecnograma

sobre el qual es construeix un món tecnologitzat al qual ja no pot renunciar, en un procés semblant al sistema que s’expandeix a força de negar-se recursivament, això que Hofstadter va anomenar gödelització. Per això quan se supera un estadi, una manera d’estar en el món, quan, per exemple, se supera el cosmograma per a endinsar-se en el culturgrama, el cosmograma pot advertir-se, però no es pot tornar a ocupar. Queda com a record, però com els records és inaprehensible. I en aquest tot estem nosaltres. El tecnograma apareix cada vegada més com més afermat i el culturgrama se’ns apareix tènue i cada cop més desvalgut. Del cosmogama no tenim ja ni notícies. Aquest tot que transformem no pot ser-ho sense la nostra pròpia transformació.

12.- Un dels atributs que distingeixen a la intel·ligència és que no comptem amb la seva infal·libilitat. De fet, tot el contrari, entenem allò intel·ligent com alguna cosa que pot o bé fallar o bé produir solucions (és cert que definir el producte de la intel·ligència com a «solucions» ja denota un biaix que rebaixa el possible intel·ligent, però perquè ens entenguem), solucions, deia, inesperades. I cap de les dues resultants ho desqualifiquen com a intel·ligent. Exemple de resultes intel·ligents fallides? Posaré un que té relació amb el disseny. Les places dures de Madrid. Aquestes places que es van dissenyar no per a la convivència, que és per al que es van dissenyar, però que sol ser estàtica, conviure requereix temps, sinó que es van dissenyar per al trànsit. Així són places sense arbres, ombres o bancs. És més, no són places, són esplanades. Solars. Terra erma. «Terra erma», com el poema de T. S. Eliot (per a qui no el conegui, és aquí). Més semblants a patis de presó, un altre espai «obert» en el qual no es conviu sinó que s’erra, com en una plaça de poble. Una solució arquitectònica intel·ligent quan allò que pretens és transformar les ciutats en espais Centres Comercials oberts, com el projecte de Gallardón per al centre de Madrid. Una solució perfecta, a més, per a l’explotació comercial d’aquestes esplanades: en totes hi cap un quiosc de Nokia, una terrassa de cafeteria o un estand de Movistar.

Però la solució va deixar de ser intel·ligent el 15M. De sobte aquella solució de plaça dura va resultar increïblement fàcil d’ocupar. Allò que estava dissenyat per al trànsit va resultar perfecte per a la immobilització. I d’aquí el doble impacte d’aquesta ocupació, perquè no sols redefinia l’espai sinó també el seu ús. Però aquest sub-ús, diguem-ne, no vol dir que la proposta de disseny no fos intel·ligent per al model de ciutat que es pretenia. És només que la ciutat en algun moment no ho va entendre així.

Això com a exemple de resulta intel·ligent fallida; perquè exemples de resultes intel·ligents que generen respostes alternatives n’hi ha moltes i són fàcils de trobar.

No obstant això, amb la IA esperem infal·libilitat. Si falla ja no és intel·ligència. I si genera solucions divergents (més enllà de la divergència pautada dins d’allò ontològic-possible d’aquesta IA) tampoc. Fet que obre dos problemes, un epistemològic a l’hora de definir què és IA; un altre ètic, a l’hora de definir com ens relacionem amb les IA.

13.- No parem de culpar a la IA de biaixos que no són sinó nostres. De miopies ontològiques que no són sinó nostres. De decisions pernicioses que no són sinó les que fa 2.500 anys que prenem. De fet la IA està a punt de convertir-se en el boc expiatori moral per a les decisions que no volem prendre. Complint així el paper de boc expiatori positiu. Es menja la culpa per a redimir-nos. Fins i tot aquesta denúncia es desploma davant d’aquest argument: en denunciar el desplaçament de la culpa no fa una altra cosa que reforçar aquest desplaçament. La nostra relació amb la IA és absolutament cristiana.

14.- «Deixeu de fer» potser és l’únic mantra ètic vàlid avui per al disseny i la tecnologia. Potser l’únic treball moralment justificat de dissenyadors i tecnòlegs sigui deixar de fer i, sobretot, convèncer als seus clients perquè no facin.

Em costa molt trobar un argument contra aquesta proposta mínimament ben fonamentada. S’admeten contribucions.

Exemple, no perfecte, però exemple:

https://techcrunch.com/2020/06/08/ibm-ends-all-facial-recognition-work-as-ceo-calls-out-bias-and-inequality/

Un altre exemple del «Deixeu de fer», però aquesta vegada des d’un lloc problemàtic: Amazon. No obstant això, és simptomàtic que les companyies de tecnologia s’autoregulin –en allò que no és altra cosa que una expressió de la seva por a les regulacions governamentals que vindran– mentre els dissenyadors continuen empenyent a fer:

https://venturebeat.com/2020/06/10/amazon-imposes-one-year-moratorium-on-police-use-of-its-facial-recognition-technology/amp/

En els anys 70, Putnam (el lògic matemàtic-filòsof) va proposar alguna cosa així com un axioma ètic, el punt mínim moral des del qual decidir actuar. Deia «Always stick to the loser», estigues sempre amb el perdedor. I encara que no sempre és fàcil saber qui és el perdedor–a Dejad que las máquinas vengan a mí explico el cas d’una persona les profundes creences catòliques de la qual feien que confongués el perdedor en el cas d’una noia violada fecundada– l’axioma encara continua ressonant dins el meu cap. Primer perquè té això d’analític formal de base kantiana, que no obliga a alguna cosa concreta sinó que és context-irrelevant. Aspira així a una certa universalitat que ho fa estrictament atractiu. Segon, i derivat d’això analític, perquè encara que no proposa solucions, aquest «stick» no és actuar, tampoc és una forma d’inacció, que sempre és una forma de suport a l’agressor. Res és tan poc equidistant com l’equidistància, que diria Benjamin dels alemanys «neutrals» davant l’ascens nazi.

Avui aquest «Deixeu de fer» reprèn aquestes virtuts de l’axioma putmanià i fa de la inacció acció. I ho fa mitjançant una inacció no equidistant. Ho fa amb la consciència clara dels perills polítics de l’objecte de disseny i tecnològic. No fer és un reforçar allò bo que encara ens queda i, al mateix temps, estar-nos amb els perdedors d’això tecnosocial que estem produïnt dissenyadors i tecnòlegs, nosaltres. Tots. Tots nosaltres.

A més, i per si no fos prou, ataca aquest dogma neoliberal que no fa reforçar privilegis de l’aprenentatge a través de l’error –recordem que només els rics poden permetre’s fallar perquè compten amb una xarxa de suport teixida amb la plusvàlua expropiada als seus treballadors (si això ha sonat marxista no us estranyi, ho és); els pobres no poden provar, perquè no té l’oportunitat de tornar-se a aixecar: com s’aixecaran una segona vegada si no poden aixecar-se una primera?–, una tesi, la de l’error com a catapulta cap a l’èxit final, derivada d’aquesta altra proposta moral de rics, el pragmatisme a la Dewey, que és extremadament nociva perquè determina que tot fer redunda en el poder establert. I ara que el poder establert està desbocat dotat d’un fer quasi-miraculós, el fer ha de parar. Ja no podem permetre’ns eslògans –tots deweyans, per cert– tipus «aprendre fent» o «narrar a través d’actes» (storydoing) perquè tot fer ens converteix en perdedors. A base de tant fer hem perdut el sentit, i el fer sense sentit és prerrogativa del tirà, com deia el nazi de Schmitt.

14.1.- Per què «Deixeu de fer»?

Al començament del segle passat la filosofia es va partir per la meitat, i no em refereixo a la segregació analítica vs. continental, que en el fons parlaven del mateix però en diferents termes, el llenguatge i allò que pot ser enunciat amb propietat, sinó al fet que la interpretació del món s’obria en dos: o llenguatge o acció. I mentre tots dos corrents van optar pel llenguatge el món, cada vegada més produït per la indústria, va optar per l’acció.

I l’acció, gràcies a la incorporació dels avanços lingüístics de l’analítica, va acabar per devorar al llenguatge. La programació ha fet saltar per l’aire tot allò pensat sobre el llenguatge perquè l’ha convertit en performatiu. Tot llenguatge de programació és performatiu. Per tèlic.

Fa 120 anys que pensem allò que no és. Allò que no tocava.

Per això avui toca «Deixar de fer» i començar a pensar això que fem.

La iniciativa neix del Govern i la Universitat de Girona (UdG) i pren la forma d’una càtedra amb seu a la facultat. Segons una nota de la Generalitat, l’Observatori té la missió d’estudiar els impactes ètics i legals de la implantació de la IA en la vida diària, de vetllar perquè la tecnologia s’apliqui de manera segura i justa, d’establir unes directrius ètiques i, en definitiva, de desenvolupar al país “una intel·ligència artificial ètica i confiable”. Per aconseguir-ho, l’observatori vol analitzar l’evolució del desenvolupament de la IA a Catalunya, impulsar jornades i tallers per debatre sobre ètica, regulació i IA, promoure la conscienciació ciutadana entorn la IA i les decisions automatitzades i crear un consell assessor format per experts d’àmbits diversos -acadèmic, tecnològic, humanístic, legal, econòmic, etc.

La iniciativa compta amb un pressupost de 250.000 euros per al període 2020–2022, finançats principalment pel Departament de Polítiques Digitals en el marc de l’estratègia Catalonia.AI, l’Estratègia d’Intel·ligència Artificial de Catalunya, aprovada el 18 de febrer, i el pla estratègic de la Universitat de Girona ‘2030: La suma d’Intel·ligències’, que vol buscar el millor encaix de la intel·ligència artificial amb la intel·ligència natural i la intel·ligència col·lectiva.

El tret de sortida de l’Observatori l’han donat aquest matí el conseller de Polítiques Digitals, Jordi Puigneró, i el rector de la UdG, Quim Salvi, entre altres representants del Govern i la universitat, que han presentat el nou organisme en un acte telemàtic amb la intervenció de Karma Peiró i de la professora d’Investigació de l’Institut de Robòtica (CSIC-UPC) i escriptora Carme Torras.

La necessitat d’una mirada ètica

Els intents de regular la intel·ligència artificial des d’una mirada ètica persegueixen l’evolució tecnològica, però de moment no l’atrapen. El febrer, la presidenta de la Comissió Europea (CE), Ursula Von der Leyen, va presentar un pla per regular la IA i recuperar la sobirania digital davant els gegants tecnològics, tot i que les veus crítiques li van retreure poca concreció. A l’abril del 2019, un grup d’experts d’alt nivell de la CE havia fet públiques unes Directrius Ètiques per a una IA Confiable (Ethics Guidelines for Trustworthy AI). Poc després, el professor de filosofia de la Universitat de Mainz (Alemanya) Thomas Metzinger, que va formar part del grup d’experts, va denunciar al diari Der Tagesspiegel que “el relat de la Intel·ligència Artificial confiable pretén eixamplar els mercats futurs i utilitzar els debats sobre Ètica com un bell decorat públic per a una estratègia d’inversió a gran escala”. Per això, cal prendre consciència que la revisió ètica de la IA necessita molt més que una declaració de bones intencions.

“Maleït creador! Per què no vaig perdre en aquell moment la flama de l’existència que tan imprudentment vares encendre?” brama, amb set de venjança, la solitària criatura de Víctor Frankenstein a l’obra mestra de Mary Shelley. Sense màquines al relat, Frankenstein ha contribuït a crear un imaginari simbòlic de la Intel·ligència Artificial (IA) més a prop del recel que de l’encís: les nostres creacions poden rebel·lar-se i posar la humanitat contra les cordes. Són un mirall d’aquesta por irracional les novel·les 1984, Jo, robot, Un Món feliç; les pel·lícules Blade Runner, Matrix, Ex-Machina; les sèries Black Mirror, Westworld… La llista és inacabable.

Segons l’estudi El Factor Frankenstein: anatomia de la por a la Intel·ligència Artificial, elaborat per SogetiLabs el 2017, més d’un terç dels ciutadans de la Unió Europea creu que l’IA serà una amenaça per a la supervivència de l’home a llarg termini. Mentrestant, un 46% no veu cap benefici en la idea de desenvolupar robots humanoides. “Hi ha quelcom d’atàvic en la por que els humans sentim cap al progrés i la tecnologia. Cap a un futur que ens parla de suplantació”, escriu el director de la pel·lícula Eva, el barceloní Kike Maíllo, a La Màquina Aparentment Desobedient, publicat a la Revista Idees del Centre d’Estudis de Temes Contemporanis (CETC), que dimecres va oferir un diàleg en línia sobre l’imaginari simbòlic de l’IA entre dos investigadors de primer nivell: Ramon López de Mántaras i Carme Torras.

El cert és que la ciència-ficció ha apel·lat molt més a la distopia que a la utopia. I quan la tecnologia entra en escena, ja podem presagiar un final apocalíptic. Tot i això, la ciència-ficció no només ha servit per sembrar el terror: també ha contribuït a “crear debat i consciència crítica sobre la tecnologia i la Intel·ligència Artificial”, va advertir Carme Torras.

De fet, Torras, que és investigadora a l’Institut de Robòtica i Informàtica Industrial de la Universitat Politècnica de Catalunya (UPC), doctora en Informàtica i novel·lista, ho ha posat en pràctica a La mutació sentimental (Editorial Pagès Editors), on es planteja si el fet de ser criat per mainaderes artificials i educat per mestres robòtics afectaria els nostres hàbits intel·lectuals, emocionals i socials. Al mateix temps, posa sobre la taula una sèrie de qüestions que són utilitzades actualment a diverses universitats del món per impartir formació ètica en algunes carreres tecnològiques. Així, Orwell, Huxley o Shelley han entrat a l’acadèmia per polemitzar el dilema seguretat versus llibertat, el totalitarisme tecnològic, els substituts emocionals, les rèpliques humanes i un prolongat etcètera. Els interrogants morals també perseguiran el lector d’Enxarxats, obra de la mateixa autora –i a la qual la Fundació Bit va dedicar aquesta ressenya. Aquesta setmana, la Fundació Mallorca Literària ha entrevistat a Torras sobre aquesta novel·la i ha reflexionat amb ella sobre els múltiples dilemes que plantegen les xarxes socials a la societat.

La màquina es rebel·la

Predir el futur mai ha estat fàcil. Tot i això, durant l’acte del CETC, Ramón López de Mántaras, enginyer físic i investigador del Consell Superior d’Investigacions Científiques (CSIC), ens recordà la gran quantitat de projectes de recerca en IA dels darrers 50 anys que van ser anticipats per 2001: una Odissea a l’Espai (1968). Per exemple, el reconeixement facial -“fins i tot quan la cara només hi està dibuixada”, precisa l’investigador-, el diagnòstic predictiu d’avaries, la lectura de llavis, la capacitat de jugar a escacs a molt alt nivell o el domini absolut del llenguatge natural. López de Mántaras afegeix que el supercomputador Hal, encarregat de controlar les funcions de la nau espacial, no simula tenir estats mentals sinó que realment els experimenta, així com la por de ser desconnectat. Per això Hal “mata en defensa pròpia”, diu. De nou, la màquina es rebel·la. 

No obstant això, el dilema del robot entre acatar i sotmetre’s va aparèixer per primer cop a l’obra d’Isaac Asimov. El visionari autor, que enguany hauria complit 100 anys, despuntà com a escriptor enmig de l’horror d’Hiroshima i Nagasaki i una allau d’avenços tecnològics que amenaçaren com mai abans la humanitat. Asimov, científic de professió, va recórrer a la literatura per plantejar els dubtes i les pors que li generava la ciència: al seu llibre Jo, Robot va establir les famoses lleis fonamentals de la convivència entre humans i robots, que han estat assimilades per la comunitat que investiga en IA.

La fragmentació del coneixement en compartiments estancs mai no ha afavorit el progrés. Per això, la multidisciplinarietat és necessària si volem evitar el desastre. Com escriu Torras a la Revista Idees, el món de la recerca de la IA ha vist “la necessitat de treballar conjuntament amb científics socials, psicòlegs, advocats, filòsofs i antropòlegs per tal d’analitzar les implicacions socials i ètiques de les tecnologies que s’estan desenvolupant i la forma com s’estan desplegant”. I en aquesta tasca, la literatura, el setè art i els diferents engranatges que alimenten el nostre imaginari simbòlic hi tenen molt a dir. Com va dir Neal Stephenson, la ciència-ficció pot donar idees per a innovacions tècniques i, sobretot, “pot oferir una imatge coherent d’aquestes innovacions integrades en una societat, en l’economia i en la vida de les persones”.

Així, Kike Maíllo aconsegueix a la seva pel·lícula Eva que el gran públic es plantegi: Les màquines de companyia podran ser bones amigues nostres? Serem capaços d’establir lligams d’afecte amb artefactes que es limiten a obeir el seu propietari? I si els conferim consciència i lliure albir per a igualar-nos-hi, quina relació de poder hi establirem amb les màquines, una vegada hagin adquirit una intel·ligència immensament superior a la nostra?

Queden poc més de vint dies perquè la nova presidenta de la Comissió Europea (CE), Ursula von der Leyen, compleixi una de les grans promeses: una regulació més dura per a l’ús de la Intel·ligència Artificial (IA) abans dels cent primers dies de mandat. Segons Bloomberg, que va tenir accés a un esborrany de la normativa, el braç executiu de la Unió Europea (UE) estudia noves obligacions per a les autoritats públiques amb relació a l’IA i, entre altres mesures, es planteja la prohibició del reconeixement facial durant cinc anys amb la finalitat de buscar solucions que rebaixin els riscos que comporta aquesta tecnologia.

Segons Bloomberg, un portaveu de la CE va dir que la UE vol definir ara un projecte legislatiu propi, amb “perspectiva europea” i “humana”. O sigui, allunyada del camí que han seguit els Estats Units, la Xina o el Japó; els seus grans competidors en la cursa de les superpotències per liderar el camp de la Intel·ligència Artificial. Una regulació on l’ètica, la confiança i la seguretat dels ciutadans siguin al centre de l’estratègia.

Però aquesta proposta normativa no és el primer que veurà la llum. A l’octubre del 2018, es va aprovar la Declaració sobre Ètica i Protecció de Dades en Intel·ligència Artificial, i a l’abril del 2019, un grup d’experts d’alt nivell de la Comissió Europea va fer públiques les seves Directrius Ètiques per a una IA Confiable (Ethics Guidelines for Trustworthy AI). Aquest projecte, però, no va convèncer a tothom. Ni tan sols a tots els experts que van firmar el document.

Veus crítiques

El 8 d’abril del 2019, un dels 52 membres de la comissió d’experts va denunciar en un article allò que considerava un “blanquejament ètic” de les directrius que, en un principi, havien d’establir unes línies roges per a la Intel·ligència Artificial al vell continent. Així, Thomas Metzinger, professor de filosofia de la Universitat de Mainz, Alemanya, assegura a Der Tagesspiegel que “la història de la Intel·ligència Artificial confiable és una narrativa publicitària inventada per la indústria, un conte per anar a dormir per als clients del futur”.

“El relat de la Intel·ligència Artificial de confiança pretén eixamplar els mercats futurs i utilitzar els debats sobre Ètica com un bell decorat públic per a una estratègia d’inversió a gran escala”, prosegueix Metzinger. Explica, a més, que la seva tasca a la comissió passava per desenvolupar els principis ètics no negociables sobre els usos de la IA a Europa -per exemple, l’ús d’armes automàtiques letals o la puntuació social de ciutadans per part de l’Estat-, fins que l’expresident de Nokia i també membre del grup d’experts, Pekka Ala-Pietilä, li va demanar educadament que retirés l’expressió “no negociable” del document. Més tard, altres membres de la comissió i representants de la indústria, van insistir amb vehemència que s’eliminés del text el concepte de “línies roges” i que, com a molt, es parlés de “preocupacions crítiques”. I així s’hi va reflectir.

“La indústria organitza i conrea debats ètics per adquirir temps, distreure el públic i evitar o endarrerir la regulació”, conclou Metzinger. Afegeix, en aquest sentit, que als polítics també solen constituir comitès d’ètica perquè “els dona un curs d’acció quan, en realitat, no saben què fer”. De la mateixa manera, el professor assenyala que Facebook va finançar un institut per formar ètics de l’IA, mentre Google va intentar constituir un marc ètic contractant els filòsofs Joanna Bryson i Luciano Floridi, essent aquest darrer membre del grup d’experts. Un fet que hauria pogut donar a Google la possibilitat de conèixer de primera mà les restriccions per a l’IA que es gestaven a la comissió.

Tanmateix, la de Metzinger no va ser l’única veu que es va alçar. El desembre de l’any passat, un exinvestigador del Massachusetts Institute of Technology (MIT), Rodrigo Ochigame, denunciava a The Intercept que Silicon Valley pagava estudis sobre ètica de la Intel·ligència Artificial per impedir la seva regulació i que, per tant, la recerca esdevenia una “tapadora” destinada a “blanquejar” aquesta tecnologia.

La intrusió dels gegants

Ochigame assegura que la majoria dels treballs finançats al voltant de la recerca en Intel·ligència Artificial Ètica “està aliniada estratègicament amb el lobby tecnològic que busca evitar restriccions per al desplegament de tecnologies controvertides”. En aquest sentit, l’exinvestigador esmenta les grans empreses que han abanderat uns principis ètics basats en estudis desenvolupats i finançats pel MIT i altres universitats punteres que van rebre diners de la indústria de la tecnologia per treballar en aquest camp.

L’exestudiant també revela els vincles entre les grans tecnològiques i els instituts de recerca en l’àmbit de l’Ètica. Així, per exemple, Ochigame escriu que “el Data & Society Research Institute està dirigit per un investigador de Microsoft i finançat inicialment per una subvenció Microsoft; l’AI Institute de la Universitat de Nova York va ser cofundat per un altre investigador de Microsoft i parcialment finançat per Microsoft, Google i DeepMind; l’Stanford Institute for Human-Centered AI està codirigit per un exvicepresident de Google; a la Universitat de Califòrnia, la divisió de Ciències de les Dades de Berkeley està encapçalada per un veterà de Microsoft; i el MIT Schwarzman College of Computing està dirigit per un membre del consell d’Amazon”.

Ochigame hi afegeix que el camp de l’Ètica també s’ha fet important per a l’exèrcit nord-americà, no només pel que fa a les preocupacions sobre les polèmiques armes autònomes letals, sinó també pel que fa a les disputes entre empreses de Silicon Valley sobre certs contractes militars altament lucratius. L’1 de novembre, el Consell d’Innovació del Departament de Defensa va publicar les seves recomanacions sobre Principis Ètics de l’IA. L’exinvestigador assenyala que el consell està dirigit per Eric Schmidt, que era el president executiu d’Alphabet, la matriu de Google.

Preguntes sense resposta

Qui decideix quan s’ha d’utilitzar IA, amb quines finalitats, i qui i com la desenvolupa? Aquestes són les preguntes que han de marcar una via ètica independent, segons l’informe Automating Society d’Algorithm Watch, i que el Parlament Europeu va recolzar quan subratllava la importància d’una mirada social, moral i responsable en el desplegament de la Intel·ligència Artificial. I aquesta és la línia pròpia que la Comissió Europea s’ha plantejat empènyer. Però… es prendrà l’ètica seriosament, Europa? O caldrà esperar més per a això (quan potser sigui massa tard)?

Aquest no és un cas aïllat. Dos anys després d’aquests fets, una investigació de Propublica va demostrar que el sistema tendia a assignar riscos molt més elevats a les persones de pell fosca que a les de pell blanca. Era el resultat d’allò que es coneix com a biaix predictiu; en aquest cas, racista.

D’on surt aquest biaix?

L’origen s’amaga en els principis més bàsics dels algoritmes predictius, també anomenats d’Aprenentatge Automàtic (Machine Learning, en anglès). Aquests algoritmes, actualment tant habituals, es basen en una anàlisis estadística de dades històriques, a partir de les quals s’extreuen patrons que més endavant serveixen per fer prediccions sobre noves dades. Com a conseqüència, si aquestes dades històriques contenen una representació esbiaixada de la realitat, les prediccions de l’algoritme predictiu reproduiran el mateix biaix.

Però això no és tot. L’estudi de Propublica va demostrar que la diferència a l’hora d’avaluar persones de colors diferents no s’explicava només per unes dades històricament esbiaixades, sinó que l’algoritme tendia a equivocar-se de manera diferent en funció de si examinava persones de pell negra o de pell blanca. Així, COMPAS va atribuir el doble de vegades un risc erròniament alt de reincidència als presos de pell negra; mentre va assignar un risc erròniament baix a molts més reclusos de pell blanca. Per tant, en aquest cas, la Intel·ligència Artificial no ajudava a mitigar les diferències racials inherents a les dades històriques, sinó que encara les potenciava més.

Per què? Propublica ressaltava que COMPAS no preguntava la raça del pres per formar l’algoritme. No obstant això, les variables que utilitzava per obtenir informació eren 137 preguntes personals sobre el detingut i el seu entorn, com “Els teus amics o familiars formen part de bandes criminals?” o “Has provat l’heroïna?”. Però el problema és que, als Estats Units, les diferències socials entre els col·lectius racials són prou importants com perquè es vegin reflectides en aquest tipus de respostes. Així, si s’evités proporcionar a l’algoritme dades que permeten deduir el color de pell, es quedaria sense informació per a fer prediccions amb precisió.

Conseqüències en el treball, en la salut, en l’amor

El cas de COMPAS no és una excepció, ja que els biaixos predictius són un fenomen inherent als algoritmes d’Intel·ligència Artificial, que són cada dia més freqüents al nostre entorn.

El 2014, Amazon va desenvolupar una eina intel·ligent per reclutar els millors treballadors. Un any més tard, la multinacional va adonar-se que als llocs tècnics no hi havia cap dona. La companyia va abandonar l’eina després que una auditoria interna trobés que els candidats homes havien obtingut més puntuació que les dones. Per què? Tal com expliquen Karma Peiró i Ricardo Baeza-Yates a Medium, les dades massives que serviren per nodrir l’algoritme de sel·lecció de personal es basaven en currículums rebuts durant l’última dècada, quan amb prou feines hi havia dones programadores. Quan el sistema automàtic detectava la paraula “dona” o un sinònim, la penalitzava i puntuava més baix.

En l’àmbit sanitari, als Estats Units s’utilitzen algoritmes per guiar algunes decisions mèdiques. El 25 d’octubre, la revista Science explicava que els models utilitzats per assignar cures als 100 milions de pacients nordamericans que pateixen malalties cròniques, com atacs de cor o diabetis, prioritzaven els pacients blancs en detriment dels negres, i rebien abans una assistència mèdica urgent.

Al llibre El Algoritmo del Amor, Judith Duportail explica que l’algoritme de Tinder classifica els usuaris segons la bellesa, el gènere, els estudis i la classe social. Duportail sosté que els homes amb més ingressos i nivell d’estudis tenen una gratificació i, en canvi, a les dones amb els mateixos atributs se les penalitza. Per això, considera que Tinder vol construir parelles desiguals en què l’home sempre sigui superior: amb més estudis, més ingressos i més edat. Com s’explica això? Per una banda, l’algoritme és el resultat d’una compilació de dades que ha tingut lloc dins una societat masclista i, per l’altra banda, segons l’autora del llibre, els programadors de l’aplicació han introduït els seus propis biaixos dins el programari. Com trencar aquest cercle viciós?

Algunes solucions

El Centre Tecnològic Eurecat, de la mà de la Universitat Pompeu Fabra (UPF) i la Universitat Tècnica de Berlín, ha creat un algoritme, anomenat FA*IR, per evitar la discriminació per raons de gènere, procedència o aparença física en cercadors de feina o de parella. FA*IR detecta els biaixos i els corregeix incorporant un mecanisme per a reordenar els resultats sense afectar la validesa del rànquing. Des de l’UPF, a més, proposen utilitzar els algoritmes de manera crítica i en col·laboració amb experts de l’àrea que correspongui.

Rachel Thomas, directora del Centre d’Ètica Aplicada a les Dades de la Universitat de San Francisco, recomana que cada conjunt de dades es presenti amb un document on s’hi descrigui com es va compilar. També aconsella especificar-hi qualsevol preocupació ètica o legal que hagi pogut sorgir durant el procés. Suggereix, tanmateix, que els equips incloguin gent diversa capaç d’advertir els diferents biaixos.

El 2017, l’Associació de Maquinària Informàtica (ACM) publicà un manifest en defensa de la transparència algorítimica i va establir set principis:

1. Consciència. Els creadors d’aquests sistemes han de ser conscients de la possibilitat que hi hagi biaixos en el seu disseny, implementació i ús.
2. Accés. Els reguladors han d’afavorir l’introducció de mecanismes perquè els individus i grups negativament afectats per decisions algorítmiques puguin qüestionar-les i rectificar-les.
3. Passar comptes. Les institucions han de ser responsables de les decisions de l’algoritme, encara que no puguin detallar com s’han pres.
4. Explicació. Les institucions que empren sistemes intel·ligents han de promoure la producció d’explicacions sobre els procediments i les decisions específiques que s’hi prenen.
5. Procedència de les dades. Les dades emprades per a l’entrenament han d’anar acompanyades d’una descripció del seu origen.
6. Auditabilitat. Models, dades i decisions han de quedar registrats perquè puguin auditar-se quan se sospita d’algun error.
7. Validació i proves. Les institucions han de fer proves rutinàries per a avaluar i determinar si el model genera discriminació.

Encara queda molt per fer

Malgrat els esforços, els biaixos algoritmics són entre els grans problemes de la comunitat científica. En alguns casos, les dades sovint reflecteixen diferències no atribuïbles a biaixos, sinó que són resultat d’una descripció objectiva de la realitat i no té sentit corregir-los. A vegades, però, aquests contrastos són producte de certes diferències històriques que cal pal·liar per construir una societat més justa. Tot plegat requereix una feina complexa però necessària per redefinir com conceptualitzem el món i, en conseqüència, com obtenim les dades. Al mateix temps, és urgent introduir l’Ètica a l’hora d’entrenar models intel·ligents que, de ben segur, tindran un gran impacte social.

Notes:

*COMPAS és l’acrònim de Correctional Offender Management Profiling for Alternative Sanctions, que en català es tradueix com a Perfilat per la Gestió Correctiva d’Infractors per Sancions Alternatives.