OpenAI allibera un generador intel·ligent de text que considerava massa perillós

L’empresa de recerca OpenAI ha fet pública aquesta setmana la versió més completa del seu sistema GPT-2 de generació de text sintètic, que inicialment havia decidit no fer accessible al públic per evitar usos malintencionats. 

Al febrer, la companyia del propietari de Tesla, Elon Musk, anunciava la creació d’un generador intel·ligent de text model d’Intel·ligència Artificial capaç de generar escrits artificials pràcticament indistingibles dels que hauria escrit un humà. Al mateix article, però, els autors mostraven preocupació per la possibilitat que l’eina es fes servir de manera maliciosa, i van considerar que era “massa perillosa” per alliberar-la. Segons els investigadors, podia utilitzar-se per generar ràpidament grans quantitats de text de tota mena com notícies falses o propaganda ideològica, i fins i tot imitar un estil de redacció i fer-se passar per algú en concret.

Per aquest motiu, durant els últims mesos, OpenAI ha seguit una estratègia de publicació per etapes, alliberant-ne versions reduïdes cada pocs mesos, i observant l’ús que se’n feia. La publicació d’aquesta setmana ha estat la darrera d’aquest procés i, en un comunicat, els autors deixen clar que no han observat “cap mal ús evident” dels models alliberats fins ara.

Una nova generació de models

El polèmic model forma part d’una nova família de generadors de text basats en un concepte anomenat ‘Transformer’, que han demostrat ser altament efectius a l’hora de produir textos coherents rebent ben poca informació d’entrada. Per entrenar-lo, s’ha fet servir el text de més de 8 milions de pàgines web (és a dir, 40GB de text), optimitzant internament més de 1.500 milions de paràmetres en un procés d’Aprenentatge Profund (Deep Learning, en anglès). El model sencer ha estat publicat al repositori de GitHub d’OpenAI, on hi trobem tant el codi font com els seus paràmetres optimitzats, amb instruccions detallades de com fer-lo servir.

Però no només els programadors poden utilitzar-lo. Existeix, a més, una versió de prova en línia al web TalkToTransformer.com. En aquesta versió, l’usuari introdueix les primeres paraules o frases d’un text i el sistema és capaç de completar-lo de manera creativa, tot mantenint la coherència i l’estil de redacció. D’aquesta manera, si proporcionem les primeres paraules d’una història, el model n’escriu la continuació. Si escrivim un fragment de diàleg, l’eina estén la conversa i fins i tot hi introdueix nous personatges.

Però, tot i que el model pot produir grans resultats, no és perfecte. Després de diverses proves, alguns errors afloren i s’acaben produïnt diàlegs incoherents o sobtats canvis de tema.

Una publicació polèmica

Quan OpenAI va anunciar fa nou mesos que no faria públic el model definitiu, es va aixecar una gran polèmica, sobretot a les xarxes socials. Per un cantó, alguns argumentaven que no tenia sentit mantenir-lo en privat després de publicar els resultats, ja que qualsevol altre equip podia reproduir-los. Per contra, mantenir-lo en secret impedia que altres investigadors aprofundissin en la manera de pal·liar el possible mal ús de l’eina. Mentrestant, altres defensaven que en realitat s’havia presentat com a perillosa per seguir una estratègia de publicitat mitjançant la polèmica.

També n’hi havia que consideraven justificats els motius d’OpenAI per limitar la publicació, sobretot per la recent proliferació de DeepFakes i el seu ús maliciós. Al cap i a la fi, les disculpes de Jon Snow per la sisena temporada de Joc de Trons semblaven inofensives, però el vídeo d’Obama insultant Trump o el robatori de 220.000€ a una empresa alemanya per mitjà de la falsificació de la veu del director executiu resultaven més preocupants.

Conclusions d’OpenAI

Juntament amb el model GPT-2, OpenAI ha fet públiques les conclusions de l’estudi que ha desenvolupat durant els últims mesos, a mesura que anava publicant les diferents versions:

1. GPT-2 produeix resultats convincents. A mida que s’alliberaven les versions, la Universitat de Cornell feia enquestes per comprovar si els textos generats resultaven prou convincents. El model complet té una credibilitat de 6.91 sobre 10, mentre que les versions anteriors, més reduïdes, van tenir puntuacions d’entre 6.07 i 6.72.
2. GPT-2 pot ser modificat per fer-ne un mal ús. Investigadors del Middlebury Institute of International Studies’ Center on Terrorism, Extremism, and Counterterrorism (CTEC) han demostrat que el sistema es pot modificar per tal de generar massivament propaganda sintètica convincent enfocada a ideologies extremistes, com la supremacia blanca o el gihadisme islàmic. Tot i així, malgrat que els sistemes de detecció automàtics encara no són prou robustos, asseguren que el desenvolupament d’eines que assisteixin als humans a detectar textos sintètics és viable.
3. És difícil de detectar. OpenAI ha desenvolupat un altre model especialitzat en la detecció de textos generats per GPT-2. Aquest assoleix un encert del 95%, però els investigadors consideren que aquest resultat encara no és prou bo com per considerar que té prous garanties. Per aquest motiu, també han publicat el model de detecció, així com les dades que han fet servir per al seu desenvolupament, amb l’esperança que altres investigadors puguin millorar els seus resultats.
4. Encara no han detectat cap mal ús. Tot i que consideren que el sistema podria utilitzar-se amb males intencions, encara no han observat cap cas. A més, admeten que, tot i no fer públic el model complet, qualsevol interessat en fer-ne un mal ús podria reproduir els seus passos i generar la seva pròpia versió.
5. Cal estandaritzar l’estudi del biaix. OpenAI ha estat intentant avaluar si el model està esbiaixat i, per tant, pot generar textos amb desviacions ètiques per raons de gènere, raça o religió. Els investigadors han fet públics els resultats d’aquesta anàlisi, però també subratllen que és insuficient degut a l’absència de metodologies i marcs de treball estandarditzats per fer aquest tipus d’avaluacions.

Finalment, OpenAI remarca la necessitat de seguir treballant amb la comunitat científica per garantir una publicació responsable dels resultats, de cara a no facilitar el mal ús de models d’Intel·ligència Artificial com GPT-2.

Referències:

• https://www.theverge.com/2019/11/7/20953040/openai-text-generation-ai-gpt-2-full-model-release-1-5b-parameters
• https://openai.com/blog/gpt-2-1-5b-release/
• https://openai.com/blog/better-language-models/
• https://talktotransformer.com/
• https://github.com/openai/gpt-2
• https://github.com/openai/gpt-2-output-dataset