derecho de la unión europea: techlaw
TRANSCRIPT
COLEGIO UNIVERSITARIO DE ESTUDIOS FINANCIEROS
DOBLE GRADO EN DERECHO Y ADMINISTRACIÓN DE EMPRESAS
Trabajo de Fin de Grado
Índice Provisional
Derecho de la Unión Europea: Techlaw
Aproximación a la protección jurídica europea de los derechos y libertades de los ciudadanos frente a la toma de decisiones automatizada por algoritmos sesgados.
Autor: Barragán Barranco, Rosa
Tutor: Lozano Cutanda, Blanca
Madrid a 1 de diciembre de 2020
RESUMEN
Para aprovechar las oportunidades que ofrece la Inteligencia Artificial (IA) y
hacer frente a los principales retos, la Comisión Europea presenta un escenario donde la
IA promueve un doble objetivo: por un lado, el diseño de un Mercado Único Digital que
esté liderado por el desarrollo y empleo de las tecnologías más innovadoras; y por otro,
la promulgación de un marco legislativo común a todos los Estados miembros para definir
los estándares de gestión, tratamiento y protección de los datos personales en la Era
Digital, así como abordar los riesgos vinculados a la IA.
Terminología clave: Inteligencia Artificial, datos personales, algoritmos
sesgados, responsabilidad, mecanismos de protección, Reglamento de Protección de
Datos (DGPR), Libro Blanco, y Ética (privacidad y transparencia).
ABSTRACT
The European Union aims to take advantage of the opportunities presented by
Artificial Intelligence (AI) and to face the challenges it presents. For that reason, the
European Commission has envisioned a scenario where AI fosters a double purpose: on
the one hand, the design of a Digital Single Market lead by the development and use of
the most innovative technologies; And on the other hand, the enactment of a legislative
framework common to all Member States, which define the standards for the management
and protection of personal data in the digital era, and address the risks attached to AI.
Key terminology: Artificial Intelligence, personal data, biased algorithms,
accountability, protection mechanisms, Data Protection Regulation (DGPR), White
Paper, Ethics (privacy and transparency).
LISTADO DE ABREVIATURAS, ACRÓNIMOS Y SIGLAS
AA Aprendizaje Automático
ADS Algoritmos de Decisión Automáticos
AI HLEG High–Level Expert Group on AI Grupo de Expertos de Alto Nivel sobre la IA
AI4EU Artificial Intelligence for the European Union Inteligencia Artificial para la Unión Europea
BEUC Bureau Européen des Unions de Consommateurs Asociación Europea de Consumidores
CE Comisión Europea
COMPAS Correctional Offender Management Profiling for Alternative Sanctions Gestión de Perfiles de delincuentes correccionales para sanciones alternativas
Directiva 2000/78/CE
La Directiva 2000/78/CE del Consejo, 27 de noviembre de 2000, relativa al establecimiento de un marco general para la igualdad de trato en el empleo y la ocupación
DL Deep Learning Aprendizaje Profundo
EE. UU. Estados Unidos de América
El Libro Blanco El Libro Blanco sobre Inteligencia Artificial
FFD Regulación de la Libre Circulación de Datos no Personales
GDPR El Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo de 27 de abril de 2016 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos
H2020 Horizonte Europa / Horizonte 2020
IA Inteligencia Artificial
La Resolución Resolución del Parlamento Europeo, de 12 de febrero de 2020, sobre los procesos automatizados de toma de decisiones para garantizar la protección de los consumidores y la libre circulación de bienes y servicios (2019/2915(RSP))
LOPDGDD La Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales
ML Machine Learning
MUD Mercado Único Digital
OASys Offender Assessment System Sistema de Evaluación del Delincuente
OCDE Organización para la Cooperación y Desarrollo Europeos
PE Parlamento Europeo
Principios FAIR Findable, Accessible, Interoperable, y Reusable Encontrar, Accesibles, Interoperables y Reutilizables
PSI Investigation Prior to Sentencing Investigación Previa a la Sentencia
Reglamento 2015/2120
El Reglamento (UE) 2015/2120 Parlamento y el Consejo de la UE, de 25 de noviembre de 2015, referente a los derechos de los usuarios en relación con las redes y los servicios de comunicaciones electrónicas
Reglamento 2018/1807
Reglamento (UE) 2018/1807 del Parlamento Europeo y del Consejo de 14 de noviembre de 2018 para favorecer la libre circulación de datos no personales en la UE
TJUE Tribunal de Justicia de la Unión Europea
UE Unión Europea
UN United Nations Naciones Unidas
ÍNDICE
1. PRESENTACIÓN DE LA TESIS .......................................................................... 1
2. INTRODUCCIÓN A LA INTELIGENCIA ARTIFICIAL ................................ 2 2.1. Evolución del término ................................................................................................... 2
2.2. Nueva definición y contexto en la Era Digital .............................................................. 3
3. EL FUTURO DIGITAL DE LA UNIÓN EUROPEA ......................................... 5 3.1. Estrategia Europea de Datos para lograr MUD ............................................................. 5
3.2. Objetivos establecidos para alcanzar el MUD .............................................................. 6
3.3. Programa Horizonte Europa (Horizon Europe) ............................................................ 8
4. ALGORITMOS DE IA ......................................................................................... 10 4.1. Automatización de decisiones ..................................................................................... 10
4.2. Casuística y Normativas aplicadas: amenazas sobre los derechos y libertades .......... 12
4.2.1. Casos relativos a la ausencia de igualdad de trato por razón de género en el empleo y en la ocupación: LinkedIn y Amazon............................................................................... 13
4.2.2. Casos relativos a la prohibición de discriminación por razón de raza: Google, COMPAS y OASys ............................................................................................... 14
4.2.3. Caso relativo al empleo de algoritmos para inducir prácticas discriminatorias en los usuarios: Sentencia del TJUE ................................................................................... 17
5. EL NUEVO MARCO NORMATIVO DE LA UE ............................................. 19 5.1. El Libro Blanco sobre IA ............................................................................................ 20
5.1.1. Principios Éticos y Requerimientos para una IA de confianza ........................... 23
5.2. El Reglamento General De Protección De Datos ........................................................ 26
5.2.1. Artículo 4 del GDPR ........................................................................................... 26
5.2.2. Artículo 22 del GDPR ......................................................................................... 27
5.2.3. GDRP en relación con LOPDGDD y el Principio de Explicabilidad y de Transparencia .............................................................................................................. 29
5.3. La Resolución para la Protección los Consumidores. ................................................. 30
6. CONCLUSIONES ................................................................................................. 33
7. BIBLIOGRAFÍA ...................................................................................................... I
8. ANEXO .................................................................................................................. XI
1
1. PRESENTACIÓN DE LA TESIS
Las sociedades modernas están impulsando lo que hoy muchos expertos ya conocen por el nombre de “La Cuarta Revolución Industrial” o “La Revolución Digital”, dando paso a una nueva era caracterizada por el empleo generalizado de internet y el uso extendido de aplicaciones de Inteligencia Artificial (IA) en todos los ámbitos y sectores de actividad (educación, sanidad, economía, defensa, movilidad, transportes…).
Ello ha impulsado numerosos beneficios sociales y económicos. Pero la complejidad del nuevo ecosistema digital y la continua evolución de las sociedades ha potenciado riesgos que amenazan la solidez de las normativas y atentan contra los derechos y libertades fundamentales de los individuos.
En este sentido, los prejuicios y patrones discriminatorios presentes en las sociedades son riesgos que pueden condicionar seriamente los resultados de los sistemas de IA. Y, como se explicará en los siguientes capítulos, el aprendizaje automático y la automatización de las decisiones podrá exacerbar el impacto negativo que los algoritmos puedan tener, llegando a afectar especialmente a aquellos segmentos o grupos de la población más vulnerables.
Como consecuencia, La Unión Europea (en adelante, UE), y más específicamente, la Comisión Europea (en adelante, la Comisión o la CE) está liderando la Estrategia Europea de Datos (2020), que apela a la creación de un Mercado Único Digital (en adelante, MUD), destinado a materializar una ruta de transformación digital caracterizada por la definición de un marco legislativo y ético común que guíe el desarrollo y dé soporte a los Estados miembros para proveer el desarrollo de buenas prácticas y aplicaciones de IA, y también defina los roles y responsabilidades de los agentes que participan a lo largo del proceso.
El presente trabajo busca proporcionar un conjunto de casos reales que indican los riesgos que ha traído el mal uso de los datos, así como destacar la jurisprudencia emitida por el Tribunal de Justicia de la Unión Europea (en adelante, TJUE) sobre esta materia, dando pie a un análisis de las disposiciones, reglamentos y directrices dictadas por la CE y el Parlamento Europeo en materias como: la gestión y protección de datos, gobierno de datos y ética de la inteligencia artificial, imprescindibles para la culminación del MUD y la protección efectiva de los ciudadanos europeos frente a los riesgos y sesgos que suscita la IA.
2
2. INTRODUCCIÓN A LA INTELIGENCIA ARTIFICIAL
2.1. EVOLUCIÓN DEL TÉRMINO
El concepto técnico de la IA se ha ido moldeando desde 1950, cuando Alan Turing1,
en su documento científico “The Turing Test” o “El Test de Turing”, explicó por primera
vez la idea de una máquina inteligente. La prueba no examinaba la capacidad de la
máquina para resolver preguntas adecuadamente, sino su capacidad para exhibir un
comportamiento inteligente y el empleo de un lenguaje natural similar al del ser humano.
El experimento partía de un escenario en el que un sujeto (el evaluador) tenía que
mantener una conversación con dos participantes, uno era un individuo y otro era una
computadora. Si el evaluador no conseguía diferenciar con quién estaba manteniendo la
conversación, entonces se diría que la computadora había pasado la prueba de Turing2.
Ese mismo año (1950), su ensayo “Computing Machinery and Intelligence” (Turing,
1950) planteó la siguiente pregunta: “¿Pueden pensar las máquinas?”. Su objetivo ya no
era resolver la cuestión planteada, sino exponer los argumentos contra las objeciones
principales a la idea de que una máquina podía ser inteligente.
A partir de entonces, las siguientes décadas se caracterizaron por un desarrollo
exponencial de la computación y de la lógica matemática, así como por la creación de
importantes laboratorios de investigación, en especial los creados por Marvin Minsky3,
John McCarthy4, Allen Newell y Herbert Simon5 (Anexo #1).
1 Alan Mathison Turing, matemático, criptógrafo, filósofo y biólogo teórico nacido el 23 de junio de 1912 – 7 de junio de 1954 en Londres, Reino Unido. Considerando como uno de los padres de la ciencia de computación e impulsor de las matemáticas e informática (Turing, 2020). 2 Nadie había logrado superar la Prueba de Turing, hasta que en el 6 de junio de 2014 el chatbot de IA programado en 2001 por los investigadores, Vladimir Veselov (informático de origen ruso) y Eugene Demchenko (programador de origen ucraniano), logró por primera vez convencer al 33% de los jueces que dirigieron el concurso propuesto por la Royal Society of London en conmemoración del 60 aniversario de la muerte de Alan Turing.
El chatbot se hace pasar por un niño ucraniano de 13 años llamado Eugene Goostman. Eugene está entrenado para responder de forma natural a cualquier pregunta que se le haga, debido a que emplea técnicas de procesamiento del lenguaje natural (en inglés Natural Language Processing o NLP) combinado con el acceso a bases de datos a través del reconocimiento de palabras clave en la conversación (Nieves, 2014) y (Schofield, 2014).
Actualmente la prueba de Turing se puede encontrar en los formularios en línea, a través de los CAPTCHA (acrónimo de “Completely Automated Public Turing Test to Tell Computers and Humans Apart”), para comprobar cuándo el usuario es un ser humano mediante el reconocimiento de elementos dentro de una imagen.
3 Marvin Lee Minsky (1927 – 2016) científico americano, padre de la inteligencia artificial y fundador del laboratorio del Instituto de Tecnología de Massachusetts (M.I.T). En su obra cumbre denominada “Steps Towards Artificial Intelligence” (1961) argumentó la dificultad de definir la IA debido a la extensión y diversidad en sus aplicaciones y usos. Es por ello por lo que inventó el término “suitcase” (en inglés, maleta), en el cual una palabra abarca múltiples acepciones. Por ejemplo, la palabra “inteligencia” hace referencia al sentido, percepción, perspicacia, cerebro, etc. (Marvin Minsky, 2020).
4 John McCarthy (1927 – 2011) científico y matemático americano responsable de introducir el término “Inteligencia Artificial” (Conferencia en Dartmouth en 1956) y el término de “Cloud Computing” (McCarthy, 2020) 5 Allen Newell (1927 – 1992, investigador, informático y psicólogo cognitivo), junto con su amigo Herbert Alexander Simon (1916 – 2001, economista y matemático) se centraron en la modelización del pensamiento humano a través del desarrollo de sistemas que resolvían puzles y problemas sencillos de una manera en que el cerebro humano lo hacía. (Newell, 2020) (Simon, 2020)
3
2.2. NUEVA DEFINICIÓN Y CONTEXTO EN LA ERA DIGITAL
Es ahora, en pleno siglo XXI y como consecuencia de la IV Revolución Industrial
(Martínez, 2020) (Anexo #2), cuando el término “Inteligencia Artificial” tiene fuerza
propia y presencia diferenciada, pudiéndola definir como:
“Una combinación de tecnologías o sistemas informáticos que extraen, analizan y combinan
miles de datos, conocidos como Big Data, a través de algoritmos de aprendizaje automático para
diseñar modelos predictivos y resolver problemas complejos de manera rápida y eficaz”
(Azure.Microsoft – Algoritmos de aprendizaje automático, 2020).
En esta concepción se identifican dos elementos fundamentales (Romero y Dafonte,
2014):
Tecnologías de computación: comprenden el conjunto de los sistemas
computacionales que analizan y procesan grandes conjuntos de datos empleando
tiempos cortos, aumentando la productividad y generando resultados más fiables y
significativos.
Los macrodatos o Big Data: como su nombre indica, suponen un gran volumen de
datos emitidos por fuentes como las redes sociales, páginas de internet, transacciones
financieras…, los cuales son posteriormente recolectados, procesados y tratados para
obtener los resultados que mejor se orienten al propósito que se pretende conseguir.
El problema surge cuando el Big Data toma los datos a partir de la información
personal que los individuos van dejando a su paso, lo que se conoce como la huella digital.
Por todo ello, es importante resaltar que los datos seleccionados deben ser
gestionados de manera ética, responsable y transparente con el fin de proteger los
derechos y libertades de los usuarios, los valores democráticos, hacer frente a los peligros
de la incorporación de sesgos en los algoritmos, y mitigar los potenciales riesgos para sus
titulares (Buenadicha y Galdon, 2020).
4
Resulta primordial, en este sentido, desarrollar sistemas de IA que gocen de
transparencia e identifiquen a los responsables de los resultados. Por todo ello, se necesita
promover un entorno digital integrado por sistemas de IA fiables, que favorezcan su
investigación y desarrollo ético, así como la concepción de mecanismos y regulaciones
sólidas adaptadas a la consecución de los objetivos marcados y de las necesidades
emergentes en la Era Digital.
Siguiendo esta última idea, entre las aplicaciones de IA que pueden cubrir las
necesidades más demandadas por las sociedades digitales, están:
En el campo del Derecho. En contadas ocasiones la justicia penal hace uso de la
IA para acelerar los procesos, predecir tipos de políticas, o evaluar los riesgos de
reincidencia. En los últimos años, se ha dado a conocer una aplicación de IA
(COMPAS)6 empleada por los tribunales de EE.UU. para analizar el riesgo de
reincidencia de un condenado y así determinar su sentencia (Lee Park, 2019).
Las entidades financieras emplean la IA para detectar y prevenir fraudes7, valorar
la solvencia, autorizar o denegar créditos, automatizar el comercio y dar
cumplimiento a la normativa legal (MasterCard, 2020).
Las Ciencias de la Salud usan algoritmos programados para facilitar la elaboración
de un diagnóstico médico preciso y adecuado para cada paciente, así como, para
lograr la detección temprana de enfermedades y controlar su propagación. Un claro
ejemplo de ello es la aplicación RadarCovid8, diseñada para rastrear y alertar de
casos positivos de COVID–19 en el territorio español (Bahrke y Manoury, 2020).
6 COMPAS (por sus siglas en inglés, Correctional Offender Management Profiling for Alternative Sanctions) es un algoritmo – desarrollado, creado y en propiedad de la empresa privada Northpointe (ahora Equivant) – empleado por los tribunales de EE. UU como parte del informe de investigación previa a la sentencia (en inglés, PSI) para evaluar la probabilidad de que un acusado se convierta en un reincidente, es decir, el riesgo potencial de que el acusado cometa un delito en el futuro. (Lee Park, 2019)
7 Mastercard lanza Decision Intelligence, una solución de IA que ayuda a las instituciones financieras a incrementar autenticidad de las transacciones en tiempo real y así, reducir los falsos rechazos y fraudes. (Rodriguez, 2018) (MasterCard, 2020) 8 RadarCovid es una aplicación, creada por la Secretaría de Estado de Digitalización e Inteligencia Artificial del Gobierno de España, para rastrear y alertar de los usuarios que hayan dado positivo en Covid–19 y hayan podido exponer a otros al virus. Se trata de una aplicación móvil que integra algoritmos de IA que emiten claves aleatorias diarias que a su vez generan identificadores que se transiten a los teléfonos inteligentes cercanos mediante Bluetooth, anonimizando los datos y la ubicación. Esto ayuda a minimizar la propagación, rompiendo la cadena de infecciones por coronavirus (Bahrke y Manoury, 2020).
5
A la vista de estas ventajas, muchos países cuentan con estrategias enfocadas al desarrollo
de tecnologías innovadoras lideradas por la IA como motor de crecimiento económico y
bienestar social.
En este sentido, los organismos internacionales como el G7, G20, la Organización para
la Cooperación y Desarrollo Europeos (OCDE), las Naciones Unidas (UN) y la UE, entre
otras, se han embarcado en una carrera contrarreloj para desarrollar rutas estratégicas de
transformación digital que pongan en valor la importancia de adaptar las sociedades a la Era
Digital de una forma progresiva y eficaz (Anexo #3).
3. EL FUTURO DIGITAL DE LA UNIÓN EUROPEA
3.1. ESTRATEGIA EUROPEA DE DATOS PARA LOGRAR MUD
La IA se ha convertido en uno de los motores principales de la economía para las
potencias mundiales. Aunque es cierto que ningún país ha conseguido superar ni a
Estados Unidos ni a China hasta el momento (los líderes mundiales más destacados en el
desarrollo de tecnologías de IA) (veáse, Scimago Journal & Country Rank – Ranking de
los países del mundo que están a la vanguardia en IA, 2020) (Anexo #4).
Por ello, para los próximos años la UE se ha marcado el objetivo de tomar la delantera
en la carrera para lograr la transformación digital y asegurar su posicionamiento como
uno de los principales ejes internacionales de desarrollo e innovación de IA.
De esta forma, la UE ha diseñado una Estrategia Europea de Datos que ayude a
alcanzar un Mercado Único de Datos (MUD) que favorezca la libre circulación de
información por todo el territorio y sitúe a Europa como líder de la economía de datos y
soluciones basadas en IA (Comisión Europea – A European Startegy for Data, 2020).
En consecuencia, la UE busca crear un marco normativo sólido, común para todos los
Estados miembros, que afiance las bases legales y genere confianza (El Derecho, 2020)
– Reglamento General De Protección de Datos (GDPR), Regulación de la libre
circulación de datos no personales (FFD), la Directiva de Datos Abiertos, Directiva de
Contenidos Digitales y el Libro Blanco para una IA ética – (se explicarán en las
disposiciones 5 y 6 de este trabajo).
6
La UE tiene todas las garantías para tener éxito y cumplir con sus metas, ya que cuenta
con tecnologías de vanguardia (en inglés, “State–of–the–art technologies”), con equipos
de expertos altamente cualificados y con el acceso a un gran volumen de datos gracias a
la promulgación del Reglamento (UE) 2018/1807 del Parlamento Europeo y del Consejo
de 14 de noviembre de 2018 para favorecer la libre circulación de datos no personales
en la UE9 (en lo sucesivo, Reglamento 2018/1807).
Para entender el impacto del Reglamento 2018/1807 en la economía de datos, el
informe del IDC, The Digitization of the World from Edge to Core (Reinsel, Gantz y
Rydning, 2018), destaca la generación de un volumen de datos igual a 33 zettabytes10
solo en el año 2018; mientras que para el 2025 se estiman alcanzar los 175 zettabytes –
(Comisión Europea – Catálogo de la Unión Europea, 2020) (Anexo #5).
Europa tiene que diseñar una ruta tecnológica coherente y estructurada, que permita
hacer un uso eficiente de los recursos internos, equilibre el flujo y la cantidad de datos
dentro del espacio europeo y entre los distintos sectores, a la vez que fije las pautas y
estándares comunes de gobierno de datos, privacidad, seguridad y ética.
3.2. OBJETIVOS ESTABLECIDOS PARA ALCANZAR EL MUD
El pasado 19 de febrero del 2020, la presidenta de la Comisión, Ursula Von der Leyen,
anunció los objetivos y medidas para la consecución del MUD que reflejen una Europa
más abierta, justa, diversa, democrática, potente e innovadora.
«Hoy presentamos nuestra ambición de dar forma al futuro digital de Europa,
que abarca todo: de la ciberseguridad a las infraestructuras críticas, de la educación
digital a las capacidades, de la democracia a los medios de comunicación. Quiero que
la Europa digital refleje lo mejor de Europa: que sea abierta, justa, diversa, democrática
y con confianza en sí misma.»
(Comisión Europea – Configurar el futuro digital de Europa, 2020)
9 Reglamento (UE) 2018/1807 es también conocido por el nombre de Regulation on Free Flow of Non–Personal Data del Parlamento Europeo y el Consejo de 14 de noviembre de 2018, que tiene por objetivo favorecer la libre circulación de datos no personales (como los generados en el IoT o la IA) entre Estados miembros de la UE, y prohíbe a establecer restricciones o requisitos de localización o barrearas que puedan limitar el acceso a los mismos. (Véase, Libre circulación de datos no personales en la Unión Europea, 2019.) 10 El zettabyte es una unidad de almacenamiento de información cuyo símbolo es el ZB, teniendo una equivalencia de 1 ZB a 1021 bytes
7
Uno de los puntos destacados de esta Comunicación es la importancia de cooperación
entre los actores, que impulsen los usos éticos de la IA y la comunicación de buenas
prácticas, que sitúen al hombre en el centro del cambio digital y de acción legislativa.
De esta forma, la Comisión pretende un enfoque europeo centrado en tres acciones
principales (Comisión Europea – Configurar el futuro digital de Europa, 2020):
Una tecnología que repercuta en el beneficio de los ciudadanos: protegerlos
de los potenciales ciberataques y amenazas (hackeo, robo de identidades…);
asegurar que la IA se desarrolla de manera que respete los derechos y libertades;
ampliar la capacidad de super–computación de la UE para desarrollar soluciones
innovadoras, etc.
Una economía más justa y competitiva: asegurarse de que las normas de la UE
son adecuadas para el propósito marcado; asegurar que todas las empresas
compiten en condiciones justas; reforzar la colaboración entre los sectores público
y privado; facilitar el acceso de PYMES a la financiación para adaptarse y
contribuir al proceso tecnológico con ayuda del Fondo Europeo de Inversiones, e
incrementar el acceso a los datos al tiempo que se garantiza la protección y
anonimidad de los mismos.
Una sociedad más abierta, democrática y sostenible: lograr los objetivos
establecidos por las Agendas 2030 y 2050; alcanzar la neutralidad climática
(reducir las emisiones de carbono); capacitar a los propios individuos para ejercer
un mayor control y protección de sus datos, y crear mecanismos de transparencia
y comprensión de la IA.
De acuerdo con la UE, las iniciativas y los marcos normativos descritos permitirán a
Europa reforzar su estrategia e implantar tecnologías punteras para declarar su
supremacía económica a escala mundial.
8
3.3. PROGRAMA HORIZONTE EUROPA (HORIZON EUROPE)
Para poder lograr los objetivos expuestos, y en paralelo a la Estrategia Europea de
Datos, la Comisión lanzó en el 2018 un Programa Marco de Investigación e Innovación
para los años 2021–2027, conocido por el nombre de “Horizonte Europa” o “H2020”
(ServiGuide – Horizonte Europa, 2020). Este programa está configurado sobre tres pilares
fundamentales:
1) Promover una Ciencia Abierta: dando apoyo a los investigadores a través de la
colaboración e intercambio de conocimiento, y dar impulso a proyectos de
carácter científico mediante la asignación de becas ofrecidas por el Consejo
Europeo de Investigación y Marie–Skłodowska – Curie Actions (MSCA).
2) Hacer Frente a los Retos Globales y Competitividad Industrial: favoreciendo a
los proyectos que den soluciones a los retos que se presentan en las sociedades
actuales (lucha contra el cáncer, la movilidad sostenible, océanos sin plásticos…).
3) Liderar una Innovación Abierta: convirtiendo a Europa en uno de los ejes
internacionales de innovación más fuertes del mercado global, a través del empleo
de tecnologías de vanguardia y fomento del crecimiento de las empresas con un
alto potencial tecnológico.
El pasado 29 de septiembre se aprobó el presupuesto de financiación del programa, con
una suma total que asciende a los 97.600 millones de euros, considerándose la mayor
cantidad asignada para un proyecto en materia de investigación e innovación en la UE
(Comisión Europea – Horizonte Europa: El Próximo Programa de Inversión en
Investigación e Innovación de la UE, 2019) (Anexo #6).
Los cerca de 100.000 M € son gestionados por el Fondo Europeo para Inversiones
Estratégicas, y coordinados por la plataforma europea digital, “AI4EU”11, que facilita la
IA bajo demanda y la colaboración entre todos los Estados miembros para el intercambio
de herramientas, datos y recursos tecnológicos (AI4EU – Sobre el Proyecto, 2019).
11 AI4EU es un juego de palabras ideado por la Comisión equivalente a decir Artificial Intelligence For the European Union, o en su traducción al castellano, Inteligencia Artificial para la Unión Europea.
9
Asimismo, los cuatro grandes proyectos que lidera la AI4EU (AI4Media, ELISE,
Human–AI Net, y TAILOR) son fundamentales para impulsar, ya no solo la cooperación
entre actores, sino también para el desarrollo de iniciativas de IA que den preponderancia
a los derechos de los ciudadanos europeos y sitúen al individuo en el centro del cambio
digital y acción legislativa 12 (AI4EU – EU Challenges for an AI Human Centric
Approach, 2020). Estos proyectos son los siguientes:
AI4Media: se centra en el avance de la IA para servir a los medios de comunicación,
para asegurarse de que los valores éticos y responsables se incorporen correctamente,
y para crear una tecnología beneficiosa al servicio de la sociedad y de los medios de
comunicación.
ELISE: busca la consecución de resultados fiables, trasparentes y explicables tras las
conclusiones obtenidas por los algoritmos, considerando todas las variantes de datos
extraídos de los sectores de la ciencia y la industria.
Human–AI–Net: apoya las tecnologías para la interacción a nivel humano, dotando
de nuevas habilidades y capacidades a los individuos para comprender fenómenos
complejos y resolver problemas.
TAILOR: construye una red de investigación académica y pública cuyo objetivo es
proporcionar la base científica para generar una IA de confianza, combinando el
aprendizaje, la optimización y el razonamiento para producir sistemas inteligentes
que incorporen mecanismos para la seguridad, la transparencia y el respeto por la
autonomía humana.
En conclusión, la Comisión quiere dar forma a una nueva Europa, en la que se
desarrollen ecosistemas económicos, sociales y de investigación que sean dinámicos,
justos y éticos, mediante el establecimiento de objetivos globales, y de un marco
regulador y de gobernanza común para la gestión eficiente de los datos y la protección de
los derechos de los individuos.
12Anteriormente mencionado en la página #8 - 3.2 Objetivos establecidos para alcanzar el MUD
10
Sin embargo, y como se expondrá en el siguiente apartado, aunar esfuerzos entre los
diferentes agentes (Estados, empresas e individuos) y crear prácticas que aporten
beneficios conjuntos, puede llegar a ser intrincado y difícil. Ello es así porque, aun
habiendo definido los objetivos a alcanzar, los métodos empleados por unos pueden llegar
a vulnerar o limitar los derechos y libertades de otros.
4. ALGORITMOS DE IA
Muchas fuentes identifican a la IA y el Aprendizaje Automático como un mismo
concepto. Sin embargo, expertos como Microsoft, Google y Amazon destacan la
importancia de hacer una correcta diferenciación (Anexo #7).
De modo que, el capítulo 4 – “Algoritmos de IA” – tendrá por objeto analizar
dicha diferenciación, exponer los diversos tipos de sesgos que se puedan dar a lo largo
de las fases del modelo algorítmico, y el impacto que tengan en las diferentes esferas que
conforman la vida de las personas.
4.1. AUTOMATIZACIÓN DE DECISIONES
La IA hace referencia a aquellos sistemas informáticos que buscan simular la
conducta inteligente y las funciones cognitivas del ser humano. Sin embargo, la IA por sí
sola no puede llegar a resolver problemas complejos, ni tomar decisiones de manera
automática, ni tampoco obtener resultados satisfactorios que puedan ser escalables.
Para que la IA pueda automatizar el aprendizaje (Anexo #8) necesita de los
algoritmos de Machine Learning (ML), también conocidos con el nombre de algoritmos
de aprendizaje automático (en adelante AA). En otras palabras, se puede decir que los
algoritmos son el cerebro que dirige a los sistemas de IA (Graph Everywhere, 2019).
Siguiendo esta idea, los algoritmos AA (Anexo #9) son la codificación que permite
crear un Modelo de aprendizaje automático (Anexo #10) que identifique y analice
patrones a partir de conjuntos de datos, cuyas conclusiones resultantes no solo permiten
resolver problemas de manera más rápida y eficiente, automatizar decisiones, y
maximizar la probabilidad de que dichas predicciones sean correctas, sino también, a
minimizar los errores y reducir costes.
11
Un algoritmo de AA es diseñado para hacerse más inteligente con cada interacción
(de ahí su nombre “aprendizaje automático”), y con ello, adquirirá más capacitaciones
para llevar a cabo tareas de mayor complejidad, como, por ejemplo, optimizar los
resultados en las búsquedas en internet, mejorar la detección de amenazas de
ciberseguridad o predecir fallos en la maquinaria13, obteniendo resultados más fiables y
de mayor valor (Ortiz, 2020).
Atendiendo a la evolución del AA, aparecen los algoritmos de aprendizaje
profundo14 (en inglés, Deep Learning o DL) (Anexo #11), los cuales son un subconjunto
dentro del ML que usan arquitecturas de redes neuronales15 (Profesional Review, 2019)
y que procesan la información imitando la forma en que lo hacen las neuronas del cerebro
humano (Anexo #12).
En consecuencia, los algoritmos de aprendizaje profundo permiten un
reconocimiento de imágenes más preciso (Anexo #13), el desarrollo de aplicaciones de
reconocimiento de voz con procesamiento del lenguaje natural como SIRI (Apple) o
ALEXA (Amazon), o la predicción de resultados en cirugía cardiaca, entre otros
(SmartPanel, 2020).
El problema radica en que la complejidad de los algoritmos de aprendizaje
profundo (DL) no permiten comprender cómo se ha desarrollado ese proceso decisorio
(este concepto se conoce como cajas negras o black boxes16), de qué forma aparecen los
sesgos o en qué momento se ha producido un error. Ello provoca una situación en la que
es posible que los expertos decidan alterar los datos para obtener aquellos resultados que
puedan aproximarse más a la consecución de sus objetivos (Anexo #14).
13 Para más ejemplos véase: http://www.joanybelortiz.com/aplicaciones–machine–learning–ejemplos/ 14 El aprendizaje profundo es un tipo de aprendizaje mecánico que puede procesar una gama más amplia de datos, produciendo resultados más precisos que los enfoques tradicionales de aprendizaje automático. Por ejemplo, una vez que aprende cómo es un objeto, puede reconocer el objeto en una nueva imagen. (McKinsey & Company, 2018. An executive’s guide to AI)
15 Las redes neuronales se inspiran en el comportamiento y conexiones de las neuronas cerebrales del ser humano. Las redes neuronales artificiales están divididas en varias capas (capa de entrada, capas ocultas y capa de salida). Casa una de ellas, procesa los datos y se encargan de transmitirlos a la siguiente capa. De tal modo que, la última capa (capa de salida) realiza la acción deseada y muestra el resultado. (2019, Xeridia) (2019, Profesional Review) (2020, ¿Qué es el Deep Learning) (Anexo #12) 16 En ocasiones, a los algoritmos de aprendizaje automático también se les conoce como algoritmos de cajas negras o black boxes, debido a que lasentradas y operaciones no son visibles para los usuarios. En otras palabras, se trata de un sistema de IA bastante hermético que va completamente en contra de la transparencia, dado que el usuario no puede acceder al código del algoritmo para entender su funcionamiento (2020, Qué es Algoritmo de caja negra – Definición y Ejemplos – Arimetrics)
12
Se dice que “un sistema de IA es tan bueno como lo sean los datos con los que se
haya alimentado”. De tal forma que, si los datos con los que ha entrenado dicho modelo
presentan patrones sesgados, éstos reaparecerán en los resultados mientras no sean
corregidos meticulosa y concienzudamente por los expertos (Dans, 2019) (Anexo #15).
De no ser así, el impacto negativo de los sesgos puede llegar a perpetuarse en el
tiempo y perjudicar seriamente los derechos y libertades fundamentales (por ejemplo,
veredictos injustos en el sistema de justicia penal) (Hao, 2019); o incluso, limitar las
capacidades y posibilidades de los usuarios que consumen productos y servicios de IA
(por ejemplo, discriminación en la contratación o restricciones en el crédito bancario)
(Anexo #16).
En el anexo #15 se muestra cómo se pueden introducir los diversos tipos de sesgos
a lo largo de las fases de un modelo algorítmico (desde la fase de ideación de la iniciativa
hasta el despliegue del modelo). Mientras que en el anexo #16 se presenta el impacto de
las decisiones segadas en las diferentes esferas que conforman la vida y el entorno de una
persona.
4.2. CASUÍSTICA Y LEGISLACIÓN APLICABLE: AMENAZAS SOBRE
LOS DERECHOS Y LIBERTADES
El “mundo digital” refleja los ecos y patrones discriminatorios del “mundo
análogo”. Es por lo que, en el anexo #17 se han listado los sesgos más comunes, que
pueden condicionar gravemente las conclusiones y resultados de los algoritmos,
limitando o vulnerando los derechos y libertades fundamentales.
Pues bien, de entre todos, el sesgo algorítmico es uno los más perjudiciales dado
que no solo condena los resultados y las conclusiones obtenidas, sino la totalidad del
modelo (Turner–Lee, Resnick y Barton, 2019). Por ejemplo, podrá cuestionarse la
adecuación del modelo al propósito que se persigue, la representatividad de la muestra,
la calidad de los datos o el grado de objetividad del operador, entre otros (Blanco, 2018).
Debido a la automatización, la velocidad en el proceso de toma de decisiones ha
aumentado exponencialmente (Knight, 2017), llegando a exacerbar las consecuencias
negativas y a conducir a resultados discriminatorios (Merino, 2019).
13
Ello ha sido objeto de estudio por numerosas instituciones académicas (tales como,
Massachussets Institute Technology, Standford o Imperial College of London), por
organismos internacionales (el Parlamento Europeo y la Comisión Europea) y por
empresas multinacionales (Microsoft, Google, Amazon, LinkedIn o Facebook, entre
otras).
En este sentido, cabe destacar, el estudio llevado a cabo por el Parlamento
Europeo, “Understanding algorithmic decision–making: Opportunities and challenges”
(Parlamento Europeo, 2019), a partir del cual se expondrán los casos reales en los que el
empleo de algoritmos de AA ha dado como resultado situaciones que quebrantan los
derechos de los usuarios o discriminan a los sectores más vulnerables de la sociedad.
Asimismo, este estudio realza la importancia de conocer, comprender y dar
cumplimiento a las normativas, para que ningún tipo de factor discriminatorio genere
impacto negativo en la toma de decisiones automatizadas.
4.2.1. Casos relativos a la ausencia de igualdad de trato por razón de género
en el empleo y en la ocupación: LinkedIn y Amazon
La Directiva 2000/78/CE del Consejo, 27 de noviembre de 2000, relativa al
establecimiento de un marco general para la igualdad de trato en el empleo y la
ocupación (en lo sucesivo, Directiva 2000/78/CE) establece un marco general para la
igualdad de trato en el empleo y la ocupación para todas las personas en la Unión Europea
(UE), independientemente de su religión o convicciones, discapacidad, edad u orientación
sexual.
4.2.1.A. Caso LinkedIn
De este modo, la Directiva 2000/78/CE se puede aplicar al caso de LinkedIn17
(2016), en el cual, los algoritmos que dirigían los motores de búsqueda de la plataforma
presentaban sesgos de género, y recomendaban mejores ofertas de trabajo a los hombres
que a las mujeres, aun teniendo el mismo perfil y habilidades (Day, 2016).
17 LinkedIn es una plataforma digital que facilita la conexión con otros perfiles profesionales para establecer relaciones de negocio y trabajo. Para más información véase: https://www.linkedin.com/home
14
Adicionalmente, cuando un usuario buscaba un tipo de perfil profesional (por
ejemplo, CEO, COO, Manager, analista, estudiante en prácticas, …), era habitual que el
motor de búsqueda sugiriera nombres masculinos. Ello se debe a que, en las sociedades
actuales, los puestos de trabajo de alta dirección o aquellos que generan una mayor
remuneración, están ocupados predominantemente por hombres (Turner–Lee, Resnick y
Barton, 2019), y el algoritmo fue entrenado con estos parámetros.
4.2.1.B. Caso Amazon
Otro caso muy señalado es el sesgo de género presente en las herramientas de
contratación empleadas por Amazon. El algoritmo estaba programado para reconocer
patrones de palabras clave presentes en los currículos profesionales de los solicitantes, en
lugar de identificar las habilidades y conocimientos requeridas para cubrir los puestos de
trabajo vacantes.
Como resultado, el algoritmo penalizaba cualquier currículum que contuviera la
palabra "mujer(es)", bien eliminándolo del listado de potenciales candidatos o bien
degradándolo a puestos inferiores a los solicitados. Ello se debe a que el 60% de los
trabajadores eran hombres (en su mayoría blancos), y de los cuales un 75% desempeñaban
cargos gerenciales.
4.2.2. Casos relativos a la prohibición de discriminación por razón de raza:
Google, COMPAS y OASys
Otra normativa internacional que hay que destacar es el Convenio para la
Protección de los Derechos Humanos y las Libertades Fundamentales18. Su artículo
número 14 establece:
“La Prohibición de la discriminación: "El disfrute de los derechos y las
libertades consagradas en la presente Convención se garantizarán sin discriminación
alguna por razón de sexo, raza, color, idioma, religión, opinión política o de otro tipo,
origen nacional o social, asociación con una minoría nacional, propiedad, nacimiento u
otra condición."
18 Convenio para la protección de los Derechos y las Libertades Fundamentales. Artículo 14 [en línea] Unión Europea. Disponible en: https://www.derechoshumanos.net/Convenio–Europeo–de–Derechos–Humanos–CEDH/ [Consulta: 20 Nov 2020].
15
4.2.2.A. Caso Google
El algoritmo de reconocimiento facial de Google (2015) etiquetaba como “gorilas”
a todas aquellas imágenes en las que apareciesen hombres o mujeres de color, debido a
que el algoritmo no era capaz de reconocer la tez oscura. Tras dos años y medio de
cambios, la solución al sesgo se dio por medio de la eliminación de los términos
relacionados con “primates”.
Sin embargo, ello no ofrecía todas las garantías de éxito en los resultados, dado
que el problema radicaba en que el algoritmo había sido entrenado con un conjunto de
datos (población de rostros) poco representativo que no reflejaba los rasgos propios de
cada raza. De esta forma, Google se comprometió a mejorar la precisión en el
reconocimiento de rostros de tez oscura. Paralelamente, tanto los algoritmos diseñados
por IBM como los de Microsoft presentaban el mismo tipo de problema (Blanco, 2018).
4.2.2.B. Caso COMPAS
En la esfera de la justicia penal, uno de los casos que más ha generado
preocupación y donde más se ha cuestionado la fiabilidad de los resultados de los
algoritmos, es el conocido con el nombre de COMPAS (2020)19 (en inglés, Correctional
Offender Management Profiling for Alternative Sanctions).
Este algoritmo es empleado por los tribunales de EE. UU. como parte del informe
de investigación previa a la sentencia (en inglés, PSI) para evaluar la probabilidad de
reincidencia, violencia o falta de comparecencia de un acusado (Lee Park, 2019).
COMPAS puede emplearse a lo largo de todas las fases del proceso penal, como,
por ejemplo: en la fase de arresto puede utilizarse para decidir si se libera o detiene a un
acusado; en la fase de juicio oral, se emplea para determinar la duración de la condena o
la limitación de la fianza; o en la fase de ejecución de la sanción se evalúa la probabilidad
de reincidencia en los casos de concesión de libertad condicional.
19 Anteriormente mencionado en la página número 6 – COMPAS (por sus siglas en inglés, Correctional Offender Management Profiling for Alternative Sanctions) es un algoritmo desarrollado, creado y en propiedad de la empresa privada Northpointe (ahora Equivant) (Lee Park, 2019)
16
La investigación realizada por la empresa ProPublica, Recidivism Risk Score Data
and Analysis, concluyó que los acusados afroamericanos tenían un mayor porcentaje de
probabilidad de ser incorrectamente etiquetados como “grupo de alto riesgo de
reincidencia”. Mientras que, aun teniendo el mismo tipo de perfil criminal, los acusados
blancos tenían un mayor porcentaje de ser incorrectamente etiquetados como “grupo de
bajo riesgo de reincidencia” (ProPublica, 2020) (Anexo #18).
A través del análisis minucioso de los tribunales de justicia del condado de
Broward (Florida), ProPublica consiguió demostrar cómo los algoritmos de COMPAS
etiquetaban incorrectamente a los acusados de color en casi el doble de los casos (Anexo
#18), resultando en una mayor duración de la condena o fijación de cantidades más altas
en las fianzas impuestas a personas de color (McKinsey & Company, 2019).
De esta forma, los algoritmos estaban vulnerando los derechos y libertades de los
acusados, y acentuando los comportamientos racistas y discriminatorios hacia este sector
vulnerable de la población (Turner–Lee, Resnick y Barton, 2019).
4.2.2.C. Caso OASys
La situación del caso anterior no es ajena a los tribunales europeos. Análogamente,
los centros de libertad vigilada y establecimientos penitenciarios de Inglaterra y Gales
también emplean un instrumento de evaluación de los riesgos con componentes
algorítmicos, denominado OASys (en inglés, Offender Assessment System).
OASys tiene un funcionamiento muy similar a COMPAS, combinando tres
indicadores (la reincidencia para cometer delitos no violentos y no sexuales, el riesgo para
cometer delitos violentos, y el riesgo de ser condenado de nuevo) junto con datos estáticos
(demográficos y antecedentes penales) y datos dinámicos (sobre el estilo de vida,
comportamiento y actitudes) (Rovatsos y Mittelstadt, 2019).
De esta forma, se generan puntuaciones de riesgo para: 1) la elaboración de
perfiles criminales; 2) la evaluación para conceder la libertad vigilada en base al riesgo
de reincidencia; 3) la imposición de sentencias condenatorias o absolutorias, y 4) la
determinación del límite de la fianza.
17
OASys no solo presentaba patrones discriminatorios por razón de raza (al igual
que COMPAS), sino también sesgos por razón de género (Rovatsos y Mittelstadt, 2019).
Para este último caso, se comprendió que la validez predictiva del sistema OASys era
más débil para las mujeres que para los hombres, por lo que se decidió modelar por
separado el género de los acusados.
En definitiva, las fuertes críticas que surgen con respecto al empleo de algoritmos
de IA (COMPAS u OASys) en el sistema de justicia penal surgen con la finalidad de
denunciar las decisiones sesgadas del sistema, dado que estas no solo llegan a incidir
significativamente en los derechos y libertades de los acusados (el derecho a una tutela
judicial efectiva, el derecho a un juicio justo, derecho a la dignidad humana y derecho
al honor), sino también en cómo la sociedad los percibe.
4.2.3. Caso relativo al empleo de algoritmos para inducir prácticas
discriminatorias en los usuarios: Sentencia del TJUE
El Reglamento (UE) 2015/2120 Parlamento y el Consejo de la UE, de 25 de
noviembre de 2015, referente a los derechos de los usuarios en relación con las redes y
los servicios de comunicaciones electrónicas (en lo sucesivo, Reglamento 2015/2120)
tiene por objeto establecer:
“Normas comunes destinadas a garantizar un trato equitativo y no
discriminatorio del tráfico en la prestación de servicios de acceso a internet y a
salvaguardar los derechos de los usuarios finales. Su finalidad no es solo proteger a los
usuarios finales, sino garantizar simultáneamente el funcionamiento continuado del
ecosistema de internet como motor de innovación”.
4.2.3.A. Caso Telenor Magyarország (Sentencia del TJUE)
De este modo, el Reglamento 2015/2120 ha sido aplicado por el TJUE en el caso
Telenor Magyarország (15 de septiembre de 2020) el cual sienta las bases que establecen
las reglas de neutralidad de la red en la UE y obligan a las operadoras de
telecomunicaciones a tratar a todo el tráfico de internet por igual (STJUE, caso Telenor
Magyarország, 15 de septiembre de 2020).
18
Pues bien, Telenor Magyarország es una empresa de telecomunicaciones de
origen húngaro que promovía una práctica comercial denominada “tarifa cero”, la cual
facilitaba a sus clientes la utilización de un conjunto muy señalado y determinado de
aplicaciones móviles sin incurrir en ningún coste de datos, aun habiendo agotado el límite
de datos mensual de la tarifa.
De esta forma, Telenor generaba una falsa impresión de mal funcionamiento de
las “otras apps”. Mientras que, aplicaciones como Facebook, Instagram o Twitter
producían una sensación ficticia de rápida navegación (Fuerte, 2020). Pero la realidad era
que Telenor estaba implementando controles de gestión del tráfico de datos, ralentizando
la velocidad de carga de las primeras y dirigiendo el tráfico de datos, a través de
algoritmos, hacia el consumo de las segundas (Anexo #19) (Instituto Federal de
Comunicaciones, 2019).
En otras palabras, a través de una manipulación en la gestión del tráfico de datos
y un empleo malicioso de los algoritmos, se estaba induciendo (de manera indirecta) a
los usuarios a posicionarse a favor de unas aplicaciones y a discriminar a otras.
En este sentido, los algoritmos no contenían patrones sesgados, pero la
finalidad que perseguía implicaba una limitación de los derechos y libertades de los usuarios dentro de la UE, e inducía a prácticas discriminatorias que ponen en tela
de juicio los principios de libre competencia y transparencia del mercado europeo,
e, incluso, pudiendo llegar a cuestionar la solidez de la estrategia para lograr el MUD y
robustez del Reglamento General de Protección de Datos y el Reglamento 2018/1807
(sobre Libre Circulación de Datos No Personales20).
Es por ello, que la sentencia del TJUE suscitó un notable interés por parte del resto
de Estados miembros (República Checa, Alemania, Austria, Países Bajos, Rumanía,
Eslovenia y Finlandia) (STJUE, Caso Telenor Magyarország, 15 de septiembre de 2020).
20 El Reglamento 2018/1807 versa sobre el tratamiento equitativo de los datos no personales que permite la libre circulación carga y descarga de datos no personales dentro de la UE.
19
5. EL NUEVO MARCO NORMATIVO DE LA UE
Como se ha demostrado, los algoritmos AA están más presentes en la sociedad de
lo que se puede observar a simple vista (motores de búsqueda de Google, dictamen de
sentencias en el sistema de justicia penal, selección de nuevas candidaturas para cubrir
puestos de trabajo…), permitiendo automatizar los procesos y aumentar la eficacia de los
servicios en sectores como: banca, seguridad, educación y medicina, entre otros.
Sin embargo, debido al aumento en la complejidad de los modelos y la falta de
transparencia en su funcionamiento (black boxes21) ha provocado que la mayoría de los
usuarios no entiendan cómo funcionan y cómo afectan a sus derechos y libertades
fundamentales (Albinson y Krishna, 2018).
Dicho de otra forma, paradójicamente, a medida que han aumentado los avances en
la IA, también se han intensificado las preocupaciones acerca de los riesgos que ésta
conlleva (incumplimiento normativo, irresponsabilidad legal, uso indebido,
vulneraciones de los derechos y riesgos éticos).
Para la mayoría de las potencias europeas ya no es posible integrar algoritmos y
sistemas de IA sin antes considerar las implicaciones éticas que ésta ataña. De acuerdo
con El Foro Económico Mundial (World Economic Forum) “las tecnologías tienen una
clara dimensión moral”, es decir, la IA refleja los intereses y comportamientos de las
sociedades en las que operan, y, por consiguiente, integra un aspecto fundamental que se
relaciona con los valores, la ética y las normas22.
En esencia, la tecnología ética es una conversación centrada en la relación entre la IA
y los valores humanos, las decisiones que se toman hacia los avances tecnológicos, y los
impactos que éstos pueden tener (Golden y Bannister, 2020).
La noción de tecnología ética es un concepto multifacético que puede abarcar una
amplia variedad de cuestiones: desde la privacidad de los datos y el sesgo en los
algoritmos hasta el compromiso de no manipulación de los datos o respuestas humanas.
21 Anteriormente mencionado en la página número 11. En ocasiones a los algoritmos de aprendizaje automático también se les conoce como algoritmos de cajas negras o black boxes, debido a que las entradas y operaciones no son visibles para los usuarios. En otras palabras, se trata de un sistema de IA bastante hermético que va completamente en contra de la transparencia, dado que el usuario no puede acceder al código del algoritmo para entender su funcionamiento (2020, Qué es Algoritmo de caja negra – Definición y Ejemplos – Arimetrics) 22 2018, Values, Ethics and Innovation Rethinking Technological Development in the Fourth Industrial Revolution – World Economic Forum.
20
Por esta razón, resulta necesario analizar si la legislación actual hace frente a los
riesgos que suscita la IA de manera efectiva, o si, por el contrario, es necesario adaptarla
o promulgar una nueva.
El marco regulador resultante debe ser coherente con los valores y principios de la
UE, así como con las otras disposiciones destinadas a promover la innovación y desarrollo
tecnológico. Y, de este modo acelerar la incorporación de los sistemas inteligentes en las
sociedades europeas, para alcanzar la consecución del MUD (Albinson y Krishna, 2018).
Es por lo que, en los últimos años, la UE ha promulgado un conjunto de normas y
políticas adaptadas a las necesidades que se demandan en la era digital y que garantizan
una IA de confianza, justa y transparente (Falk, 2020) que vela por salvaguardar los
derechos y libertades fundamentales de los individuos (Arias, 2020).
5.1. EL LIBRO BLANCO SOBRE IA
Paralelamente a las normativas y directivas promulgadas por la UE23, la Comisión
tiene el objetivo de constituir una nueva legislación específica sobre IA, tal y como se
marca en la Estrategia Europea de Datos y en los objetivos del MUD.
En abril de 2019, la Comisión inició la puesta en marcha de la creación de un
documento conocido como El Libro Blanco sobre IA de 19 de febrero de 2020 (COM
2020) (en adelante, El Libro o El Libro Blanco), donde se definen las directrices y
políticas para apoyar el triple objetivo de:
Aunar el potencial tecnológico e industrial.
Promover la adopción de la IA en la UE.
Garantizar el respeto por los valores y los derechos fundamentales (como la
dignidad humana y la protección de la privacidad), poniendo a la IA al servicio
de todos los ciudadanos (KPMG Belgium, 2020).
23 El Reglamento General para la Protección de Datos, La Directiva de Responsabilidad de Productos y Servicios, La Ley de Consumo y La Carta de Derechos Fundamentales de la UE, entre otros.
21
Elaborado por el Grupo de Expertos de Alto Nivel sobre la IA (en inglés, High–
Level Expert Group on AI) (en adelante, AI HLEG), El Libro Blanco constituye un paso
sólido hacia la creación de un marco normativo europeo para facilitar el desarrollo seguro
y fiable de la IA en la UE, abordando los riesgos y haciendo frente a los grandes
interrogantes que plantean los sistemas automatizados en relación con la violación de los
derechos fundamentales de privacidad, la protección de datos, y las prácticas de no
discriminación, de seguridad y de responsabilidad (Comisión Europea – Libro Blanco
sobre la Inteligencia Artificial, 2020).
Pues bien, los pilares sobre los que se fundamenta son24:
1. La creación de un ecosistema de excelencia que fomente la innovación,
desarrollo y adopción de tecnologías inteligentes, situando a la UE como un
referente mundial en IA, reclutando a los mejores talentos y atrayendo al capital
extranjero, mediante:
La colaboración entre los sectores público y privado, que garantice el
compromiso entre las administraciones públicas, las grandes empresas y
las PYMES para impulsar la colaboración en el desarrollo de iniciativas
tecnológicas que promuevan el bienestar social, económico y
medioambiental, siendo respaldadas por el Programa Horizonte 2020.
La colaboración entre los Estados miembros y la Comisión por medio
de la creación conjunta de un Plan Coordinado (2021 – 2027) para reducir
la brecha de IA en los diferentes mercados, atraer el talento, y fomentar la
libre circulación de datos (Reglamento de Libre Circulación de Datos No
Personales) dentro de un espacio seguro y protegido frente a las amenazas
y vulneraciones.
El refuerzo de las sinergias entre los diferentes centros de
investigación de IA para armonizar los esfuerzos y alcanzar la excelencia
en materia de investigación, desarrollo e innovación (I+D+I) de soluciones
basadas en una IA responsable y justa.
24 (Comisión Europea – Libro Blanco sobre la Inteligencia Artificial, 2020)
22
Asimismo, la UE quiere dar apoyo a los centros de investigación de IA a
través de la puesta en marcha de prácticas para la administración y
reutilización responsable de los datos científicos de acuerdo con los
Principios FAIR 25 (en inglés – Findable, Accessible, Interoperable, y
Reusable), los cuales constituyen los principios rectores para hacer que los
datos sean fáciles de encontrar, accesibles, interoperables y reutilizables
(Dumontier, 2016).
El acceso seguro a los Datos. Completando las disposiciones presentadas
en la Estrategia Europea de Datos, El Libro Blanco tiene por objeto
mejorar el acceso, optimar la seguridad en el gobierno, estimular nuevas
prácticas de gestión y garantizar la reutilización responsable de los datos,
siendo a su vez respaldados por la Directiva (UE) 2019/1024 del
Parlamento Europeo y del Consejo, de 20 junio de 2019, en materia de
datos abiertos y de la reutilización de la información del sector público.
2. La creación de un ecosistema de confianza que vele por dar cumplimiento a las
normas de la UE y por salvaguardar los derechos fundamentales de los
consumidores y usuarios. La consecución de un ecosistema de confianza solo
podrá alcanzarse cuando las iniciativas de IA adquieran un enfoque
antropocéntrico, y cuando la transparencia en el funcionamiento de los algoritmos
y la claridad en la explicabilidad de las decisiones primen en los procesos
automatizados.
En este sentido, en junio de 2020, el AI HLEG elaboró Las Pautas Éticas para una
IA Confiable (en inglés, Ethics Guidelines for Thrustworthy AI), enumerando Cuatro
Principios Fundamentales para la constitución de una IA ética y fiable, que a su vez se
despliegan en Siete Requerimientos que aseguran el correcto cumplimiento de los cuatro
primeros (Europa.eu – La Comisión continúa su trabajo sobre directrices éticas, 2019)
25 En este sentido, el 15 de marzo de 2016, la revista Scientific Data del Nature Publishing Group definió los Principios FAIR para el manejo y administración de datos científicos fueron formalmente publicados en la revista (2016). Principios rectores FAIR – Revista del Nature Publishing Group.
23
5.1.1. Principios Éticos y Requerimientos para una IA de confianza
1. Principio de Autonomía de la Persona: La colaboración “Humano – Máquina”
debe siempre respetar los principios de libertad y autonomía del individuo. Dicha
interacción ha de contribuir al empoderamiento del hombre mediante el aumento
de sus capacidades cognitivas, sociales y culturales. Y, en ningún caso se
permitirá que los sistemas inteligentes disminuyan, limiten o desvíen la autonomía
individual.
En este sentido, la guía humana y supervisión se constituye como el
requerimiento esencial para el cumplimiento del Principio de Autonomía (Arias,
2020), donde la toma de decisiones haya sido fruto de la voluntad humana, y no
una suplantación de la capacidad decisoria por un sistema de IA. Asimismo, el ser
humano juega un papel fundamental en la supervisión26 de la IA, sobre todo en
aquellas fases cruciales del modelo, desplegando los mecanismos adecuados de
control e inspección (Mujica, 2020).
2. Principio de Prevención del Daño. Los sistemas de IA deben ser seguros para el
entorno en el que operan y deben proteger la integridad física y mental de los
usuarios. De este modo, se exige una IA técnicamente robusta y segura, que sea a
su vez, resistente y resiliente frente a los usos malintencionados y
vulnerabilidades.
Por consiguiente, el Principio de Prevención de Daños persigue garantizar
la correcta operativización y funcionamiento de los sistemas, así como, minimizar
los potenciales riesgos a través de la instauración de un marco para la gestión de
riesgos (Anexo #20), que incluya: planes de contingencia (fall–back plans),
mecanismos de defensa y ataque, y criterios de replicabilidad de datos27 (Albinson
y Krishna, 2018).
26 El ser humano puede supervisoar los procesos de tres maneras diferentes: HITL: Human in the Loop; HOTL: Human on the Loop y HIC: Human in command. 27 La replicabilidad de datos hace referencia a la situación que se da cuando los resultados de los modelos (outputs) son iguales a las entradas (inputs)).
24
Como se explicó en el capítulo 4 del presente trabajo, “un sistema de IA es
tan bueno como lo sean los datos con los que se haya alimentado”. Por lo que
resulta esencial el requerimiento de privacidad y gobernanza del dato a lo largo
de todas las fases del modelo, que permita asegurar la efectiva salvaguarda de los
datos, impidiendo cualquier uso que pueda devenir en una discriminación de las
capacidades o limitación de los derechos de los usuarios (Comisión Europea –
Libro Blanco sobre la Inteligencia Artificial, 2020)
3. Principio de Equidad: consiste en el reparto equitativo de los beneficios y costes
en base a una distribución que no ha sido dada como resultado de sesgos injustos,
discriminación o estigmatización. Para lograr cumplir con el Principio de Equidad,
los requerimientos necesarios son:
Por un lado, los requerimientos de diversidad, no discriminación y
honestidad son esenciales para intentar identificar, en lo posible, los potenciales
riesgos de los datos, así como, en el diseño del propio algoritmo, evitando
prejuicios y discriminaciones.
Adicionalmente, la integración de la diversidad como elemento mitigador
de los sesgos, y la accesibilidad igualitaria para todas las personas con
independencia de su edad, raza, género, o capacidades, permitiría estar un paso
más cerca de alcanzar el Principio de Equidad (Europa.eu – La Comisión continúa
su trabajo sobre directrices éticas, 2019).
Por otro lado, el segundo requerimiento hace referencia al bienestar social
y cuidado del medio ambiente. El riesgo de la IA puede deteriorar las capacidades
no solo de los individuos, sino también de las sociedades (economía, política,
medioambiente…), por lo que hay que extremar las precauciones e identificar los
riesgos potenciales que puedan surgir a lo largo de las fases del modelo
algorítmico.
25
4. Principio de Explicabilidad: las conclusiones de las decisiones automatizadas
deben ser explicables a los efectos de asegurar la confianza en los modelos de IA.
Es decir, este Principio exige entender cómo operan los algoritmos de AA, para
crear modelos transparentes y entendibles para todos los usuarios.
Asimismo, se exige que las decisiones sean debidamente puestas en
conocimiento de aquellas personas que presentan un interés legítimo. De esta
forma, para lograr el cumplimiento del Principio de Explicabilidad, los
requerimientos necesarios son:
La certificación de transparencia en los elementos del modelo (los datos,
código, sistema de aprendizaje…) mediante la correcta documentación, desde la
selección de la muestra de datos hasta la normalización del propio modelo en sí.
La transparencia en el modelo también implica que el proceso y las conclusiones
sean explicables, entendibles y trazables (Arias, 2020).
Y el requerimiento de responsabilidad proactiva (en inglés, accountability)
el cual hace referencia a que el sistema sea auditable (tanto interna como
externamente), que cuente con todos los medios para una efectiva comunicación
de los errores y vulneraciones, que cuente con los mecanismos de compensación
y resarcimiento por los daños ocasionados, y que permita una clara identificación
de las responsabilidades de cada uno de los agentes que participan en el proceso
(Mujica, 2020).
En definitiva, el Libro Blanco establece las pautas para mitigar los sesgos y
diseñar una IA justa, ética y transparente, que permita: impulsar la creación de
un ecosistema de excelencia y de confianza, armonizar los esfuerzos tecnológicos,
proteger los derechos y libertades fundamentales y convertir a la UE en un referente de
datos a nivel global (Turner–Lee, Resnick y Barton, 2019).
26
5.2. EL REGLAMENTO GENERAL DE PROTECCIÓN DE DATOS
El Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo de 27 de
abril de 2016 relativo a la protección de las personas físicas en lo que respecta al
tratamiento de datos personales y a la libre circulación de estos datos (en adelante,
GDPR) busca dar control sobre el tratamiento de los datos personales protegiéndolos
frente a los intereses de terceros, así como, simplificar el entorno jurídico donde operan
las empresas, unificando y homogeneizando la regulación en todo el MUD (Arias, 2020).
El presente documento no pretende realizar un repaso exhaustivo a lo establecido
en el GDPR, pero sí abordar las dudas planteadas en el marco de protección de datos de
carácter personal y señalar los enunciados más relevantes en la relación IA-GDPR para
mitigar los riesgos y crear una IA justa y responsable. Los siguientes enunciados deben
ser tenidos en cuenta a lo largo de todas las fases del modelo (desde el diseño hasta la
implementación de IA) (AEDP, 2020).
5.2.1. Artículo 4 del GDPR
Las decisiones automatizadas de los algoritmos AA pueden emplear los datos que
se extraen a partir de la elaboración de perfiles. El artículo 4 apartado 4 del GDPR lo
define como:
[Artículo 4.4 Elaboración de perfiles
“Toda forma de tratamiento automatizado de datos personales consistente en utilizar datos
personales para evaluar determinados aspectos personales de una persona física, en
particular para analizar o predecir aspectos relativos al rendimiento profesional, situación
económica, salud, preferencias personales, intereses, fiabilidad, comportamiento, ubicación
o movimientos de dicha persona física”.]
Sin embargo, y de forma aclaratoria, hay que tener en cuenta que las decisiones
automatizadas de los algoritmos pueden desarrollarse con o sin elaboración de perfiles;
de la misma manera que la elaboración de perfiles puede darse sin que tengan el fin de
ser utilizados para la toma de decisiones automatizadas.
De tal forma que, si un sistema de IA extrae los datos a partir de la elaboración de
perfiles sobre una persona física o si toma decisiones sobre la misma, tendrá que
someterse al GDPR. Mientras que, en el caso contrario, no será aplicable (AEDP, 2020).
27
5.2.2. Artículo 22 del GDPR
En segundo lugar, el GDPR reconoce la problemática que suscitan los algoritmos de
AA al automatizar las decisiones en base a los datos personales obtenidos mediante la
elaboración de perfiles (Arias, 2020).
En particular, sus Considerandos 71 y 72, así como el artículo 22 (apartado 1)
advierten de la prohibición de que haya algoritmos de decisión automáticos (ADS) que
tengan por objeto la elaboración de perfiles sin que haya intervención humana cuando
éstos produzcan efectos jurídicos en él o que les afecte significativamente.
[Artículo 22 Decisiones individuales automatizadas, incluida la elaboración de perfiles
1. Todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el
tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos
en él o le afecte significativamente de modo similar].
(Reglamento (UE) 2016/679 Del Parlamento Europeo y del Consejo de 27 de abril de
2016 relativo a la protección de las personas físicas en lo que respecta al tratamiento de
datos personales y a la libre circulación de estos datos).
La prohibición que se menciona en esta disposición legal hace referencia a que las
decisiones son tomadas en exclusiva por los algoritmos de AA, no habiendo noción del
Principio de Autonomía de la Persona ni signos de intervención humana a lo largo del
proceso.
El artículo 22 evita el riesgo exigiendo la intervención humana (Principio de
Autonomía, guía humana y supervisión) en aquellas decisiones que puedan afectar de
manera más significativa a los individuos.
Por este motivo, es necesario resaltar que dicha intervención no puede ser fingida o
simulada a fin de evitar la prohibición. Por ejemplo, un operador aplica directamente, sin
criterio ni autoridad, aquello que ha concluido el algoritmo de AA. Por lo que, para que
prime el Principio de Autonomía, el sujeto debe entender cuál es el problema que se
plantea, tomar la mejor decisión basada en los datos, y confirmarla o refutarla con las
conclusiones resultantes del algoritmo.
28
Del mismo modo, el apartado 1 hace mención a “los efectos jurídicos”, los cuales
aluden no solo al impacto en los derechos y libertades de una persona – la libertad de
culto, derecho al voto electoral, derecho a ejercitar acciones legales civiles y penales, etc.
– sino también a aquellos elementos que forman parte de la vida y entorno de un individuo,
por ejemplo:
Autorizar o denegar a una persona un determinado beneficio económico o crédito
bancario mediante la elaboración de perfiles crediticios por los algoritmos.
Ser víctima de un aumento en las prácticas de vigilancia por parte de los
organismos competentes de seguridad mediante el análisis de patrones de
conductas sospechosas en una zona cercana a la que el sujeto reside.
Por otro lado, los apartados 2 y 3 del mismo artículo exponen las excepciones a la
prohibición marcada por el apartado 1, habiendo un numerus clausus de situaciones que
habilitan la toma de decisiones automática sin intervención humana.
[Artículo 22 Decisiones individuales automatizadas, incluida la elaboración de perfiles
2. El apartado 1 no se aplicará si la decisión:
a) es necesaria para la celebración o la ejecución de un contrato entre los
interesados.
b) está autorizada por la Unión Europea o alguno de los Estados miembros que
se aplique al responsable del tratamiento y que establezca asimismo medidas
adecuadas para salvaguardar los derechos y libertades y los intereses legítimos
del interesado, o
c) se basa en el consentimiento explícito del sujeto interesado.
3. En los casos a que se refiere el apartado 2, letras a) y c), el responsable del tratamiento
adoptará las medidas adecuadas para salvaguardar los derechos y libertades y los
intereses legítimos del interesado, como mínimo el derecho a obtener intervención
humana por parte del responsable, a expresar su punto de vista y a impugnar la decisión].
(Reglamento (UE) 2016/679 Del Parlamento Europeo y del Consejo de 27 de abril de
2016 relativo a la protección de las personas físicas en lo que respecta al tratamiento de
datos personales y a la libre circulación de estos datos).
29
Algunos ejemplos que sostienen estas situaciones son que:
El proveedor del servicio considere que la decisión automatizada es necesaria para
la correcta celebración y ejecución del contrato, eliminando el abuso de poder que
pueda ejercer una de las partes.
El modelo ayude a ejecutar los procesos decisorios de una manera más ágil y
efectiva.
La intervención humana sea simplemente imposible (análisis masivo de datos –
Big Data – o incremento de la velocidad de procesamiento).
En definitiva, para garantizar el correcto cumplimiento de la ley, las partes deben
justificar siempre las razones por las cuales no se puede utilizar un modelo menos
intrusivo, y presentar los argumentos que justifican que la falta de autonomía individual
no va a limitar o a vulnerar los derechos de ninguno de los usuarios o de terceros.
5.2.3. GDRP en relación con LOPDGDD y el Principio de Explicabilidad y
de Transparencia
Como se explicó en el capítulo 4, tanto los datos con los que entrena el modelo como
el funcionamiento y conclusiones del algoritmo pueden presentar una falta de
explicabilidad y de transparencia (black box). Para mitigar estos riesgos que entrañan los
algoritmos AA, el Libro Blanco (capítulo 5.1.1) enunciaba Cuatro Principios Éticos para
desarrollar una IA fiable y ética.
De entre ellos, el Principio de Explicabilidad (junto con el requerimiento de
transparencia) conecta el GDPR con La Ley Orgánica 3/2018, de 5 de diciembre, de
Protección de Datos Personales y garantía de los derechos digitales (en lo sucesivo,
LOPDGDD) (Iberley, 2018), de la siguiente forma:
1. Los Considerandos 39, 58 y 78, así como los artículos 12, 13 y 14 del GDPR.
“El principio de transparencia exige que toda información y comunicación relativa al
tratamiento de dichos datos sea fácilmente accesible y fácil de entender, y que se utilice
un lenguaje sencillo y claro.”
(Reglamento (UE) 2016/679 Del Parlamento Europeo y del Consejo de 27 de
abril de 2016 relativo a la protección de las personas físicas en lo que respecta al
tratamiento de datos personales y a la libre circulación de estos datos.)
30
2. El Título III, Artículo 11 apartado 1 de la LOPDGDD hace referencia al Principio
de Transparencia e información al afectado.
“Cuando los datos personales sean obtenidos del afectado el responsable del tratamiento
podrá dar cumplimiento al deber de información establecido en el artículo 13 del
Reglamento (UE) 2016/679 facilitando al afectado la información básica a la que se
refiere el apartado siguiente e indicándole una dirección electrónica u otro medio que
permita acceder de forma sencilla e inmediata a la restante información.”
(Art 11, LOPDGDD 3/2018, de 5 de diciembre)
5.3. LA RESOLUCIÓN PARA LA PROTECCIÓN LOS CONSUMIDORES.
La UE no solo se enfrenta al reto de crear un ecosistema armónico de excelencia y de
confianza desplegado en todo el territorio europeo, sino que también tiene el gran desafío
de lograr que los consumidores lleguen a percibir el incremento en su bienestar y las
mejoras en la protección de sus derechos que derivan de la puesta en práctica del nuevo
marco normativo (Parlamento Europeo – Los Riesgos para los consumidores, 2020).
En este sentido, la Asociación Europea de Consumidores (en adelante, BEUC) sabe
valorar el increíble potencial innovador que ofrecen la automatización de los procesos
decisorios, contribuyendo, entre otros, al crecimiento económico, optimizando el
rendimiento de los procesos y creando productos y servicios tecnológicos a disposición
de todas las personas.
Pero también es consciente de los riesgos a los que se enfrentan los consumidores
cada vez que interactúan con un sistema de decisión automatizada. Es por lo que, la
BEUC reclamó al Parlamento Europeo (en adelante, PE) y a la Comisión la creación de
una regulación de carácter vinculante para resolver los desafíos derivados del rápido
desarrollo de la IA y la toma automatizada de decisiones, con especial hincapié en la
protección de los consumidores (Parlamento Europeo – Procesos automatizados de toma
de decisiones, 2019).
31
Por un lado, a través del Libro Blanco y Las Pautas para desarrollar una IA fiable
desarrollados por el AI HLEG y la Comisión, se busca inculcar los Cuatro Principios
Éticos para desarrollar una IA justa y responsable que vele por la protección de los
derechos de los consumidores y usuarios mediante el empleo de conjuntos de datos no
sesgados y de calidad.
Mientras que por otro, además de promulgar el GDPR y el Reglamento para la Libre
Circulación de Datos no Personales, el PE entendió la necesidad de cubrir el vacío legal
planteado por el BEUC, elaborando la “Resolución del Parlamento Europeo, de 12 de
febrero de 2020, sobre los procesos automatizados de toma de decisiones para garantizar
la protección de los consumidores y la libre circulación de bienes y servicios
(2019/2915(RSP))” (en adelante, la Resolución), con el objeto de velar por la protección
de los consumidores y mitigar los posibles riesgos que puedan surgir a partir de las
interacciones con los sistemas de IA que integren algoritmos de decisión automatizada
(ADS).
Los considerandos a destacar de la Resolución son los siguientes28:
Considerando D: “La toma de decisiones automatizada debe brindar un nivel elevado
de protección de los consumidores, tal y como exige el artículo 38 de la Carta de los
Derechos Fundamentales de la Unión Europea.”
Considerando 1: […] “Se debe informar debidamente a los consumidores cuando estén
interactuando con un sistema que automatice la toma de decisiones,” […] “y se les
informará de cómo pueden verificar y corregir las decisiones del sistema.”
o Los consumidores deben tener la capacidad de poder revocar las
decisiones en todo momento, aun siendo éstas definitivas y
permanentes (Abogacía, 2020).
Considerando 2: […] “Se impone a los comerciantes la obligación de informar a los
consumidores cuando los precios de los bienes o servicios se hayan personalizado
basándose en la toma de decisiones automatizada y la elaboración de perfiles del
comportamiento de los consumidores.”
28 Resolución del Parlamento Europeo, de 12 de febrero de 2020, sobre los procesos automatizados de toma de decisiones: garantizar la protección de los consumidores y la libre circulación de bienes y servicios (2019/2915(RSP)).
32
o La UE quiere garantizar que las decisiones automatizadas no persigan
discriminar a los consumidores mediante la elaboración de perfiles.
Por esta razón, la Resolución quiere mitigar los potenciales riesgos de
opacidad a través de prácticas que promuevan la transparencia y
mejoren la comunicación con los consumidores.
Adicionalmente, la Resolución persigue un segundo objetivo, que es el de promover la
libre circulación en todo el MUD de aquellos productos y servicios que posean
capacidades de automatización, siempre y cuando éstos cumplan con las disposiciones de
las normativas europeas y no generen amenazas para los consumidores y usuarios.
Considerando 6: “Subraya que el marco de seguridad de los productos en la
Unión impone a las empresas la obligación de garantizar que únicamente se
comercializan productos de IA seguros y conformes.”
33
6. CONCLUSIONES
Tras una labor de investigación y un análisis minucioso de los problemas que entrañan
los sistemas de IA en la nueva Era Digital, los sesgos en los algoritmos presentan una
nueva polémica en torno al impacto y consecuencias que éstos puedan generar sobre la
vida de las personas.
Como se ha venido exponiendo, los patrones discriminatorios arraigados en la
sociedad son riesgos que se trasladan a las muestras de datos y que condicionan los
resultados de los modelos algorítmicos.
Pero, además, el aumento en la complejidad de los modelos (que hacen más opacos
los procesos y las conclusiones) puede ocasionar un agravamiento o perpetuación de los
efectos negativos que la IA pueda ocasionar, limitando o quebrantando seriamente los
derechos y libertades fundamentales, e, incluso, poniendo en tela de juicio los beneficios
que ésta ofrece.
Es por lo que, este trabajo busca también reconocer la gran labor desempeñada por la
UE para poner sobre la mesa unas guías y unas pautas proactivas de mitigación de sesgos,
con el fin de construir un ecosistema de excelencia y de confianza mediante el desarrollo
de una IA ética, responsable y justa, cimentada en la transparencia de los datos y en los
cuatro Principios Éticos (Principio de Autonomía, Prevención de Daños, Equidad y
Explicabilidad).
De hecho, la misión de la UE es muy clara en este sentido. Tanto el Consejo, la
Comisión y el PE están aunando fuerzas para diseñar una Estrategia Europea de Datos
vigorizada por una estructura de gobernanza sobre IA en forma de un nuevo marco
legislativo común adaptado a la evolución tecnológica y a las necesidades que se
demandan en las sociedades digitales.
Considero que la UE, los estados y las personas (físicas y jurídicas) deben trabajar
conjuntamente para seguir labrando y desarrollando estas líneas de actuación responsable
y ayudar a instaurar un marco normativo sólido que, por un lado, unifique y armonice las
prácticas de Derecho sobre IA en todo el territorio europeo, a fin de evitar la
fragmentación de responsabilidades y afianzar la protección de los derechos y libertades;
y por otro lado, aproxime y aumente las capacidades en I+D+I de los Estados miembros.
34
Coincido en que la IA es una tecnología con un gran potencial social, económico y
tecnológico, que ofrece innumerables ventajas y beneficios (aumento en el bienestar,
optimización de los procesos, lucha contra el cambio climático…).
Pero he de añadir, que dicho potencial solo podrá alcanzarse cuando la IA adquiera
un carácter antropocéntrico, situando al hombre en el centro de las iniciativas y
respetando sus derechos y libertades fundamentales. En otras palabras, la IA debe
diseñarse para estar al servicio de las personas y ser un motor de crecimiento para la
sociedad.
En definitiva, esta visión aspira a convertir a la UE en el líder y el referente global de
productos y servicios de IA que integren datos de calidad y no sesgados, y cuyas
decisiones automatizadas velen por la protección de los derechos de los ciudadanos.
Tratando de acercar esta visión al territorio español, el pasado 2 de diciembre, se daba
a conocer la nueva Estrategia Nacional de Inteligencia Artificial (ENIA) fruto de una
comisión interministerial coordinada entre el Ministerio de Asuntos Económicos y
Transformación Digital y la Secretaría de Estado de Digitalización e Inteligencia
Artificial del Gobierno de España.
ENIA viene justo a destacar lo expuesto en este trabajo de investigación: 1) alinear
las políticas nacionales con las directivas y reglamentos europeos destinados a fomentar
el desarrollo y el uso de IA en España; 2) diseñar un marco ético y jurídico que refuerce
los mecanismos para la protección de los derechos y libertades, y 3) incentivar la
inversión e investigación en tecnologías y aplicaciones de IA, de forma que se produzca
un impacto significativo en la sociedad y la economía española.
En pocas palabras, el camino emprendido tanto por la UE como por los Estados
miembros para mitigar los sesgos en los algoritmos y desarrollar una IA ética y justa no
ha hecho más que empezar. Es esencial seguir trabajando para crear una base sólida que
ayude a avanzar dando pasos con confianza y seguridad.
I
7. BIBLIOGRAFÍA
[1] Abogacía (2020) Inteligencia Artificial y protección a los consumidores. [blog] Abogacia.es. Disponible en: https://www.abogacia.es/publicaciones/blogs/blog-de-derecho-de-los-los-consumidores/inteligencia-artificial-y-proteccion-a-los-consumidores-ultimo-informe-del-parlamento-europeo/ [Consulta: 1 Dic 2020].
[2] AEDP (2020). Adecuación al RGPD de tratamientos que incorporan Inteligencia
Artificial. [en línea] AEDP – Agencia Española de Protección de Datos. Disponible en: https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf [Consulta: 29 Nov 2020].
[3] AI4EU.eu (2019) Sobre el Proyecto AI4EU. [en línea] Disponible en: https://www.ai4eu.eu/about–project [Consulta: 31 Oct 2020].
[4] AI4EU.eu (2020) EU Challenges for an AI Human–Centric Approach. [en línea] Disponible en: https://www.ai4eu.eu/news/eu–challenges–ai–human–centric–approach–lessons–learnt–ecai–2020 [Consulta: 31 Oct 2020].
[5] Albinson, N. y Krishna, D. (2018) How CDOs can manage algorithmic risks. [en
línea] Deloitte.com. Disponible en: https://www2.deloitte.com/us/en/insights/industry/public–sector/chief–data–officer–government–playbook/how–cdos–can–manage–algorithmic–risks–and–data–ethics.html [Consulta: 26 Nov 2020].
[6] APD (2019) ¿Cuáles son los tipos de algoritmos del machine learning? [en línea]
Disponible en: https://www.apd.es/algoritmos–del–machine–learning/ [Consulta: 12 Nov 2020].
[7] Aprende Machine Learning (2017) Principales Algoritmos usados en Machine
Learning. [en línea] Disponible en: .
[8] Arias, M.H. (2020) El Sesgo en los algoritmos de decisión automáticos. [en línea].
Disponible en: https://mharias.com/2020/01/25/el–sesgo–en–los–algoritmos–de–decision–automaticos/ [Consulta: 26 Nov 2020].
[9] Arias, M.H. (2020) El Sesgo en los algoritmos de decisión automáticos. [en línea]
Disponible en: https://mharias.com/2020/01/25/el–sesgo–en–los–algoritmos–de–decision–automaticos/ [Consulta: 18 Nov 2020].
[10] Avancedigital.gob (2019) Libre Circulación De Datos No Personales En La Unión Europea. [en línea] Disponible en: <https://avancedigital.gob.es/es–es/Servicios/Paginas/libre–circulacion–datos.aspx> [Consulta: 26 Oct 2020].
II
[11] Azure.Microsoft (2020) Algoritmos De Aprendizaje Automático. Microsoft Azure
[en línea] Disponible en: <https://azure.microsoft.com/es–es/overview/machine–learning–algorithms/> [Consulta: 16 Oct 2020].
[12] Azure.Microsoft (n.d.). Algoritmos de aprendizaje automático | Microsoft Azure.
[en línea] Disponible en: https://azure.microsoft.com/es–es/overview/machine–learning–algorithms/ [Consulta: 22 Nov 2020].
[13] Bahrke, J. y Manoury, C. (2020) Coronavirus: Portal De Interoperabilidad De La UE Para Las Aplicaciones De Rastreo De Contactos Y Alerta: Preguntas Y Respuestas. [en línea] La Comisión Europea. Disponible en: <https://ec.europa.eu/commission/presscorner/detail/es/qanda_20_1905#apps> [Consulta: 20 Oct 2020].
[14] Bansal, R. (2017) What are different models in machine learning? [en línea] Quoro.com. Disponible en: https://www.quora.com/What–are–different–models–in–machine–learning [Consulta: 13 Nov 2020].
[15] Blanco, E. (2018) ¿Qué es Machine Bias?: Los sesgos en Machine Learning. [en
línea] telefónica. Disponible en: https://empresas.blogthinkbig.com/que–es–machine–bias–los–sesgos–en/ [Consulta: 17 Nov 2020].
[16] Buenadicha, C. y Galdon, G. (2020) La Gestión Ética De Los Datos. [en línea] BID. Disponible en: <https://www.ospi.es/export/sites/ospi/documents/documentos/Gobierno–Abierto/BID_La_Gestion_Etica_de_los_Datos.pdf> [Consulta: 17 Oct 2020].
[17] Chow, C. (2020) AI: Nuevos Mundos de Federated Hermes International. [en línea] Disponible en: <https://www.hermes–investment.com/be/insight/outcomes/ai–brave–new–worlds/> [Consulta: 18 Oct 2020].
[18] Comisión Europea (2020) Excelencia Y Confianza En La Inteligencia Artificial.
[en línea] Disponible en: https://ec.europa.eu/info/strategy/priorities–2019–2024/europe–fit–digital–age/excellence–trust–artificial–intelligence_es> [Consulta: 11 Oct 2020].
[19] Dans, E. (2019) El machine learning y sus sesgos. [en línea] EnriqueDans.com.
Available at: https://www.enriquedans.com/2019/11/el–machine–learning–y–sus–sesgos.html [Consulta: 15 Nov 2020].
[20] Datacatchup (2019) The difference between Artificial Intelligence, Machine Learning and Deep Learning. [en línea] Available at: https://datacatchup.com/artificial–intelligence–machine–learning–and–deep–learning/ [Accessed 14 Nov 2020].
III
[21] Day, M. (2016) How LinkedIn’s search engine may reflect a gender bias. [en línea]
The Seattle Times. Disponible en: https://www.seattletimes.com/business/microsoft/how–linkedins–search–engine–may–reflect–a–bias/ [Consulta: 18 Nov 2020].
[22] Directiva 2000/78/CE del Consejo, 27 de noviembre de 2000, relativa al
establecimiento de un marco general para la igualdad de trato en el empleo y la ocupación. Diario Oficial de la Unión Europea, núm. L303, de 2 de diciembre de 2000.
[23] Dumontier, M. (2016) Los Principios Rectores FAIR para la gestión y
administración de datos científicos. [en línea] Nature.com. Disponible en: https://www.nature.com/articles/sdata201618 [Consulta: 27 Nov 2020].
[24] El Derecho (2020) Estrategias de la Comisión Europea en relación con los datos y la inteligencia artificial [en línea] Disponible en: <https://elderecho.com/estrategias–la–comision–europea–relacion–los–datos–la–inteligencia–artificial> [Consulta: 24 Oct 2020].
[25] Enfoque Derecho (2019) “El Sesgo Algorítmico y la Protección de Datos Personales.” [en línea] Disponible en: https://www.enfoquederecho.com/2019/11/07/el–sesgo–algoritmico–y–la–proteccion–de–datos–personales/ [Consulta: 11 Oct 2020].
[26] España. La Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos
Personales y garantía de los derechos digitales. Boletín Oficial del Estado, 6 de diciembre 2018, núm. 294, pp 19788 a 119857
[27] Europa.eu (2019) Inteligencia artificial: La Comisión continúa su trabajo sobre
directrices éticas [en línea] Disponible en: https://ec.europa.eu/commission/presscorner/detail/es/IP_19_1893 [Consulta: 27 Nov 2020].
[28] Falk, B. (2020) How can building trust in AI accelerate your transformation? [en
línea] EY.com. Disponible en: https://www.ey.com/en_gl/ai/how–can–building–trust–in–ai–accelerate–your–transformation [Consulta: 26 Nov 2020].
[29] Forohistorico.coit (2018) Marvin Minsky. [en línea] Disponible en:
<https://forohistorico.coit.es/index.php/personajes/personajes–internacionales/item/minsky> [Consulta: 10 Oct 2020].
IV
[30] Fuerte, M. (2020) Urge explicar al Tribunal de Justicia de la Unión Europea el principio de neutralidad de la Red. [en línea] Diario La Ley. Disponible en: https://diariolaley.laleynext.es/dll/2020/10/30/hoy–en–nuestra–portada–lo–mas–destacado–del–especial–diario–la–ley–union–europea–n–85–octubre–2020 [Consulta: 22 Nov 2020].
[31] Golden, D. y Bannister, C. (2020) Ethical technology and trust. [en línea]
Deloitte.com. Disponible en: https://www2.deloitte.com/us/en/insights/focus/tech–trends/2020/ethical–technology–and–brand–trust.html [Consulta: 26 Nov 2020].
[32] Graph Everywhere (2019) Inteligencia Artificial y ML, qué son y en qué se
diferencian. [en línea]. Disponible en: https://www.grapheverywhere.com/inteligencia–artificial–y–ml–que–son–y–en–que–se–diferencian/ [Consulta: 11 Nov 2020].
[33] Grasso, C. (2017) Explicación del aprendizaje automático: los algoritmos son tus
amigos. [blog] Dataiku.com. Disponible en: https://blog.dataiku.com/machine–learning–explained–algorithms–are–your–friend [Consulta: 13 Nov 2020].
[34] Hao, K. (2019) Cómo se produce el sesgo algorítmico y por qué es tan difícil
detenerlo. [en línea] MIT Technology Review. Disponible en: https://www.technologyreview.es/s/10924/como–se–produce–el–sesgo–algoritmico–y–por–que–es–tan–dificil–detenerlo [Consulta: 17 Nov 2020].
[35] Iberdrola (2019) Descubre los principales beneficios del “Machine
Learning.” [en línea] Disponible en: https://www.iberdrola.com/innovacion/machine–learning–aprendizaje–automatico [Consulta: 12 Nov 2020].
[36] Iberley (2018) Principio de transparencia en el RGPD y en la LOPDGDD. [en
línea] www.iberley.es. Disponible en: https://www.iberley.es/temas/principio-transparencia-rgpd-lopdgdd-62721 [Consulta: 29 Nov 2020]
[37] Instituto Federal de Comunicaciones (2019). Estudio: Neutralidad de Red. [en
línea] Disponible en: http://www.ift.org.mx/sites/default/files/industria/temasrelevantes/13791/documentos/3estudiosobreneutralidaddered.pdf [Consulta: 22 Nov 2020].
V
[38] Knight, W. (2017) Google advierte: el verdadero peligro de la IA no son los robots asesinos sino los algoritmos sesgados. [en línea] MIT Technology Review. Disponible en: https://www.technologyreview.es/s/9610/google–advierte–el–verdadero–peligro–de–la–ia–no–son–los–robots–asesinos–sino–los–algoritmos [Consulta: 23 Nov 2020].
[39] KPMG Belgium (2020). EU strategic plan on Data and AI. [en línea] Disponible en: https://home.kpmg/be/en/home/insights/2020/02/ta–eu–strategic–plan–on–data–and–ai.html [Consulta: 27 Nov 2020].
[40] La Comisión Europea (2019) Horizonte Europa: El Próximo Programa de Inversión en Investigación e Innovación de la UE. [en línea] Disponible en: https://ec.europa.eu/info/sites/info/files/research_and_innovation/strategy_on_research_and_innovation/presentations/horizon_europe_es_invertir_para_dar_forma_a_nuestro_futuro.pdf [Consulta: 30 Oct 2020].
[41] La Comisión Europea (2020) Catálogo de la Unión Europea – Estrategia Europea de Datos. [en línea] Disponible en: https://ec.europa.eu/commission/presscorner/detail/en/fs_20_283 [Consulta: 26 Oct 2020].
[42] La Comisión Europea (2020) Dar forma al futuro digital de Europa: la Comisión
presenta sus estrategias en relación con los datos y la inteligencia artificial. [en línea] Disponible en: <https://ec.europa.eu/commission/presscorner/detail/es/ip_20_273> [Consulta: 26 Oct 2020].
[43] La Comisión Europea (2020) A European Strategy for Data. [en línea] Disponible
en: <https://ec.europa.eu/info/sites/info/files/communication–european–strategy–data–19feb2020_en.pdf> [Consulta: 24 Oct 2020].
[44] La Comisión Europea (2020) Configurar el futuro digital de Europa. [en línea]
Disponible en: https://ec.europa.eu/info/strategy/priorities–2019–2024/europe–fit–digital–age/shaping–europe–digital–future_es [Consulta: 26 Oct 2020].
[45] La Comisión Europea (2020) Libro Blanco sobre la Inteligencia Artificial. [en
línea] Disponible en: https://ec.europa.eu/info/sites/info/files/commission–white–paper–artificial–intelligence–feb2020_es.pdf [Consulta: 27 Nov 2020].
[46] Lee Park, A. (2019) Injustice Ex Machina: Predictive Algorithms in Criminal
Sentencing. UCLA Law Review, [en línea] Disponible en: <https://www.uclalawreview.org/injustice–ex–machina–predictive–algorithms–in–criminal–sentencing/> [Consulta: 17 Oct 2020].
VI
[47] LUCA (n.d.) Data Transparency Lab (DTL): transparencia y protección de datos. [en línea] Disponible en: https://luca–d3.com/es/data–for–good/data–transparency–lab [Consulta: 22 Nov 2020].
[48] Martínez, B. (2020) ¿Cómo Pueden Los Algoritmos Matemáticos Y La IA Ayudarnos A Mejorar La Productividad? [blog] Ivc.es. Disponible en: <https://www.ivc.es/blog/como–pueden–los–algoritmos–matem%C3%A1ticos–y–la–ia–ayudarnos–a–mejorar–la–productividad> [Consulta: 16 Oct 2020].
[49] MasterCard Social Newsroom (2020) Mastercard Lanza Una Solución Con Inteligencia Artificial Para Mejorar La Seguridad Y Conveniencia De Los Pagos Electrónicos. [en línea] Disponible en: <https://newsroom.mastercard.com/eu/es/press–releases/mastercard–lanza–una–solucion–con–inteligencia–artificial–para–mejorar–la–seguridad–y–conveniencia–de–los–pagos–electronicos/> [Consulta: 18 Oct 2020].
[50] McKinsey & Company (2018) An executive’s guide to AI. [en línea] Disponible
en: https://www.mckinsey.com/business–functions/mckinsey–analytics/our–insights/an–executives–guide–to–ai. [Consulta: 11 Nov 2020].
[51] McKinsey & Company (2019) McKinsey & Co – Tackling bias in artificial
intelligence (and in humans). [en línea] Disponible en: https://www.mckinsey.com/featured–insights/artificial–intelligence/tackling–bias–in–artificial–intelligence–and–in–humans. [Consulta: 21 Nov 2020].
[52] Merino, M. (2019) La inteligencia artificial nos ayuda a tomar decisiones
difíciles, pero tendemos a permitir (y preferir) que decida por nosotros. [en línea] Xataka. Disponible en: https://www.xataka.com/inteligencia–artificial/inteligencia–artificial–nos–ayuda–a–tomar–decisiones–dificiles–tendemos–a–permitir–preferir–que–decida–nosotros [Consulta: 23 Nov 2020].
[53] Mujica, P (2020) Las 7 normas europeas para desarrollar una Inteligencia
Artificial fiable. [en línea] IANETICA. Disponible en: https://ianetica.com/las–7–normas–europeas–para–desarrollar–una–inteligencia–artificial–fiable/ [Consulta: 27 Nov 2020].
[54] Murphy, T. y Garg, S. (2019) Ethical technology use in the Fourth Industrial
Revolution. [en línea] Deloitte. Disponible en: https://www2.deloitte.com/content/dam/insights/us/articles/6275_Ethical–technology/DI_Ethical–technology–use–in–the–Fourth–Industrial–Revolution.pdf [Consulta: 10 Nov 2020].
VII
[55] Nieves, J. (2014) Un ordenador pasa por primera vez el test de Turing y convence a los jueces de que es humano. ABC, [en línea] Disponible en: https://www.abc.es/ciencia/20140609/abci–superordenador–supera–primera–test–201406091139.html?ref=https:%2F%2Fwww.google.com%2F [Consulta: 19 Oct 2020].
[56] Ortiz, J. (2020) Aplicaciones del Machine Learning. [en línea] Joanybel Ortiz. Disponible en: http://www.joanybelortiz.com/aplicaciones–machine–learning–ejemplos/ [Consulta: 14 Nov 2020].
[57] Parlamento Europeo (2019) Understanding algorithmic decision–making:
Opportunities and challenges. [en línea] europarl.europa.eu Disponible en: https://www.europarl.europa.eu/RegData/etudes/STUD/2019/624261/EPRS_STU(2019)624261_EN.pdf [Consulta: 17 Nov 2020].
[58] Parlamento Europeo (2019) Procesos automatizados de toma de decisiones:
garantizar la protección de los consumidores y la libre circulación de bienes y servicios. [en línea] www.europarl.europa.eu. Disponible en:https://www.europarl.europa.eu/doceo/document/O-9-2020-000008_ES.html [Consulta: 1 Dic 2020].
[59] Parlamento Europeo (2020) Inteligencia Artificial: PE apuesta por un uso justo y
seguro para los consumidores. [en línea] Disponible en: https://www.europarl.europa.eu/news/es/press–room/20200206IPR72015/el–pe–apuesta–por–un–uso–justo–y–seguro–para–los–consumidores [Consulta: 10 Oct 2020].
[60] Parlamento Europeo (2020) Artificial Intelligence and Civil Liability. [en línea]
Disponible en: https://www.europarl.europa.eu/RegData/etudes/STUD/2020/621926/IPOL_STU(2020)621926_EN.pdf.
[61] Parlamento Europeo (2020). Inteligencia Artificial: Abordar los Riesgos para Los
consumidores. [en línea] www.europarl.europa.eu. Disponible en: https://www.europarl.europa.eu/news/es/headlines/society/20200206STO72030/inteligencia-artificial-abordar-los-riesgos-para-los-consumidores. [Consulta: 1 Dic 2020].
[62] Philbeck, T. (2018) Values, Ethics and Innovation Rethinking Technological
Development in the Fourth Industrial Revolution. [en línea] World Economic Forum. Disponible en: http://www3.weforum.org/docs/WEF_WP_Values_Ethics_Innovation_2018.pdf [Consulta: 26 Nov 2020].
VIII
[63] Profesional Review (2019) Deep Learning: ¿Qué es y cómo se relaciona con el Machine Learning? [en línea] Disponible en: https://www.profesionalreview.com/2019/08/24/deep–learning–que–es–y–como–se–relaciona–con–el–machine–learning/ [Consulta: 14 Nov 2020].
[64] ProPublica Data Store (2020) COMPAS Recidivism Risk Score Data and Analysis.
[en línea] Disponible en: https://www.propublica.org/datastore/dataset/compas–recidivism–risk–score–data–and–analysis. [Consulta: 18 Nov 2020].
[65] Recuero, P. (2017) Tipos de aprendizaje en Machine Learning: supervisado y no
supervisado. [en línea] Telefónica. Disponible en: https://empresas.blogthinkbig.com/que–algoritmo–elegir–en–ml–aprendizaje/ [Consulta: 12 Nov 2020].
[66] Reglamento (UE) 2015/2120 del Parlamento Europeo y del Consejo Europeo, de 25 de noviembre de 2015, en relación con el acceso a una internet abierta. Diario Oficial de la Unión Europea, núm. L310/1
[67] Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos. Diario Oficial de la Unión Europea, núm. L119/1
[68] Reglamento (UE)2018/1807 del Parlamento Europeo y del Consejo de 14 de
noviembre de 2018 para favorecer la libre circulación de datos no personales en la UE. Diario Oficial de la Unión Europea, núm. L303/59
[69] Reinsel, D., Gantz, J. y Rydning, J. (2018) The Digitization of the World from
Edge to Core. [en línea] IDC. Disponible en: https://www.seagate.com/files/www–content/our–story/trends/files/idc–seagate–dataage–whitepaper.pdf.
[70] Resolución del Parlamento Europeo, de 12 de febrero de 2020, sobre los procesos automatizados de toma de decisiones: garantizar la protección de los consumidores y la libre circulación de bienes y servicios (2019/2915(RSP)).
[71] Revista del Nature Publishing Group (2016) Principios rectores FAIR. [blog].
Disponible en: https://blog.scielo.org/es/2016/03/16/principios–rectores–fair–publicados–en–una–revista–del–nature–publishing–group/#.X8Pu7GhKg2w [Consulta: 27 Nov 2020].
IX
[72] Rodriguez, E., (2018) Cuatro Ejemplos de Cómo La Inteligencia Artificial Está Transformando Al Sector Financiero. [blog] Cobis Partnerts. Disponible en: <https://blog.cobiscorp.com/inteligencia–artificial–sector–financiero> [Consulta: 18 Oct 2020].
[73] Romero, J. y Dafonte, C. (2014) Inteligencia Artificial Y Computación Avanzada.
Fundación Afredo Brañas. [en línea] Disponible en: <https://cdv.dei.uc.pt/wp–content/uploads/2014/03/ms07.pdf> [Consulta: 17 Oct 2020].
[74] Rovatsos, M. y Mittelstadt, B. (2019) Landscape Summary: Bias in Algorithmic
Decision–Making [en línea] Center of Data, Ethics and Innovation. Disponible en: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/819055/Landscape_Summary_–_Bias_in_Algorithmic_Decision–Making.pdf [Consulta: 22 Nov 2020].
[75] Schofield, J. (2014) Computer Chatbot 'Eugene Goostman' Passes The Turing Test | Zdnet. [en línea] ZDNet. Disponible en: <https://www.zdnet.com/article/computer–chatbot–eugene–goostman–passes–the–turing–test/#:~:text=)%20%7C%20Topic%3A%20Innovation–,A%20computer%20program%20that%20pretends%20to%20be%20a%2013%2Dyear,a%20five%2Dminute%20typed%20conversation.&text=Eugene%20Goostman's%20success%20was%20not%20a%20surprise.> [Consulta: 9 Oct 2020].
[76] Scimago Journal & Country Rank (2020) Ranking de los países que están a la
vanguardia en IA en el 2019. [en línea] Available at: https://www.scimagojr.com/countryrank.php?category=1702&year=2019 [Accessed 24 Oct. 2020].
[77] ServiGuide (2020) Horizonte Europa, El Nuevo Programa Marco de Innovación.
[en línea] Disponible en: https://www.serviguide.com/horizonte–europa/ [Consulta: 30 Oct 2020].
[78] Simeone, O. (2018) A Very Brief Introduction to Machine Learning With
Applications to Communication Systems. [en línea]. Disponible en: https://arxiv.org/pdf/1808.02342.pdf.
[79] SmartPanel (2020) ¿Qué es el Deep Learning? [en línea] Disponible en:
https://www.smartpanel.com/que–es–deep–learning/ [Consulta: 14 Nov 2020].
[80] Tribunal de Justicia de la Unión Europea. Caso Telenor Magyarország – Asunto
C–807/18. Sentencia de 15 de septiembre de 2020.
X
[81] Turing, A. (1950) Computing Machinery and Intelligence. [en línea] Disponible en: <https://www.csee.umbc.edu/courses/471/papers/turing.pdf> [Consulta: 10 Oct 2020].
[82] Turner–Lee, N., Resnick, P. y Barton, G. (2019) Algorithmic bias detection and
mitigation: Best practices and policies to reduce consumer harms. [en línea] Brookings. Disponible en: https://www.brookings.edu/research/algorithmic–bias–detection–and–mitigation–best–practices–and–policies–to–reduce–consumer–harms/.
[83] Wikipedia.org (2020) Alan M. Turing. [en línea] Disponible en:
<https://es.wikipedia.org/wiki/Alan_Turing> [Consulta: 10 Oct 2020]. [84] Wikipedia.org (2020) John McCarthy. [en línea] Disponible en:
<https://es.wikipedia.org/wiki/John_McCarthy > [Consulta: 10 Oct 2020]. [85] Xeridia (2019) Redes Neuronales artificiales: Qué son y cómo se entrenan. [blog]
Disponible en: https://www.xeridia.com/blog/redes–neuronales–artificiales–que–son–y–como–se–entrenan–parte–i. [Consulta: 15 Nov 2020].
XI
8. ANEXO Anexo #1: línea temporal de la evolución de la IA (página 2)
Fuente: Chow y Hermes, (2020), informes de prensa, a agosto de 2019
https://www.hermes-investment.com/be/insight/outcomes/ai-brave-new-worlds/
Anexo #2: IV Revolución Industrial (página 3)
Fuente: Martinez, (2020), ¿Como Pueden Los Algoritmos Matemáticos Y La IA Ayudarnos A Mejorar la
Productividad?
https://www.ivc.es/blog/como–pueden–los–algoritmos–matem%C3%A1ticos–y–la–ia–ayudarnos–a–mejorar–la–
productividad
XII
Anexo #3: Evolución de los Estados miembros en competitividad digital (página 5)
Fuente: DESI – UE, (2020)
https://ec.europa.eu/digital–single–market/en/digital–economy–and–society–index–desi
XIII
Anexo #4: Ranking de las potencias mundiales en desarrollo de IA para el año 2019 (página 5).
Ranking de las potencias globales en el desarrollo e inversión de IA
Fuente: 2020, Ranking de los países del mundo que están a la vanguardia en IA en el año 2019
https://www.scimagojr.com/countryrank.php?category=1702&year=2019
Ranking #1: China (23.074 documentos)
Ranking #2: Estados Unidos (11.993 documentos)
Ranking #3: Unión Europea (Suma de Alemania, Italia, Francia y España hacen un total de 9.121;
Y si añadimos Reino Unido, 12.805 documentos)
XIV
Ranking de las potencias europeas en el desarrollo e inversión de IA
Fuente: 2020, Ranking de los países del mundo que están a la vanguardia en IA en el año 2019
https://www.scimagojr.com/countryrank.php?category=1702&year=2019®ion=EU–28
Anexo #5: Volumen global de Datos expresado en zettabytes (página 6).
Fuente: (2020). Catálogo de la Unión Europea Estrategia Europea de Datos. Https://ec.europa.eu/commission/presscorner/detail/en/fs_20_283
XV
Anexo #6: Objetivos y Prepuesto del Proyecto Horizonte Europa (página 8).
Fuente: 2019, Horizonte Europa: El Próximo Programa de Inversión en Investigación e Innovación de la UE
https://ec.europa.eu/info/sites/info/files/research_and_innovation/strategy_on_research_and_innovation/presentatio
ns/horizon_europe_es_invertir_para_dar_forma_a_nuestro_futuro.pdf
Anexo #7: Diferenciación entre Inteligencia Artificial, Machine Learning y Deep Learning (página 10)
Fuente: (2019) The difference between Artificial Intelligence, Machine Learning and Deep Learning.
https://datacatchup.com/artificial–intelligence–machine–learning–and–deep–learning/
XVI
Anexo #8: Métodos de entrenamiento para el Aprendizaje Automático (página 10)
Fuente amazonaws.com
https://wordstream–files–prod.s3.amazonaws.com/s3fs–public/styles/simple_image/public/images/machine–
learning1.png?SnePeroHk5B9yZaLY7peFkULrfW8Gtaf&itok=yjEJbEKD
A. Aprendizaje Supervisado: En los algoritmos de aprendizaje supervisado, el operador asigna un conjunto de datos etiquetados
(data labeling), que incluye las entradas y salidas que se quieren obtener. De tal forma, que los operadores emplean este método de aprendizaje cuando ya saben de antemano cuál es el resultado que quieren obtener, y el algoritmo solo debe identificar los patrones en los datos para establecer la relación entre los datos de entrada y salida, aprender de las observaciones y hacer predicciones. En base a los resultados, el operador los corrige y ajusta hasta que el algoritmo adquiere una mayor precisión en los resultados y un mejor rendimiento del proceso.
El aprendizaje supervisado suele utilizarse para resolver problemas de clasificación (como, por ejemplo, detección de fraudes, filtros de spam en correos electrónicos o clasificación de imágenes en captchas) o en problemas de regresión (como, por ejemplo, predicciones meteorológicas, estimaciones de mercado o predicciones de crecimiento poblacional) (Recuero, 2017)
B. Aprendizaje no supervisado: A diferencia de los algoritmos de aprendizaje supervisado, éstos no cuentan con datos
etiquetados o instrucciones previas debido a que el operador no sabe cuál debe ser el resultado, sino que es el propio algoritmo quien determina las correlaciones entre los datos proporcionados. A medida que evalúan y establecen las relaciones, su capacidad de aprendizaje y toma de decisiones se vuelve más precisa y efectiva. (2019, ¿Cuáles son los tipos de algoritmos del machine learning?)
Se suelen emplear por ejemplo para resolver tareas de clustering (Recuero, 2017) (identificar grupos de datos que presenten similitudes, por ejemplo, en marketing se utilizan para analizar patrones en los datos que se extraen de las redes sociales, y así crear campañas de publicidad segmentadas) (2019, Descubre los principales beneficios del “Machine Learning.”)
C. Aprendizaje por refuerzo: El algoritmo de aprendizaje por refuerzo adquiere su conocimiento a través de un ensayo de prueba – error, es decir, el algoritmo basa su aprendizaje en la monitorización de los resultados previamente obtenidos y en la interacción con el mundo real (experiencias), para adaptar su enfoque en cada una de las respuestas, y así, lograr el mejor resultado posible. (Simone, 2018).
Los algoritmos de aprendizaje reforzado se emplean en soluciones de reconocimiento facial, clasificaciones de ADN o sistemas de autoconducción en vehículos (el vehículo monitoriza cada experiencia y las documenta, aprendiendo a mantenerse en el carril, respetar el límite de velocidad, reconocer objetos en la calzada…) (2019, Descubre los principales beneficios del “Machine Learning”) (azure.microsoft.com., n.d.)
XVII
Anexo #9: Los tipos de Algoritmos ML más utilizados (página 10)
Fuente: azure.microsoft.com. (n.d.)
ttps://azure.microsoft.com/es–es/overview/machine–learning–algorithms/#popular–algorithms
https://blog.dataiku.com/machine–learning–explained–algorithms–are–your–friend
Existen 12 tipos de algoritmos de aprendizaje automático. Estos 9 son los más populares. Para más información véase:
(2017) Dataiku: Machine Learning Explained: Algorithms Are Your Friend
(2017). Principales Algoritmos usados en Machine Learning
(2019, Algoritmos de Machine Learning | Conoce cuáles son sus potencialidades)
XVIII
Anexo #10: Modelos de ML (página 10)
Fuente: (Bansal,2017) https://www.quora.com/What–are–different–models–in–machine–learning
Los 12 tipos de algoritmos de ML
Por cada uno de los algoritmos
de ML surgen diferentes
Modelos de ML variando en su
proceso de entrenamiento de
datos y su a finalidad.
XIX
Anexo #11: Diferencias entre Machine Learning vs. Deep Learning (página 11)
Fuente: bluehexagon.ai https://www.merkleinc.com/blog/dispelling–myths–deep–learning–vs–machine–learning
Fuente: luehexagon.ai
https://www.merkleinc.com/blog/dispelling–myths–deep–learning–vs–machine–learning
Fuente: (2019) McKinsey – An Executives guide to AI https://www.mckinsey.com/business–functions/mckinsey–analytics/our–insights/an–executives–guide–to–ai
Los modelos de ML tradicionales emplean operadores en cada una de las fases del proceso, resultando en un proceso largo y costoso.
Los modelos de DL aprenden de las relaciones existentes entre los grupos de datos, lo cual permite escalar los resultados de forma más rápida y eficiente, mejorando el rendimiento y la ejecución de los procesos
Ren
dim
ient
o y
Ejec
ució
n
de lo
s pro
ceso
s
XX
Anexo #12: Redes Neuronales Artificiales de Deep Learning (página 11)
Fuente: (2019, Profesional Review)
https://www.profesionalreview.com/2019/08/24/deep–learning–que–es–y–como–se–relaciona–con–el–machine–
learning/
Fuente: (2019, Xeridia)
https://www.xeridia.com/blog/redes–neuronales–artificiales–que–son–y–como–se–entrenan–parte–i
El conjunto de los datos de entradas (inputs) multiplicados por sus pesos (asociados con anterioridad) dan como resultado un valor. Este valor es recibido y procesado por cada una de las capas que configuran la red neuronal artificial (“mediante una función de activación”), para finalmente obtener una respuesta de salida equivalente a una conclusión ajustada a la realidad.
XXI
Anexo #13: Funcionamiento de las Capas de las Redes Neuronales Artificiales de Deep Learning (página 11).
Fuente: (2020). ¿Qué es el Deep Learning?
https://www.smartpanel.com/que–es–deep–learning/
Al igual que el cerebro humano tiene redes neuronales que procesan los estímulos que reciben del mundo exterior, transmiten la información a través de impulsos nerviosos y lo devuelven en forma de acción, las redes neuronales artificiales funcionan de manera muy similar. Una red neuronal artificial está compuesta por varias capas de neuronas, cuyas entradas (inputs) provienen de las salidas (outputs) de la capa anterior (salvo que se trate de la primera, cuya información proviene de los conjuntos de datos introducidos en el modelo).
- Capa de entrada: se trata de la primera capa que conforma la red y recibe como entrada los conjuntos de datos con los que entrena el modelo.
- Capa oculta: son las capas intermedias cuyas funciones son las más complejas de entender, porque el operador desconoce cuáles son los datos de entrada y cuáles serán los de salida.
- Capa de salida: se trata de la última capa de la red neuronal encargada de ejecutar el resultado
Por ejemplo, queremos que el sistema de IA identifique perros cualquier imagen. Para ello entrenamos un modelo de DL que use redes neuronales artificiales. Para que el modelo pueda proceder a una correcta identificación, es necesario que se dote al modelo de un gran número de imágenes de perros (etiquetadas como “1”), pero también de imágenes que no son perros (etiquetadas como “0”).
- La primera capa (capa de entradas) se encargará de asimilar la información introducida y ajustar los parámetros de todas las imágenes.
- Posteriormente, las capas ocultas procesarán los pixeles de las imágenes (delimitando los bordes), para después diseñar las formas y combinarlas, para formar objetos. Son en están capas ocultas cuando se identifican las características que ayudan a reconocer si los objetos de la imagen constituyen un perro (4 patas, una cola, cuerpo horizontal…)
- Por último, se le entregan todos los fragmentos a la capa de salida, la cual resuelve el problema propuesto y ofrece una solución (Sí es un perro; o no es un perro)
Capa de Entrada Capa Oculta Capa de Salida
XXII
Anexo #14: Sátira cómica que refleja cómo los operadores deciden alterar los datos en los Modelos de ML, para el caso de no haber obtenido los resultados esperados (página 11).
Fuente: (Dans, 2019)
https://www.enriquedans.com/2019/11/el–machine–learning–y–sus–sesgos.html
TRADUCCIÓN AL CASTELLANO
A: ¿Es este tu Modelo de ML?
B: SIP! Solo tienes que volcar los datos esta
montaña de algebra linear, después
recolectas la respuesta.
A: ¿Qué pasa si las respuestas son
incorrectas?
B: Solo remueve un poco el conjunto de A B
XXIII
Anexo #15: Momentos en los que se pueden introducir sesgos en los algoritmos (página 12)
Fuente: Elaboración Propia Para más consultas véase: https://deloitte.wsj.com/cio/2017/10/25/managing–algorithmic–
risks/https://www2.deloitte.com/us/en/pages/regulatory/articles/ai–ethics–responsible–ai–governance.html
1
4
5
3
2
XXIV
Anexo #16: Ejemplos de riesgos causados por la automatización de decisiones de los algoritmos en los diferentes aspectos de la vida de una persona (página 12)
Fuente: (2019). Parlamento Europeo – Understanding algorithmic decision–making: Opportunities and challenges.
Página 19 https://www.europarl.europa.eu/RegData/etudes/STUD/2019/624261/EPRS_STU(2019)624261_EN.pdf
XXV
Anexo #17: Tipos de sesgos en los algoritmos (página 12)
Fuente: Elaboración Propia Para más consultas véase:
https://revista.une.org/11/la–eliminacion–de–los–sesgos–en–los–algoritmos.html
https://searchenterpriseai.techtarget.com/definition/machine–learning–bias–algorithm–bias–or–AI–bias
Anexo #18: COMPAS – Distribución de reclusos por raza y riesgo (página 16)
Fuente: Arias (2020).
https://mharias.com/2020/01/25/el–sesgo–en–los–algoritmos–de–decision–automaticos/
XXVI
Anexo #19: Gestión del tráfico de datos mediante el empleo de algoritmos (página 18)
Fuente: (2019). Estudio: Neutralidad de Red
http://www.ift.org.mx/sites/default/files/industria/temasrelevantes/13791/documentos/3estudiosobreneutralidaddered.
Anexo #20: Marco para la Gestión de Riesgos de la IA (página 23)
Fuente: Albinson y Krishna (2018).
https://www2.deloitte.com/us/en/insights/industry/public–sector/chief–data–officer–government–playbook/how–
cdos–can–manage–algorithmic–risks–and–data–ethics.html
Este esquema muestra dos redes de datos, una congestionada (izquierda), y otra descongestionada (derecha) gracias al empleo de algoritmos que redirigen, impiden o habilitan el flujo de los datos en las redes (por ejemplo, Internet).