Son innumerables los sectores y actividades donde se están empleando sistemas de inteligencia artificial que, gracias al procesamiento y combinación de ingentes cantidades de datos personales y no personales, pueden decidir de forma automatizada y con cierto grado de autonomía, por ejemplo, quién merece ser destinatario de un crédito o de una ayuda pública, quién es apto para un determinado puesto de trabajo, quién puede acceder a un centro educativo, o qué probabilidades de reincidencia tiene un preso. Aunque los beneficios que conlleva esta tecnología son indiscutibles, en ocasiones se ven ensombrecidos por los riesgos que implica y que pasan desapercibidos para los ciudadanos. Además de amenazas a la intimidad o a la protección de datos personales, uno de los mayores peligros del uso de estos sistemas es la adopción de decisiones sesgadas y discriminatorias que lleven a reproducir, amplificar y consolidar estereotipos y desigualdades contra las que se lleva siglos luchando. De hecho, la perpetuación de patrones históricos de discriminación ha sido tenida en cuenta en el reciente Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial, para clasificar los sistemas inteligentes dentro de uno u otro nivel de riesgo. La presente monografía aborda los potenciales riesgos y daños al derecho a la igualdad de trato y no discriminación derivados del uso de sistemas de inteligencia artificial en la toma de decisiones. Se estudia, entre otras cuestiones, el concepto y las características de la discriminación algorítmica, las causas que pueden provocarla, los desafíos que plantea y las medidas que pueden adoptarse para hacerles frente. Todo ello mediante el análisis de la legislación sobre igualdad y no discriminación, sobre protección de datos y sobre inteligencia artificial, así como de otras soluciones propuestas desde el ámbito ético y tecnológico para prevenir los riesgos y reparar los daños que este fenómeno puede ocasionar.
- Cover
- Title page
- Copyright page
- Índice
- Capítulo I. El impacto social de los algoritmos y los sistemas de Inteligencia Artificial en la toma de decisiones
- 1. Introducción y delimitación del objeto de estudio
- 2. Aproximación a algunos «conceptos clave»: inteligencia artificial, toma automatizada de decisiones, machine learning, algoritmos y datos
- 2.1. Inteligencia artificial: concepto, características y categorías
- 2.1.1. Concepto
- 2.1.2. Características de los sistemas de IA
- 2.1.3. Categorías de IA
- 2.2. Toma de decisiones automatizadas e inteligencia artificial: ¿distintas denominaciones de un mismo fenómeno?
- 2.2.1. Decisiones plenamente automatizadas y decisiones semiautomatizadas
- 2.3. Machine learning: concepto, tipos, elementos y características
- 2.3.1. Concepto y tipos de machine learning
- 2.3.2. Elementos del machine learning: algoritmos y datos
- 2.3.2.1. Algoritmos
- 2.3.2.2. Datos
- 2.3.3. Características de los sistemas de machine learning
- Capítulo II. La discriminación algorítmica a grupos vulnerables
- 1. Ventajas y riesgos del uso de sistemas de ia para la toma de decisiones
- 1.1. La discriminación algorítmica como uno de los principales riesgos de las decisiones de los sistemas de IA
- 1.2.1. Particular referencia a tres casos de discriminación algorítmica de gran repercusión que han llegado a los tribunales
- 1.2.1.1. Compas
- 1.2.1.2. SyRi
- 1.2.1.3. Frank
- 2. La discriminación algorítmica: concepto, características, tipos y causas
- 2.1. El derecho a la igualdad de trato y la prohibición de discriminación: concepto y reconocimiento legal
- 2.2. Tipos de discriminación
- 2.2.1. Discriminación directa e indirecta
- 2.2.2. Discriminación por asociación, por error, múltiple e interseccional
- 2.3. El fenómeno denominado «discriminación algorítmica»
- 2.3.1. Concepto de discriminación algorítmica
- 2.3.2. Discriminación algorítmica y sesgo algorítmico
- 2.3.3. La discriminación algorítmica como discriminación indirecta
- 3. Causas por las que se puede producir la discriminación algorítmica
- 3.1. Consideraciones previas
- 3.2. Factores que pueden motivar la discriminación de los sistemas de IA
- 3.2.1. El factor humano
- 3.2.1.1. En el diseño del algoritmo o la selección de los datos
- 3.2.1.2. En la interpretación de los resultados y en el uso del sistema
- 3.2.2. Los conjuntos de datos
- 3.2.3. Las correlaciones o inferencias derivadas del aprendizaje del sistema
- Capítulo III. Principales desafíos que plantea la discriminación algorítmica
- 1. Introducción
- 2. Primer obstáculo: detectar la discriminación
- 2.1. Consideraciones previas sobre la opacidad algorítmica
- 2.2. Transparencia algorítmica y explicabilidad
- 2.3. Opacidad sobre el uso de sistemas algorítmicos de toma de decisiones y sobre el contenido de los algoritmos
- 2.4. Opacidad jurídica y técnica del algoritmo
- 2.4.1. La opacidad jurídica
- 2.4.1.1. Sobre el código fuente
- 2.4.1.2. Sobre los datos de entrenamiento
- 2.4.2. La opacidad técnica o consustancial al algoritmo
- 2.5. Medidas para hacer frente a los problemas de opacidad algorítmica en la toma de decisiones a través de sistemas de IA
- 2.5.1. Estado de la cuestión
- 2.5.2. El Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, de protección de datos (RGPD)
- 2.5.2.1. Exégesis del art.22 RGPD
- 2.5.3. Otras normativas adoptadas a nivel europeo previas al Reglamento (UE) 2024/1689 (RIA)
- 2.5.4. El Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024 por el que se establecen normas armonizadas en materia de inteligencia artificial
- 2.5.4.1. Obligaciones de transparencia y comunicación de información
- 2.5.4.2. Derecho a una explicación
- 2.5.5. Medidas adoptadas a nivel interno
- 2.5.5.1. Derecho privado español
- 2.5.5.2. Derecho público español
- 2.5.6. Pronunciamientos judiciales y de órganos administrativos en materia de transparencia y acceso a la información algorítmica
- 2.5.6.1. Dos casos paradigmáticos (y antagónicos) sobre transparencia algorítmica en el sector público: el caso SyRi y el caso Bosco.
- 2.5.7. Otras propuestas para hacer frente a la opacidad algorítmica
- 2.6. Consideraciones finales sobre la necesidad de transparencia y explicabilidad para detectar la discriminación algorítmica
- 3. Segundo obstáculo: probar la discriminación y su causa
- 3.1. La carga de la prueba de la discriminación y el estándar de prueba
- 3.1.1. Consideraciones preliminares
- 3.1.2. La prueba de la discriminación
- 3.1.3. Los indicios en el ámbito de la discriminación algorítmica
- 3.1.4. Justificación de la discriminación algorítmica
- 3.2. Breve explicación de la problemática que presenta la fijación del nexo causal en el caso de los daños ocasionados por sistemas de IA: la dificultad de su prueba y los mecanismos para mitigarla
- 4. Tercer obstáculo: determinar los sujetos responsables
- 4.1. Problemas encontrados para la atribución de responsabilidad
- 4.2. Consideraciones a tener en cuenta sobre la atribución de responsabilidad
- Capítulo IV. Medidas para hacer frente a los problemas que plantea la discriminación algorítmica (I): la prevención del daño
- 1. Introducción: abordando los riesgos de la ia de forma integral e interdisciplinar
- 2. Análisis de las principales normas jurídicas dirigidas a prevenir la discriminación algorítmica y los daños que de ella puedan derivar
- 2.1. El Reglamento de Inteligencia Artificial (RIA): regulando desde un enfoque preventivo
- 2.1.1. El riesgo de discriminación de los sistemas en el RIA
- 2.1.2. Breve referencia a los modelos de IA de uso general
- 2.1.3. Los sistemas de alto riesgo en el RIA
- 2.1.3.1. Concepto de sistema de alto riesgo
- 2.1.3.2. Requisitos de los sistemas de alto riesgo
- 2.1.3.3. Especial referencia a los requisitos relativos a los conjuntos de datos
- 2.1.3.4. Las obligaciones de los sujetos de la cadena de valor
- 2.2. El Convenio Marco del Consejo de Europa sobre Inteligencia Artificial, Derechos Humanos, Democracia y Estado de Derecho
- 2.3. Las medidas de prevención del daño en el RGPD
- 2.3.1. Las carencias del RGPD para luchar contra la discriminación algorítmica
- 2.4. Las medidas preventivas recogidas en el Derecho antidiscriminatorio
- 3. El papel de la ética y la tecnología en la prevención de la discriminación algorítmica
- 3.1. Soluciones desde el punto de vista de la ética algorítmica
- 3.1.1. Formación y educación de las personas que trabajan con sistemas de IA
- 3.1.2. Composición heterogénea de los equipos que diseñan y auditan los algoritmos
- 3.2. Soluciones que pueden adoptarse desde el ámbito tecnológico
- 3.2.1. Estrategias para evitar sesgos en los conjuntos de datos
- 3.2.2. Algoritmos para detectar, mitigar y corregir sesgos de otros algoritmos
- 4. Reflexión final sobre las medidas preventivas para evitar la discriminación algorítmica
- Capítulo V. Medidas para hacer frente a los problemas que plantea la discriminación algorítmica (II): los daños derivados de la discriminación y su reparación
- 1. Las principales propuestas de las instituciones europeas para superar los retos que la ia plantea en el ámbito de la responsabilidad civil
- 1.1. Introducción
- 1.2. La Propuesta de Reglamento anexa a la Resolución del Parlamento Europeo sobre responsabilidad civil, de 20 de octubre de 2020
- 1.2.1. Ámbito de aplicación
- 1.2.2. Régimen de responsabilidad civil
- 1.2.2.1. Sujetos responsables
- 1.2.2.2. Criterio de imputación de la responsabilidad
- 1.2.2.3. Causas de exoneración de la responsabilidad
- 1.3. Las dos propuestas de Directivas en materia de responsabilidad civil de la Comisión Europea, de 28 de septiembre de 2022
- 1.3.1. Su conexión con el RIA
- 1.3.2. Relación entre ambas
- 1.3.3. Análisis de la Propuesta de Directiva relativa a la adaptación de las normas de responsabilidad civil extracontractual a la inteligencia artificial
- 1.3.3.1. Líneas generales y principales novedades
- 1.3.3.2. Ámbito de aplicación
- 1.3.3.3. Criterio de imputación de la responsabilidad y sujetos responsables
- 1.3.3.4. Medidas para aliviar la carga probatoria
- 2. Los daños en el escenario de la ia y los mecanismos para su reparación
- 2.1. El daño como elemento indispensable de la responsabilidad civil: ¿novedades respecto a los daños derivados del uso de la IA?
- 2.1.1. Daños indemnizables en la Propuesta de Reglamento del PE de 20 de octubre de 2020, en la Propuesta de Directiva de la CE de 28 de septiembre de 2022 sobre responsabilidad civil en materia de IA y en la Directiva 2024/2853 sobre responsabilidad por productos defectuosos: especial referencia al daño moral
- 2.2. En particular, los daños derivados de la discriminación
- 2.2.1. La presunción del art. 27 de la Ley 15/2022 integral de igualdad
- 2.2.2. El daño moral presunto y su valoración
- 3. Mecanismos de reparación de los daños derivados de la discriminación algorítmica
- 3.1. La indemnización por daños y perjuicios causados por la discriminación: ¿límites indemnizatorios?
- 3.1.1. La importancia de las acciones colectivas en la lucha contra la discriminación algorítmica
- 3.1.2. Compatibilidad con la acción de responsabilidad del art. 82 RGPD
- 3.2. Nulidad de pleno derecho
- 3.3. Acción de cesación de la conducta discriminatoria
- Bibliografía
Text
Audio
Adobe DRM
Login to your account