La Unión Europea ha dado un paso significativo en la regulación de la Inteligencia Artificial (IA) al aprobar el 8 de diciembre de 2023, una legislación que pretende abordar las problemáticas de su implementación. El nuevo reglamento, diseñado para garantizar la ética y la transparencia en el desarrollo y despliegue de sistemas de IA, representa un hito clave en el esfuerzo continuo por equilibrar la innovación tecnológica con la protección de los derechos fundamentales y la seguridad. Sin embargo, existen diversas posturas y opiniones frente a este trabajo, tan precipitado, debido al desconocimiento de los límites y progresos futuros de la tecnología. Después de revisar el reglamento aprobado por la UE, disponible en https://www.consilium.europa.eu/es/press/press-releases/2023/12/09/artificial-intelligence-act-council-and-parliament-strike-a-deal-on-the-first-worldwide-rules-for-ai/ se encuentran los siguientes puntos destacados:

Definición de Áreas de Alto Riesgo: La normativa identifica específicamente áreas de alto riesgo, donde la implementación de sistemas de IA podría tener impactos significativos. Entre las áreas más destacables figuran:

• Salud Pública: Aplicaciones de IA en dispositivos médicos y sistemas de diagnóstico con implicaciones directas en la salud humana.
  
  • Diagnósticos erróneos: La interpretación incorrecta de datos por parte de sistemas de IA podría conducir a diagnósticos médicos erróneos, comprometiendo la salud de los pacientes.
  • Privacidad del paciente: La recopilación y el manejo inadecuado de datos médicos sensibles podrían resultar en violaciones de la privacidad del paciente, generando preocupaciones éticas y legales.
  • Equidad en la atención médica: Algoritmos de IA mal entrenados podrían introducir sesgos, afectando la equidad en el acceso a servicios médicos y la calidad de la atención según diferentes grupos demográficos.
  • Riesgos para la seguridad cibernética: La conectividad de los dispositivos médicos impulsados por IA podría exponerlos a riesgos de seguridad cibernética, lo que podría resultar en accesos no autorizados o manipulación de datos médicos.
  • Dependencia excesiva en la tecnología: La confianza ciega en los sistemas de IA para la toma de decisiones médicas podría conducir a una dependencia excesiva, descuidando la experiencia y el juicio clínico humano.
  • Ética en la investigación y desarrollo: Problemas éticos pueden surgir durante la investigación y desarrollo de aplicaciones de IA en el ámbito de la salud, especialmente en términos de consentimiento informado y transparencia en la recopilación de datos.
  • Acceso desigual a la tecnología: Puede haber desafíos en garantizar que la tecnología de IA en el ámbito de la salud esté disponible y sea accesible de manera equitativa, evitando disparidades en la atención médica.
    
• Educación: Implementación de sistemas de tutoría y evaluación educativa que afectan al proceso de aprendizaje y desarrollo de los individuos.
  
  • Sesgo en la evaluación: Algoritmos de IA utilizados en la evaluación de estudiantes pueden contener sesgos inherentes, lo que podría afectar la equidad y precisión de las calificaciones, especialmente en relación con variables como género, raza o nivel socioeconómico.
  • Falta de transparencia: La opacidad en los algoritmos de toma de decisiones puede generar falta de comprensión sobre cómo se toman ciertas decisiones educativas, lo que afecta la confianza de los estudiantes, padres y educadores en el sistema.
  • Personalización excesiva: La personalización extrema de la enseñanza basada en algoritmos podría llevar a una falta de diversidad en la adquisición de habilidades y conocimientos, limitando la exposición a diferentes perspectivas y enfoques educativos.
  • Acceso desigual a recursos: La implementación de tecnologías de IA en entornos educativos podría ampliar la brecha digital y resultar en un acceso desigual a recursos educativos, especialmente para comunidades marginadas o con recursos limitados.
  • Privacidad del estudiante: La recopilación masiva de datos estudiantiles para alimentar sistemas de IA plantea preocupaciones sobre la privacidad, especialmente si no se implementan medidas adecuadas para proteger la información personal de los estudiantes.
  • Desplazamiento laboral: La automatización de ciertas tareas educativas podría tener implicaciones laborales, desplazando a profesionales de la educación y planteando preguntas sobre cómo la IA puede complementar, en lugar de reemplazar, a los educadores.
  • Desafíos éticos en el aprendizaje de máquinas: La utilización de técnicas avanzadas de aprendizaje automático en la toma de decisiones educativas puede plantear desafíos éticos relacionados con la interpretación de resultados y la responsabilidad en caso de decisiones erróneas.
  • Desconexión humana: La dependencia excesiva de la tecnología podría resultar en la pérdida de la conexión humana en el proceso educativo, lo que es esencial para el desarrollo integral de los estudiantes.
    
• Empleo y Recursos Humanos: Utilización de algoritmos de IA en procesos de selección y evaluación de personal.
  
  • Discriminación en la selección de personal: Algoritmos de IA utilizados en procesos de reclutamiento y selección de personal pueden heredar sesgos presentes en los datos de entrenamiento, lo que podría llevar a discriminación injusta en función de características como género, raza o edad.
  • Falta de diversidad en los modelos de IA: La falta de diversidad en los conjuntos de datos de entrenamiento puede resultar en modelos de IA que no son representativos de la población en general, afectando la equidad en el acceso a oportunidades laborales.
  • Opacidad en la toma de decisiones: La falta de transparencia en los algoritmos utilizados en la toma de decisiones laborales puede generar desconfianza y dificultar la comprensión de cómo se llega a tomar determinadas decisiones.
  • Privacidad del empleado: La recopilación y análisis masivo de datos de empleados para la toma de decisiones basada en IA plantea preocupaciones sobre la privacidad de los trabajadores, especialmente en lo que respecta a información sensible y comportamientos personales.
  • Desplazamiento laboral: La automatización de tareas rutinarias a través de la IA puede tener implicaciones en el empleo, llevando al desplazamiento de trabajadores en roles tradicionales y planteando la necesidad de reentrenamiento y adaptación laboral.
  • Evaluación de desempeño sesgada: Algoritmos utilizados para evaluar el desempeño de los empleados pueden contener sesgos inherentes, afectando la equidad en la asignación de recompensas y oportunidades de desarrollo.
  • Falta de control humano: La dependencia excesiva de la IA en la toma de decisiones laborales podría resultar en una pérdida de control humano, generando preocupaciones sobre la responsabilidad y ética en el entorno laboral.
  • Impacto en la experiencia del empleado: La introducción de la IA en la gestión de recursos humanos podría afectar la experiencia general de los empleados, ya sea a través de la percepción de injusticia en las decisiones automatizadas o cambios en la dinámica laboral.
    
• Sistemas de Identificación y Evaluación de Individuos: Desarrollo de tecnologías de reconocimiento facial y sistemas de puntuación social que impactan en la privacidad y la libertad individual.
  
  • Sesgo en la identificación: Los algoritmos de identificación basados en IA pueden heredar sesgos presentes en los datos de entrenamiento, lo que lleva a identificaciones incorrectas o discriminación basada en características como género, raza o edad.
  • Falta de precisión en la evaluación: Los sistemas de evaluación de individuos pueden ser propensos a errores, lo que podría resultar en decisiones incorrectas o injustas, especialmente cuando se utilizan en contextos críticos como la seguridad pública o la justicia.
  • Violación de la privacidad: La recopilación y el procesamiento masivo de datos biométricos para la identificación plantea riesgos significativos para la privacidad individual, y el mal manejo de esta información puede tener consecuencias graves.
  • Amenazas a la seguridad: La vulnerabilidad de los sistemas de identificación basados en IA para ataques cibernéticos, puede comprometer la seguridad de los datos biométricos y poner en riesgo la integridad del sistema.
  • Falta de consentimiento informado: En casos donde la identificación biométrica se utiliza sin el consentimiento informado de los individuos, surge una preocupación ética y legal en torno a la autonomía y el control sobre la propia información personal.
  • Difícil rectificación de errores: En situaciones donde se cometen errores en la identificación o evaluación de individuos, puede ser difícil rectificar los daños y corregir la información almacenada, afectando la reputación y la vida de las personas afectadas.
  • Interconexión de bases de datos: La interconexión de bases de datos biométricos puede amplificar los riesgos de seguridad y privacidad, especialmente si no se implementan medidas adecuadas para garantizar la protección de la información.
  • Discriminación social: La implementación de sistemas de identificación basados en rasgos biométricos puede dar lugar a la discriminación étnica y social, afectando desproporcionadamente a ciertos grupos de la sociedad.
  • Escasez de normativas y estándares: La falta de normativas y estándares claros en el desarrollo y uso de sistemas de identificación biométrica puede resultar en prácticas inconsistentes y falta de rendición de cuentas.
  • Riesgo de suplantación de identidad: La tecnología biométrica, aunque avanzada, no está exenta de riesgos de suplantación de identidad, y los sistemas deben ser lo suficientemente robustos para detectar y prevenir tales intentos.
    
• Seguridad: Aplicación de sistemas de vigilancia y control con implicaciones directas en la seguridad pública.
  
  • Vulnerabilidades a ataques cibernéticos: Los sistemas de seguridad basados en IA pueden ser susceptibles a ataques cibernéticos, lo que podría comprometer la integridad y la confidencialidad de la información sensible.
  • Sesgo en la toma de decisiones: Algoritmos de IA utilizados en sistemas de seguridad pueden heredar sesgos presentes en los datos de entrenamiento, resultando en decisiones discriminativas o injustas.
  • Falsos positivos y negativos: La falta de precisión en los algoritmos de detección puede llevar a falsos positivos (alertas incorrectas) o falsos negativos (no detectar amenazas reales), afectando la eficacia del sistema.
  • Riesgo de manipulación: La manipulación de sistemas de seguridad basados en IA, ya sea mediante la introducción de datos falsos o la interferencia con los algoritmos, puede comprometer la eficacia del sistema.
  • Privacidad y vigilancia excesiva: La implementación masiva de tecnologías de vigilancia basadas en IA puede plantear preocupaciones sobre la privacidad, especialmente si no se establecen límites claros y mecanismos de control.
  • Dependencia tecnológica: La dependencia exclusiva de sistemas de seguridad basados en IA puede crear vulnerabilidades significativas si estos sistemas fallan o son eludidos.
  • Integración con sistemas existentes: La integración de nuevas tecnologías de seguridad basadas en IA con sistemas existentes puede presentar desafíos técnicos y de interoperabilidad.
  • Retroalimentación incorrecta: La retroalimentación incorrecta de los sistemas de seguridad puede contribuir a la mejora de algoritmos sesgados, exacerbando problemas éticos y de discriminación.
  • Falta de transparencia: La falta de transparencia en los algoritmos de IA utilizados en sistemas de seguridad puede dificultar la comprensión y evaluación de las decisiones tomadas por dichos sistemas.
  • Modo prueba de fallos: La falta de robustez y consistencia de los sistemas de seguridad ante escenarios inesperados o ataques intencionados puede comprometer la seguridad general.
    
• Energía: Implementación de IA en la gestión y toma de decisiones en el sector energético.
  
  • Seguridad de la Infraestructura: La ciberseguridad es una preocupación importante, ya que los sistemas de energía conectados a la red y basados en IA pueden ser vulnerables a ataques, lo que podría tener consecuencias graves.
  • Gestión de la Demanda y Suministro: Los algoritmos de IA utilizados para prever la demanda y gestionar el suministro de energía deben ser precisos y confiables para evitar interrupciones y desequilibrios en la red.
  • Mantenimiento Predictivo: La implementación de sistemas de mantenimiento predictivo basados en IA debe abordar problemas de confiabilidad y precisión para evitar fallas no detectadas o mantenimiento innecesario.
  • Gestión de la Red Inteligente: La creación de una red eléctrica inteligente implica la coordinación de diversos dispositivos y sistemas basados en IA, lo que puede ser complejo y requerir estándares de interoperabilidad.
  • Costos de Implementación: La inversión inicial en tecnologías de IA y la necesidad de formación y actualización del personal pueden aumentar los costos, siendo un desafío a considerar para las empresas del sector energético.
  • Adopción de Tecnologías Emergentes: La rápida evolución de las tecnologías de IA puede hacer que la adopción y actualización de sistemas sean un desafío constante para las empresas del sector energético.
  • Persistencia ante desastres naturales: Los sistemas de energía basados en IA deben ser resistentes y capaces de recuperarse rápidamente de desastres naturales u otros eventos adversos para garantizar la continuidad del suministro.

Requisitos para Proveedores, Evaluación y Certificación: Se establecen requisitos claros para los proveedores de sistemas de IA que operen en las áreas declaradas de «alto riesgo», quienes deben cumplir con medidas específicas para garantizar la transparencia en el diseño, desarrollo y despliegue de sus tecnologías.

• Documentación técnica: El proveedor deberá presentar toda la información técnica relativa a su sistema de IA que pretende introducir ene l mercado, incluyendo memorias de diseño, desarrollo y funcionamiento.
• Identificación del proveedor: Proporcionar datos de identificación, denominación, domicilio social, socios, clasificación de actividad, forma jurídica, balance.
• Declaración de No Solicitud Simultánea: Declaración del proveedor de no haber presentado la solicitud en ningún otro organismo para obtener la aprobación o certificado de la UE. Se intuye que existirán instituciones en los países miembros, encargados de recabar y evaluar la información proporcionada por los proveedores.
• Examen de la Documentación Técnica. Se evalúa la documentación técnica, para dictaminar la concesión del certificado para el proveedor.
• Acceso al Código Fuente. La institución delegada para la evaluación de la documentación técnica, podrá requerir acceso al código fuente, cuando esa consulta sea motivada y en condiciones específicas.
• Pruebas Adicionales a petición de la UE. El proveedor aceptará la posibilidad de que se realicen pruebas adicionales para recabar evidencias sobre el funcionamiento de su sistema de IA.
• Certificado UE de Evaluación de Documentación Técnica. Si se cumplen los puntos del reglamento de IA de la UE, y después de verificar y comprobar el sistema del proveedor, se proporciona una certificación, que lo habilitaría para implementarlo en el espacio económico europeo.
• Gestión de cambios en el sistema. El proveedor está obligado a notificar cualquier cambio que se produzca en el sistema de IA y aportar documentación al respecto.

Gestión de Riesgos y Supervisión Posterior a la Comercialización: Se exige a los proveedores que implementen sistemas de gestión de riesgos y establezcan mecanismos de supervisión continua posterior a la comercialización para evaluar el rendimiento y abordar posibles problemas.

Derechos Fundamentales y No Discriminación: La legislación se centra en la protección de los derechos fundamentales de las personas, abordando especialmente la discriminación. Se prohíbe cualquier forma de discriminación basada en el uso de la IA.

Mayor Transparencia y Responsabilidad: Los proveedores deben proporcionar información detallada sobre el funcionamiento de sus sistemas de IA, desde el diseño hasta la fase de post-comercialización. La transparencia y la responsabilidad son pilares fundamentales de la regulación.

Marco de Interoperabilidad: Se establece un marco para la interoperabilidad entre sistemas de información de la UE en áreas como fronteras, visados, cooperación policial y judicial, asilo y migración.

Esta legislación refleja el compromiso de la Unión Europea con un enfoque ético y centrado en el ciudadano para el desarrollo de la Inteligencia Artificial. Con el objetivo de equilibrar la innovación tecnológica con la protección de los derechos individuales, la Unión Europea marca un precedente importante en la regulación de la IA, enviando una señal clara sobre la importancia de abordar los desafíos éticos y sociales asociados con esta tecnología disruptiva.

Crítica a la reglamentación de la UE sobre IA

Si bien la legislación europea sobre Inteligencia Artificial, representa un esfuerzo significativo para abordar los desafíos emergentes, como cualquier marco normativo, también está sujeto a problemas inherentes, en concreto:

1. Exceso de Regulación: Algunos críticos argumentan que la regulación es excesiva y podría obstaculizar la innovación en el campo de la IA. La rigidez normativa podría desincentivar la inversión en investigación y desarrollo, limitando el progreso tecnológico. Incluso, podría desalentar el desembarco o creación de empresas especializadas, produciendo un efecto de fuga de cerebros y talentos a países más flexibles en el desarrollo de estas tecnologías, como EEUU, Rusia y China.
2. Posible Falta de Agilidad: La tecnología de la IA avanza rápidamente, y algunos opinan que la legislación podría volverse obsoleta antes de que entre en vigor. La falta de flexibilidad podría ser un obstáculo para adaptarse a cambios rápidos en el panorama tecnológico. Provocando la pérdida de oportunidades en un sector muy dinámico, cuya competencia fuera de la UE es muy fuerte y desarrollada. Esto provocaría un anquilosamiento de este sector de la economía y crearía una dependencia tecnológica del exterior.
3. Complejidad y Cumplimiento: La legislación es extensa y compleja, lo que podría dificultar su aplicación y cumplimiento, especialmente para empresas más pequeñas que pueden no tener los recursos para entender y seguir todas las disposiciones detalladas. Esto también podría desincentivar su creación, y con ello la evolución de nuevas ideas y modelos de IA, dentro del ámbito europeo, en favor de las grandes empresas y organizaciones supranacionales.
4. Riesgo de Desincentivar la Innovación: Al imponer requisitos y restricciones estrictas, existe el riesgo de que las empresas opten por evitar el desarrollo de tecnologías de IA de alto riesgo debido a la carga normativa, lo que podría limitar la innovación y la competencia. Esto no paralizaría el uso de la IA en esas áreas de alto riesgo, que podrían ser copadas por empresas que procedan fuera de la región europea, lo cuál también supondría un alto riesgo.
5. Desafíos en la Evaluación de Conformidad: La evaluación de conformidad, especialmente en términos de riesgo, puede ser subjetiva y desafiante. La falta de claridad en algunos criterios puede dar lugar a interpretaciones variadas, generando incertidumbre para los proveedores. Esta podría ser una fuente de corrupción, debido a la falta de imparcialidad y subjetividad de los evaluadores, expertos, y responsables de las entidades de acreditación y prospectiva.
6. Falta de Armonización Global: La ausencia de estándares y normativas globales podría resultar en un paisaje fragmentado, lo que dificultaría a las empresas que operan en múltiples jurisdicciones cumplir con diferentes requisitos normativos. Dicho de otra forma, las regulaciones en el resto del mundo son diferentes a las indicadas en la UE, y provocaría un crisol de adaptaciones que no compensaría a todas las empresas. Esto terminaría por afectar a las oportunidades de empleo en este sector, futuras inversiones, etc.
7. Énfasis en la Documentación Técnica: La atención excesiva a la documentación técnica podría no ser suficiente para abordar cuestiones éticas y sociales fundamentales asociadas con la IA, como la discriminación algorítmica y la privacidad. Pero también podría provocar susceptibilidades y suspicacias de muchas empresas, que no querrían compartir su código fuente, secretos de funcionamiento, técnicas innovadoras, que podrían ser copiadas, reutilizadas en empresas europeas. Dicho de otra forma, podría suponer una fuente de espionaje industrial, para el que las empresas no estarían protegidas.

Referencias

Reglamento de Inteligencia Artificial: el Consejo y el Parlamento alcanzan un acuerdo sobre las primeras normas del mundo en materia de inteligencia artificial. https://www.consilium.europa.eu/es/press/press-releases/2023/12/09/artificial-intelligence-act-council-and-parliament-strike-a-deal-on-the-first-worldwide-rules-for-ai/

Ley de IA de la UE: primera normativa sobre inteligencia artificial https://www.europarl.europa.eu/news/es/headlines/society/20230601STO93804/ley-de-ia-de-la-ue-primera-normativa-sobre-inteligencia-artificial

Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la unión https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex%3A52021PC0206

El Reglamento Europeo de IA, en resumen https://portal.mineco.gob.es/es-es/digitalizacionIA/sandbox-IA/Documents/20220919_Resumen_detallado_Reglamento_IA.pdf

Ley de Inteligencia Artificial: el Consejo y el Parlamento Europeo llegan a un acuerdo sobre las primeras normas para regular la IA en el mundo https://administracionelectronica.gob.es/pae_Home/pae_Actualidad/pae_Noticias/Anio2023/Diciembre/Noticia-2023-12-11-Ley-de-inteligencia-artificial-el-Consejo-y-el-Parlamento-Europeo-llegan-a-un-acuerdo-sobre-las-primeras-normas-en-el-mundo-para-regular-la-Inteligencia-Artificial.html

Noticias

Los expertos celebran la primera regulación de la IA pero señalan importantes lagunas. https://www.infobae.com/espana/agencias/2023/12/09/los-expertos-celebran-la-primera-regulacion-de-la-ia-pero-senalan-importantes-lagunas/

España quiere cerrar el reglamento europeo de IA durante su Presidencia de la UE. https://www.infobae.com/espana/2023/06/14/espana-quiere-cerrar-el-reglamento-europeo-de-ia-durante-su-presidencia-de-la-ue/

Consumidores piden «no rebajar derechos» en el reglamento europeo de IA «frente a presiones de la industria tecnológica». https://www.infobae.com/america/agencias/2023/11/16/consumidores-piden-no-rebajar-derechos-en-el-reglamento-europeo-de-ia-frente-a-presiones-de-la-industria-tecnologica/

El Parlamento Europeo dio el primer paso para regular las herramientas de inteligencia artificial en la región. https://www.infobae.com/america/mundo/2023/05/11/el-parlamento-europeo-dio-el-primer-paso-para-regular-las-herramientas-de-inteligencia-artificial-en-la-region/

Países de todo el mundo acuerdan normas para crear inteligencia artificial de forma responsable. https://www.infobae.com/tecno/2023/11/06/paises-de-todo-el-mundo-acuerdan-normas-para-crear-inteligencia-artificial-de-forma-responsable/

La CE comprueba si la inversión de Microsoft en OpenAI debe revisarse según competencia UE. https://www.infobae.com/america/agencias/2024/01/09/la-ce-comprueba-si-la-inversion-de-microsoft-en-openai-debe-revisarse-segun-competencia-ue/

Las naciones están perdiendo una carrera global para tener bajo control los peligros de la IA. https://www.infobae.com/america/the-new-york-times/2023/12/06/las-naciones-estan-perdiendo-una-carrera-global-para-tener-bajo-control-los-peligros-de-la-ia/

Consumidores celebran el veto del Parlamento Europeo al reconocimiento facial de la IA. https://www.infobae.com/espana/2023/06/14/consumidores-celebran-el-veto-del-parlamento-europeo-al-reconocimiento-facial-de-la-ia/

La «soberanía» de la UE en IA, que invierte 10 veces menos que EEUU, «está en juego». https://www.infobae.com/america/agencias/2023/10/30/la-soberania-de-la-ue-en-ia-que-invierte-10-veces-menos-que-eeuu-esta-en-juego/

Cómo construye Europa sus normas para inteligencia artificial. https://www.infobae.com/america/agencias/2023/05/11/como-construye-europa-sus-normas-para-inteligencia-artificial/

CNMC pide más precisión para elegir los proyectos que probarán el reglamento europeo de IA. https://www.infobae.com/espana/agencias/2023/08/28/cnmc-pide-mas-precision-para-elegir-los-proyectos-que-probaran-el-reglamento-europeo-de-ia/

La UE pacta la primera ley de inteligencia artificial en el mundo. https://www.infobae.com/espana/2023/12/09/la-union-europea-pacta-la-primera-ley-de-inteligencia-artificial-del-mundo/

Los cinco puntos más importantes de la nueva ley de IA en la Unión Europea. https://www.infobae.com/tecno/2023/12/10/los-cinco-puntos-mas-importantes-de-la-nueva-ley-de-ia-en-la-union-europea/

El Parlamento Europeo aprobó un proyecto para regular el uso de la Inteligencia Artificial. https://www.infobae.com/america/mundo/2023/06/14/el-parlamento-europeo-aprobo-un-proyecto-para-regular-el-uso-de-la-inteligencia-artificial/

Así es la ley de la UE para regular la IA: pionera en el mundo para proteger de los riesgos de la IA https://es.euronews.com/2023/12/09/asi-es-la-ley-de-la-ue-para-regular-la-ia-pionera-en-el-mundo-para-proteger-de-los-riesgos

La UE aprueba (por fin) la primera ley del mundo que regula la inteligencia artificial https://www.businessinsider.es/ue-aprueba-primera-ley-mundo-inteligencia-artificial-1347466