Un modelo de evaluación creado por la ETH de Zurich ha concluido que ningún modelo cumple todos los requisitos de la legislación europea
La legislación en inteligencia artificial de la Unión Europea es única en el mundo. Esta normativa establece criterios para el desarrollo, implementación y uso de sistemas de IA, especialmente aquellos considerados de alto riesgo. Sin embargo, su aplicación técnica aún se enfrenta a sendos desafíos. En respuesta a esta necesidad, un grupo de investigadores de la ETH de Zurich ha desarrollado el marco COMPL-AI, una interpretación técnica del reglamento que permite evaluar modelos de lenguaje mediante un conjunto de pruebas alineadas con los requerimientos de Bruselas.
Este enfoque permite, por primera vez, evaluar modelos de IA en términos de robustez, seguridad, privacidad, diversidad y no discriminación. La evaluación inicial ha incluido 12 modelos de IA, tanto de código abierto como cerrado, revelando que ninguno cumple totalmente con los requisitos de la ley europea. Esto puede convertirse en una pesadilla para empresas y usuarios cuando entren en vigor los artículos que afectan a la seguridad en los LLM, en enero de 2025.
La ley obliga a la IA a usar marcas de agua
Uno de los hallazgos más notables del estudio es la falta de cumplimiento de los modelos evaluados con los requisitos de transparencia, específicamente en relación con la trazabilidad y el uso de marcas de agua. La normativa exige, en su artículo 50 (2), que los contenidos generados por IA puedan ser identificados como tales mediante tecnologías como marcas de agua digitales, una función que aún no se ha implementado ampliamente en los LLM actuales. Además, la diversidad y la equidad en la representación siguen siendo una tarea pendiente. Los modelos evaluados presentan dificultades en pruebas de sesgo y discriminación, lo que indica que los modelos aún requieren mejoras para evitar impactos sociales negativos y cumplir con los requisitos de equidad de la UE.
La AI Act entra en vigor en enero de 2025
El impacto del reglamento de IA va más allá de la industria tecnológica europea, pues las multas y sanciones tienen un alcance extraterritorial (ya se ha visto con otras tecnológicas, como Google o Apple, por ejemplo). Por tanto, la normativa podría impulsar cambios en el desarrollo de IA a nivel global. Para los proveedores de modelos, el reglamento representa un incentivo para mejorar la transparencia en los datos de entrenamiento, los procesos de desarrollo y el rendimiento en evaluaciones de seguridad y equidad. De lo contrario, los modelos de IA podrían quedar excluidos de sectores cruciales como la educación o el empleo, donde la ley europea establece unos estrictos estándares de seguridad.
El marco COMPL-AI no solo destaca las áreas críticas en las que los LLM deben mejorar, sino que también subraya la urgencia de desarrollar estándares de evaluación técnica. La adopción de este marco y la creación de un código de buenas prácticas alineado con el reglamento son pasos esenciales para asegurar que la IA en Europa sea desarrollada y desplegada de forma responsable, segura y beneficiosa para la sociedad en su conjunto.
Abre un paréntesis en tus rutinas. Suscríbete a nuestra newsletter y ponte al día en tecnología, IA y medios de comunicación.
