En el a\u00f1o 2015 Google se disculp\u00f3 cuando su algoritmo de clasificaci\u00f3n de fotos confundi\u00f3 im\u00e1genes de personas negras con gorilas. Dos a\u00f1os m\u00e1s tarde, en Arkansas, se descubri\u00f3 que un algoritmo implementado para administrar el acceso a beneficios de atenci\u00f3n m\u00e9dica por parte de los pacientes del programa estatal de discapacidad no hab\u00eda tenido en cuenta enfermedades tan importantes como la par\u00e1lisis cerebral o la diabetes.<\/p>\n
M\u00e1s tarde, en 2020, los estudiantes de Reino Unido ganaron la batalla al Gobierno cuando obligaron a dejar de usar un algoritmo que favorec\u00eda a los colegios privados frente a los de barrios m\u00e1s desfavorecidos en la determinaci\u00f3n de las calificaciones de la selectividad.<\/p>\n
Detr\u00e1s de todos estos errores de la inteligencia artificial est\u00e1n los llamados algoritmos de caja negra.<\/p>\n
Pero \u00bfqu\u00e9 es un algoritmo de caja negra? Definido de forma simple, es aquel cuyo funcionamiento se desconoce, es decir, se ignora c\u00f3mo y por qu\u00e9 ha adoptado una determinada decisi\u00f3n. Esto sucede, por una parte, porque no es posible descifrar los pasos que la IA ha seguido para llegar a ese concreto resultado (trazabilidad) y, por otra, porque tampoco pueden conocerse las razones que le han llevado a este resultado y no a otro distinto (explicabilidad).<\/p>\n
La principal consecuencia (aunque no la \u00fanica) de esta imposibilidad de conocer c\u00f3mo funciona el sistema se expresa en forma de sesgos, errores que comete la inteligencia artificial y que implican, como hemos visto en los ejemplos, discriminar a determinados colectivos, habitualmente minoritarios o vulnerables: las mujeres, las minor\u00edas \u00e9tnicas, los residentes de barrios marginales o desfavorecidos.<\/p>\n
Y no es algo puntual. Lo grave del asunto es que, a d\u00eda de hoy, todos los algoritmos de deep learning y la mayor parte de los algoritmos de machine learning (los m\u00e1s complejos y, por tanto, los m\u00e1s usados) son de caja negra. Y juntos representan pr\u00e1cticamente la totalidad de los algoritmos que utiliza la IA hoy en d\u00eda.<\/p>\n
Lo anterior entra\u00f1a importantes peligros, sobre todo en lo que respecta a la inteligencia artificial generativa, es decir, aquella en la que el sistema de IA crea contenidos \u201cnuevos\u201d por s\u00ed mismo (Chat GPT, Dall-E, Aida y similares). En este caso, desconocer completamente c\u00f3mo funciona la inteligencia artificial supone otorgarle a esta un poder que escapa del control humano.<\/p>\n
Como se ve en los ejemplos anteriores, el principal obst\u00e1culo del uso de la IA radica en que, a pesar de que un algoritmo parece haber sido \u201cbien entrenado\u201d y aparentemente cumple con la funci\u00f3n para la que ha sido dise\u00f1ado, existe la posibilidad de que el sesgo \u2013la discriminaci\u00f3n\u2013 est\u00e9 presente en las decisiones que adopta. En estos casos, la inteligencia artificial discrimina en la sombra a causa de ese sesgo oculto hasta que se logre descubrir su existencia.<\/p>\n
As\u00ed pues, como consecuencia del desconocimiento que supone esa caja negra de la inteligencia artificial, la \u00fanica forma de saber si esta es racista, machista o, en definitiva, discriminatoria, es a trav\u00e9s de la prueba y error, del descubrimiento espont\u00e1neo de esa situaci\u00f3n o circunstancia.<\/p>\n
Son, precisamente, estos errores \u2013entre otros aspectos, como la protecci\u00f3n de datos o la responsabilidad, a los que no nos dedicaremos hoy\u2013 los que han provocado la reacci\u00f3n del Derecho. As\u00ed, la Propuesta de Reglamento del Parlamento Europeo y del Consejo, por la que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Uni\u00f3n, establece importantes medidas en diferentes etapas para hacer frente a los sesgos en los sistemas que presentan un alto riesgo para la sociedad.<\/p>\n
En la fase de dise\u00f1o del algoritmo, la norma establece obligaciones que tienen que ver tanto con la elaboraci\u00f3n de los datos que alimentan el algoritmo como con el proceso de entrenamiento, validaci\u00f3n y prueba del sistema (estas son las fases que pasa el sistema de IA antes de ser comercializado o puesto en el mercado, lo que en otros sectores conocemos como \u201cfase de ensayo\u201d).<\/p>\n
Concretamente, se prev\u00e9 que los conjuntos de datos utilizados para entrenar, validar y probar el algoritmo sean representativos, carezcan de errores y est\u00e9n completos. Todo ello con la finalidad de evitar la incorporaci\u00f3n ya a priori de sesgos al modelo. Adem\u00e1s, durante esta fase tambi\u00e9n se establecen importantes pr\u00e1cticas de gobernanza y gesti\u00f3n del dato: la realizaci\u00f3n de an\u00e1lisis espec\u00edficos de los datos dirigidos a la detecci\u00f3n y correcci\u00f3n de sesgos.<\/p>\n
De lo anterior se deduce que ser\u00e1 imprescindible el dise\u00f1o y la utilizaci\u00f3n de software dirigido a examinar los datos para buscar sesgos, hecho que deja entrever un nuevo modelo de negocio. No es arriesgado vaticinar la proliferaci\u00f3n de empresas con este \u00fanico cometido.<\/p>\n
Adem\u00e1s, tras su comercializaci\u00f3n o puesta en el mercado, se prev\u00e9n obligaciones espec\u00edficas de transparencia y seguimiento para una correcta utilizaci\u00f3n e interpretaci\u00f3n de la informaci\u00f3n de salida. Una de las m\u00e1s importantes ser\u00e1 la creaci\u00f3n de archivos de registro durante la fase de entrenamiento y a posteriori para garantizar la trazabilidad del sistema, algo fundamental para la investigaci\u00f3n tras un funcionamiento inadecuado. Asimismo se establecer\u00e1n medidas de vigilancia humana durante su uso que permitir\u00e1n una r\u00e1pida neutralizaci\u00f3n de potenciales riesgos.<\/p>\n
*Fuente: https:\/\/theconversation.com\/como-la-ia-nos-discrimina-en-la-sombra-y-que-plantea-la-nueva-normativa-de-la-ue-para-evitarlo-223066<\/em><\/p>","protected":false},"excerpt":{"rendered":" La \u00fanica forma de saber si la IA es racista, machista o, en definitiva, discriminatoria, es a trav\u00e9s de la prueba y error, del descubrimiento espont\u00e1neo de esa situaci\u00f3n o circunstancia.<\/p>","protected":false},"author":15,"featured_media":58492,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4099],"tags":[],"class_list":["post-58491","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-otras-miradas"],"yoast_head":"\n