Inteligencia artificial
70 voces de la academia piden la moratoria de sistemas de reconocimiento facial

Una carta dirigida al Gobierno evalúa los principales problemas en materia de violación de derechos fundamentales asociados a la aplicación de sistemas de reconocimiento facial

Hoy se publica una carta enviada al Gobierno, firmada por 70 personas del ámbito tecnológico, en la que reconocen “la necesidad de de establecer una moratoria en el uso y comercialización de sistemas de reconocimiento facial por parte de empresas públicas y privadas”. La razón principal es la falta de legislación aplicada al uso de estos sistemas, que se ha disparado considerablemente en los últimos 10 años. “Existe una variada gama de razones que justifican la creación de una comisión para investigar esta necesidad”.

En febrero de 2021 Renfe anunció una licitación de sistema de reconocimiento facial para aplicar en 25 estaciones de distintas ciudades del estado que, en principio, serviría para detectar excesos de aforos y personas colándose la estación durante su primera fase de aplicación. La polémica salta cuando la compañía publica que, durante su segunda fase, el sistema debería “analizar la conducta de los usuarios” para reconocer “tumultos, peleas o comportamientos anómalos, como huelgas o manifestaciones”, así como la identificación de personas por “edad, género, origen étnico, tipo de ropa o estado de ánimo”.

El principal problema que presentan estos sistemas, que deberíamos anteponer ante todos los demás por su orden operativo, es que son “cajas negras”, es decir, no existe ningún organismo que audite ni controle su funcionamiento

Renfe retiró rápidamente el anuncio, pero su publicación ya había desencadenado la escritura de esta carta por parte del equipo promotor, compuesto por Ujué Agudo, David Casacuberta, Ariel Guersenzvaig y Karlos G. Liberal. “Sistemas similares ya están disponibles para entornos educativos, laborales, sanitarios, de ocio y muchos otros, tanto públicos como privados”, señalan.

“Esta idea llevaba mucho tiempo apareciendo en conversaciones con los otros promotores de la carta cuando nos encontrábamos en talleres, conferencias o hackmeetings” relata a El Salto Karlos G. Liberal, desarrollador informático y promotor de la carta. “El tema de la Renfe fue el desencadenante por las absurdeces que decía. Aunque a veces son globos sondas que lanzan las compañías para probar la respuesta de la población”. Tras redactar el primer borrador de la carta, el equipo de la envió a un entorno más cercano, entre las que destacan Ana Matute, Ana Valdivia o Manuela Battaglini, para que participasen en la redacción de la carta. “Otro de los eventos que nos animó a escribirla fue la noticia de que el gobierno de Estados Unidos había rescindido el contrato de reconocimiento facial en cámaras de la policía, ya que les daba más problemas que beneficios”.

“Los algoritmos de aprendizaje automático que los sustentan tienen graves problemas que han sido ampliamente documentados y discutidos por la comunidad científica y y entidades gubernamentales y civiles”

La hoja de ruta de esta carta pasa por las manos de Carme Artiagas, científica y empresaria del ámbito de las nuevas tecnologías que Nadia Calviño ha nombrado como secretaria de Estado de Digitalización e Inteligencia Artificial. “Nos gustaría llegar a tener una conversación con los responsables públicos para crear un grupo de investigación que evaluase los problemas detallados en la carta”, añade Liberal. “Se han sumado también voces del ámbito de las ciencias sociales, la filosofía o del mundo de la empresa. Es importante, ya que no se trata de un problema que nos afecta a todos y atraviesa varios campos de análisis”.

Una de las firmantes de esta carta es Gemma Galdón, presidenta de la Fundación Éticas, que ya explicó a El Salto en una entrevista anterior que los mecanismos legales para controlar el uso de estas tecnologías ya existen amparados en la Ley de Protección de Datos Europea, y el problema reside en que no se aplican y tanto administraciones públicas como privadas pasan por encima de ellos.

Tecnología
Reconocimiento facial, una distopía para vender humo
Durante el año 2020 ha habido un aumento notable de empresas y proyectos dedicados al desarrollo de la tecnología de reconocimiento facial. Sin embargo, a pesar de los logros que celebran los CEO de las compañías en los medios de comunicación, nos encontramos ante una tecnología incipiente que está muy lejos de llegar a ser el panóptico digital que imaginamos.

El principal problema que presentan estos sistemas, que deberíamos anteponer ante todos los demás por su orden operativo, es que son “cajas negras”, es decir, no existe ningún organismo que audite ni controle su funcionamiento. Debemos preguntarnos antes que nada, ¿realmente puede una máquina discernir mi estado de ánimo? Las únicas entidades que saben realmente cómo funcionan son las empresas que los diseñan. Por lo tanto, el primer escollo reside en que no sabemos si están haciendo lo que realmente dicen que hacen.

Si escarbamos un poco en la superficie del discurso de vendedores de crecepelo que tienen estas compañías, muchas veces nos encontramos con una maqueta, como le ocurría a Arturo cuando llegaba a Camelot en Los caballeros de la mesa cuadrada. Esto es lo que ha ocurrido, por ejemplo, con iBorderCtrl, un sistema de detección de mentiras encargado por la Unión Europea para detectar traficantes y falsos refugiados en sus fronteras que tuvo que retirarse por los problemas que generaba. La compañía que lo diseñó había “entrenado” al algoritmo de reconocimiento de mentiras con actrices y actores que debían actuar como si fuesen traficantes.

“Lo más urgente es que el Gobierno realmente se cuestione el uso de estos sistemas biométricos en espacios públicos. Margarita Robles ha licitado un sistema biométrico para controlar el horario del personal en un hospital militar”, señala Ana Valdivia, una de las firmantes, investigadora asociada del King’s College de Londres. “Lo más peligroso, bajo mi punto de vista, es la opacidad con la que estos sistemas operan. No existe rendición de cuentas, en muchas ocasiones no se sabe qué empresas los desarrollan, cuánto dinero reciben, qué algoritmos utilizan, con qué datos, qué métricas obtienen para evaluar los algoritmos tanto dentro del laboratorio como en la vida real una vez ya implementados”, añade.

El periodista e investigador Ekaitz Cancela publicaba en El Salto recientemente cómo la empresa privada Eurocop Security Systems ganaba más de 100 contratos públicos para promocionar sistemas de software y soluciones automatizadas destinadas a “aumentar la eficacia y productividad de los servicios de policía”. Otro de los problemas que se añaden a los citados en la carta es el gasto y el peso que suponen para el erario público, ya que muchas de estas empresas desarrollan sus sistemas financiadas con dinero público.

La fantasía de la predicción

Suponiendo que estos sistemas llegasen a funcionar realmente tal y como los venden los CEOs de las compañías que los diseñan, desde la carta señalan que “los algoritmos de aprendizaje automático que los sustentan tienen graves problemas que han sido ampliamente documentados y discutidos por la comunidad científica y y entidades gubernamentales y civiles”. Además aun atendiendo a las cifras de éxito que ofrecen estas compañías, cuestiones como la variabilidad de luz respecto a la que se usa durante el entrenamiento de estos sistemas, o el color de la piel de los sujetos, aumentan considerablemente las tasas de error según expone la carta.

"España tiene una de las mayores tasas de paro en la población juvenil. Lo primero es lo primero. Así que, la principal prioridad debería ser sacarnos de la precariedad antes de crear debates sofisticados sobre la ética de los sistemas biométricos” señala Ana Valdivia

De entre todos los problemas asociados a estos sistemas de reconocimiento facial y de emociones destacan, por ejemplo, la asociación de personas a “tendencias” en base a datos estadísticos. Algo que se realiza continuamente en el ámbito publicitario a través del uso de nuestro perfiles en redes sociales, sin embargo, su uso asociado a sistemas que pueden introducirnos en una base de datos de morosos en el mejor de los casos.

Destaca el hecho, que casi podría asociarse al orden de la frenología, de asociar posturas, rasgos y gestos a determinados comportamientos que se tipifiquen como “criminales o peligrosos”. Las correlaciones estadísticas no implican causa-efecto y es un hecho altamente señalado por expertas que las bases de datos que asocian estas categorías contienen profundos sesgos racistas. Si las cámaras que van a operar en la estación de Renfe de Atocha utilizan las bases de datos creadas por los mismos agentes que, a día de hoy, paran en la estación sistemáticamente a personas que no son blancas, es evidente que estos comportamientos seguirán reproduciéndose.

“Otro problema del que debemos ser muy conscientes es la vulnerabilidad que nos genera que demos este poder al algoritmo. Si el algoritmo se equivoca pero le hemos dado este poder, tenemos que demostrar nosotros que se equivoca. Por ejemplo, imaginemos que te ocurre cuando vas a cruzar una frontera o cuando vas a solicitar un servicio público”, añade Liberal.

Para los autores de la carta, la primera pregunta que debemos plantearnos como sociedad es si realmente necesitamos estos sistemas y en caso de que sí los necesitemos, establecer y cerciorarnos de que funcionan correctamente antes de aplicarlos, algo que está funcionando al revés: se detectan los fallos de los sistemas a partir de su aplicación real.

A pesar de que la carta no pone el foco en ello, sí menciona el hecho de que muchas de estos sistemas tienen un alto componente coercitivo. Independientemente de su funcionamiento y el nivel de error que tienen, el hechpo de que la sociedad sepa que están ahí tiene un claro efecto. Tanto Liberal como Valdivia señalan la importancia de llevar el debate a otras esferas más allá del ámbito técnico y académico. “Creo que hace falta un debate social, necesitamos democratizar la inteligencia artificial para que llegue a todo el mundo, pues nos afecta a todas, aunque impacta más en comunidades vulnerables. Hay que crear redes ciudadanas en las que se traslade el conocimiento entre académicos, actores sociales, políticas, personas de a pie. En la academia debemos crear equipos transdisciplinares que analicen las consecuencias sociales de estas tecnologías”, reflexiona Valdivia.

No obstante, como joven investigadora que ha sufrido los problemas asociados a tratar de abrirse camino en la academia de este país, Valdivia señala claramente las prioridades: “no podemos tener tal debate social si nuestra población está sufriendo los estragos de una crisis social, económica y de salud pública. España tiene una de las mayores tasas de paro en la población juvenil. Lo primero es lo primero. Así que, la principal prioridad debería ser sacarnos de la precariedad antes de crear debates sofisticados sobre la ética de los sistemas biométricos”.

Informar de un error
Es necesario tener cuenta y acceder a ella para poder hacer envíos. Regístrate. Entra en tu cuenta.

Relacionadas

El Salto Radio
Podcast ¿Y si en el día de mañana no pudiéramos recopilar más datos?
Preferencias del Sistema, de Ugo Bienvenu, es una brutal distopía que indaga en los límites entre la memoria, la cultura y la inteligencia artificial
Inteligencia artificial
Registro central de algoritmos La coalición IA Ciudadana apela al Gobierno para crear un registro central y transparente de algoritmos
Expertos concluyen sobre las claves de cómo debiera ser esa base de datos para que la inteligencia artificial proteja a las personas y evite discriminaciones. El registro debe ser obligatorio, participativo, transparente y accesible.
China
PAN 06X05 Jugar con cajas versus pantallas, Deep Seek y Xiaohongshu
Analizamos el impacto de las pantallas en la infancia y la adolescencia y cómo lo enfrentan las familias. Además, un análisis con características chinas sobre los casos de Deep Seek y Xiaohongshu
#85756
26/3/2021 11:16

por eso miso que se critíca aquí los partidos políticos están encantados con el reconocimiento fatal

0
0
LGTBIfobia
Manifestación Plataforma Trans planta cara a la transfobia con una manifestación contra el odio
La convocatoria el 29 de marzo denuncia un contexto internacional antiderechos. La organización pide a partidos y sindicatos que se sumen a la marcha porque la transfobia es un problema social, y por lo tanto también político, explican.
Opinión
Opinión Bretón no es un monstruo, ni Martín el nuevo Capote
Frente a la libertad sin peros que defienden unos, la responsabilidad de muchos: la de ciudadanos y librerías que se niegan a comprar o vender, respectivamente, el libro que Anagrama ha tenido a bien materializar.
Feminismos
Irene García Galán “La memoria feminista hay que construirla desde abajo, desde nuestras casas”
‘Hilaria’ (Errata Nature, 2025) es un libro dedicado a la tatarabuela de Irene García Galán, pero también un ensayo político que navega a través de la memoria feminista, el antipunitivismo y el anarquismo.
Madrid
Madrid La Sareb amenaza con el desahucio a dos jóvenes activistas en Carabanchel
Cadete 7, el bloque en lucha del que el ‘banco malo’ prevé desalojarles de forma inminente este jueves 27, fue el primero recuperado por el movimiento de vivienda de Madrid en 2013 tras haber permanecido deshabitado desde 2008.
Gasto militar
Gasto militar “No nos resignamos a la guerra”: 70 organizaciones rechazan la deriva militarista de la UE y el Gobierno
Más de 70 organizaciones y personalidades de la cultura y el activismo firman un manifiesto que rechaza la escalada belicista y el rearme frente a una posible agresión rusa.
Música
Música Pervertidos y puritanos, a los pies de Ethel Cain
Proyectos musicales como ‘Perverts’ de Ethel Cain son capaces de imponer silencio en medio de tanto ruido para pensar en un momento en que las redes sociales son herramientas tendenciosas para la difusión de propaganda de ultraderecha.

Últimas

Obituario
Obituario Jesús Santos, el basurero que se ganó el corazón de Alcorcón
Alcorconero de toda la vida, teniente alcalde, activista social y sindicalista, Jesús Santos hizo que aquellos que le acompañaron en su camino se ilusionaran por la política.
Residencias de mayores
Residencias Fondos de inversión y residencias: la mano invisible que retuerce los cuidados
Mientras DomusVi, en manos del fondo de inversión ICG, ya es la empresa con más residencias privadas del Estado, residentes, familiares y trabajadoras explican lo que supone que las prácticas especulativas acunen la vejez de las personas.
Residencias de mayores
Opinión Naces, creces, te reproduces, envejeces y sigues generando beneficios
El capitalismo extractivista emplea un ‘fracking’ similar sobre la última etapa de nuestras vidas: exprimir nuestra capacidad de producir beneficios hasta el último aliento.
Palestina
Palestina Egipto abre la puerta a un nuevo alto el fuego en Gaza con el visto bueno de Hamás y EEUU
A cambio de la retirada gradual de la tropas de Israel en la Franja, serían liberados cinco rehenes cada semana. El Gobierno de Netanyahu no se ha pronunciado y siguen los ataques contra población civil.

Recomendadas

Guerra en Ucrania
Guerra en Ucrania Colegios underground en Járkov después de tres años de guerra
La ciudad ucraniana construye escuelas subterráneas, preparadas para aguantar ataques balísticos y nucleares.
Argentina
Estela de Carlotto “Faltan todavía muchos nietos por encontrar”
Al cumplirse 49 años del golpe cívico-militar, la presidenta de Abuelas de Plaza de Mayo dialogó con El Salto y apuntó contra el Gobierno de Milei y su ministra de Seguridad, Patricia Bullrich, que encabeza la represión de la protesta social.
México
Hallazgo en Teuchitlán Crisis de desaparecidos en México: los buscadores, entre el narco y las omisiones del Estado
El hallazgo del cementerio clandestino en Teuchitlán, Jalisco, ha conmocionado a todo México. El país que vive una crisis por la desaparición de más de 120 mil personas, que en 18 años solo han aumentado frente a una pasmosa impunidad.
Comunidad de Madrid
Comunidad de Madrid Un rayo de esperanza tras cinco años de los protocolos de la vergüenza
A punto de prescribir los posibles delitos, un avance judicial abre la puerta a conocer quién decidió no derivar a hospitales a ancianos en residencias en la Comunidad de Madrid.