Este documento es una relatoría de lo que fue la Jornada de Inteligencia Artificial y Derechos Humanos: Riesgos y Oportunidades organizada el pasado 10 de junio de 2021 por el Espai Societat Oberta, Lafede.cat y M4Social.

1. 1
¡Hola!
Este documento es una relatoría de lo que fue la Jornada de Inteligencia Artificial y Derechos
Humanos: Riesgos y Oportunidades organizada el pasado 10 de junio de 2021 por el Espai
Societat Oberta, Lafede.cat y M4Social. Hemos preparado esta relatoría para que podáis
recuperar los contenidos de la jornada, así como las iniciativas y reflexiones que surgieron.
Por qué esta jornada
Los grandes avances del sector de la inteligencia artificial pueden
ser beneficiosos para la promoción e implantación de los Derechos
Humanos. Sin embargo, de forma intencionada o no, tienen serias
repercusiones en el ejercicio de derechos fundamentales
(privacidad, protección datos, libertad de expresión, igualdad ante la
ley) y en las condiciones de vida (acceso a educación, salud,
vivienda, trabajo, precriminalización por policía predictiva, etc) de
todas las personas incluidas las comunidades más oprimidas y
vulnerabilizadas a una escala sin precedentes.
La tecnología digital puede tener un impacto positivo pero no podemos caer en la visión
tecnosolucionista porque los problemas estructurales de nuestra sociedad, como la
desigualdad o el racismo, solo podrán revertirse cuestionando las estructuras de poder.
Queremos una sociedad protectora y promotora de los Derechos Humanos donde la tecnología
sea inclusiva, confiable y transparente y que ponga a las personas en el centro.
El objetivo de esta jornada es compartir conocimiento sobre el impacto de la inteligencia
artificial en el campo de la justicia social, que las organizaciones sociales incorporen la
perspectiva digital a su trabajo de defensa de derechos, y reivindicar la participación activa de
la ciudadanía en el diseño, implementación y evaluación de políticas digitales
Espai Societat Oberta
Un espacio donde poner en común miradas sobre Derechos Humanos, democracia, libertad de
expresión, migraciones y discriminación
Lafede.cat
Red formada por más de 130 organizaciones que promueve la acción colectiva de las entidades
afiliadas. Lafede.cat trabaja activamente para conseguir la justicia global y la erradicación de las
desigualdades en el mundo.
M4Social –Taula del Tercer Sector
Proyecto de la Taula Tercer Sector Social de Catalunya que quiere liderar la transformación
digital de las entidades del Tercer Sector, así como incidir en la generación de un ecosistema de
innovación en el ámbito social.

2. 2
Contenido de la jornada
• Por qué esta jornada
• Securitización de nuestras vidas en fronteras y ciudades
• Exclusión social automatizada. ¿cómo evitarlo?
• ¿Cómo diseñar políticas públicas digitales inclusivas desde la participación ciudadana
y la diversidad?
Raquel Jorge
‘Fulbright Fellow’ y especialista en políticas públicas tecnológicas y digitales y sus implicaciones
en gobernanza y estrategia. Actualmente trabaja como consultora asesora para organizaciones
públicas, privadas y sociales.
Montse Santolino
Periodista, comunicadora y activista social. Coordinadora y responsable de comunicación de
Lafede.cat.
“Cuando se habla de gobernanza tecnológica, no hay que menospreciar la participación de la
sociedad civil. Su influencia real debería notarse en el diseño [de políticas digitales], pero
también en la negociación y en el seguimiento de sus aplicaciones e impacto, para denunciar y
perseguir cualquier incumplimiento.” Raquel Jorge Ricart
Las organizaciones sociales participantes en la jornada no son todas expertas en el campo
tecnológico, pero pueden llegar a comprender perfectamente los riesgos y oportunidades
que supone que una máquina que procesa información también tome decisiones, y por
ello participan en esta jornada. Además, su implicación es indispensable. Son ellas las que van a
llevar a cabo la incidencia necesaria para exigir que ética, derechos humanos y justicia
social estén detrás de cada decisión que implique la actividad de una Inteligencia
Artificial. También de que la transformación digital sea una herramienta que mejore la
transformación social. Deben comprender y criticar el uso de la IA para evitar que se convierta
en otro punto de anclaje del status quo que contribuya a perpetuar o ampliar las problemáticas
y desigualdades, y a la vez, convertirla en una verdadera palanca de cambio que las reduzca o
elimine.
“En el plano de las organizaciones de la sociedad civil, uno de los retos es saber identificar cómo
les afecta la inteligencia artificial de forma concreta. Hay que poder bajarlo al terreno, a nivel
local, conseguir que una ONG de barrio sepa identificar cómo funciona, y no es fácil. Estas
jornadas facilitan el proceso y que se puedan tejer redes para llevar a cabo iniciativas de
empoderamiento, de conocimiento, de formación…” Raquel Jorge Ricart

3. 3
En esta jornada, de las pioneras en España, se han establecido tres mesas redondas que
representan diferentes esferas del uso de la IA. En la primera, se comprobará el impacto de la
Inteligencia Artificial en el ámbito de la securitización y, concretamente, en un contexto
político en la gestión de las fronteras y de la seguridad en las ciudades y la criminalización de las
personas migrantes y racializadas. En la segunda, se analizará la aplicación de modelos
algorítmicos de decisión en los ámbitos de la justicia y la exclusión social y, finalmente, en
la tercera mesa se revisarán las necesidades y experiencias de la administración pública
para hacer políticas públicas más digitales y participativas, con métodos más inclusivos
gracias a diferentes herramientas de innovación.
PRIMERA MESA
Securitización de nuestras vidas en fronteras y ciudades
Ana Valdivia
Matemática y Doctora en Inteligencia Artificial. Investiga el impacto político, técnico y social que
la datificación y la inteligencia artificial tienen sobre colectivos históricamente oprimidos.
Actualmente trabaja dentro del proyecto ERC “SECURITY FLOWS”, donde analiza qué tipo de
tecnologías y datos se recogen y comparten en las fronteras europeas, y cómo éstas afectan a
personas migrantes y demandantes de asilo. Ana también tiene experiencia dentro del sector
privado, dónde ha desarrollado proyectos de análisis de datos con equipos interdisciplinares
formados por científicas de datos, sociólogas, abogadas y expertas en ética digital.
Youssef M.Ouled
Periodista colaborador en diferentes medios de comunicación y trabaja para la organización
Rights International Spain (RIS) analizando el uso que hacen las Fuerzas y Cuerpos de
Seguridad del Estado del perfilamiento racial. Coautor del informe “Bajo Sospecha: Impacto de
las prácticas policiales discriminatorias”, desarrolló junto al Equipo del Decenio
Afrodescendiente de la ONU el informe “Racismo y Xenofobia durante el Estado de alarma en
España”, una investigación que analiza el impacto en la sociedad de la Covid-19 y las medidas
adoptadas por el Gobierno.
Nora Miralles
Periodista especializada en análisis internacional e investigadora en seguridad, género y
Derechos Humanos en el Observatori de Drets Humans i Empreses a la Mediterrània (ODHE) y en
el Centre Delàs d’Estudis per la Pau. Cooperativista en Sudergintza Koop. Master en Género,
Conflicto y Derechos Humanos por la Ulster University (Belfast). Forma parte de la Women’s
International League for Peace and Freedom (WILPF) y del movimiento popular de Manresa.
Pepa Martínez (Moderadora)
Licenciada en Derecho, Diplomada en cultura de Paz, Máster en educación para la ciudadanía y
en valores de la UB. Ha sido cooperante en terreno de proyectos de educación en DDHH en
México, y de ayuda humanitaria en Sudán. Ha trabajado como técnica de Educación para el
Desarrollo en varias entidades catalanas. Desde 2013 es la directora de Lafede.cat- Federación
de organizaciones para la justicia global.

4. 4
La securitización, la corriente política que trata el fenómeno migratorio como un peligro
para la seguridad nacional, es un concepto muy amplio que en esta jornada se ha querido
centrar en tres espacios: fronteras, migraciones y ciudades. Además, se apunta a las
soluciones tecnológicas que le impactan.
Desde los atentados del 11 de septiembre de 2001 en Estados Unidos, la sociedad ha permitido
que el estado se convierta en un ente vigilante y el derecho a la privacidad es uno de los
que ha sufrido un mayor golpe. La mayoría de la población, sin embargo, se considera libre de
esa vigilancia porque sigue las normas y leyes que rigen su país. Aunque se tenga la sensación
de que la securitización es un problema que solo concierne a quienes transgreden las normas
impuestas (los “malos ciudadanos”) lo cierto es que el concepto conlleva un grave riesgo de
vulneración de derechos.
Ana Valdivia
¿Cuál es el impacto de la IA en el contexto de las migraciones?
Evidentemente, nadie migra por placer, sino por razones que escapan de su control:
cuando su país está afectado por conflictos o violencia, por la emergencia climática, o si tienen
problemas económicos, o si son perseguidos por su ideología u orientación sexual… Estos son
algunos de los motivos que, junto a un aumento de los flujos de migración sur-norte, han
llevado a la mal llamada “crisis de los refugiados en Europa”.
Los países de acogida obligaron a la Unión Europea a desarrollar la Regulación de Dublín,, que
obliga a la persona demandante de asilo a permanecer en el país de entrada. Este reglamento se
refuerza con la base de datos EURODAC, que recoge información de los demandantes de asilo.
La información incluye nombre, apellidos y fecha de nacimiento, pero también datos
biométricos como las huellas dactilares y ya se está trabajando en proyectos para incluir el
reconocimiento facial. Otras bases de datos, como Visa Information System (VIS), recogen
información también para todos aquellos que aplican para una VISA para viajar a países del
espacio Schengen. Otros proyectos como EES (Entry-Exit System) suponen una nueva base de
datos que recogerá en 2021 toda la información, incluyendo datos biométricos, de todas las
personas no ciudadanas de la Unión Europea que crucen fronteras dentro del espacio.
Los datos biométricos son datos que permiten identificar unívocamente a una persona.
El problema es que no es posible renunciar a ellos, no es posible separarlos de su
identidad, cambiarlos o revocarlos. Cara, huellas dactilares, voz, patrón de venas (cuya
viabilidad está investigando la UE), etc, identifican para siempre a su propietario. Eso puede
llevar a casos en los que una persona no pueda cruzar una frontera porque sus datos perennes
son detectados por un algoritmo en otra base que dirime incompatibilidades, incluso cuando su
testimonio niegue cualquier irregularidad. En ocasiones se da más credibilidad a una base de
datos y a las coincidencias obtenidas por una IA que a las explicaciones del o la
demandante.
“Existe muchísima opacidad en el proceso. No es posible saber qué empresas están
desarrollando este tipo de algoritmos, qué tipos de algoritmos son, cómo se evalúan, cómo
se diseñan y con qué datos se entrenan, qué métricas tienen, cuáles son sus tasas de error, que
datos usan…” Ana Valdivia

5. 5
En una investigación llevada a cabo por el equipo de Security Flows en el que trabaja Ana
Valdivia, se analizaron todos los contratos de FRONTEX y eu-LISA, las dos agencias
responsables de la gestión de proyectos en el contexto migratorio europeo. Así, se
descubrió que Frontex ha invertido entre 30 50 millones de euros entre 2018 y 2019 en
tecnologías de vigilancia, como los drones, en IAs que detecten el “riesgo” que embarcaciones
en el Mediterráneo sean “peligrosas”, además de 50 millones de euros en vuelos de deportación.
También investigaron qué tipo de empresas ganan este tipo de contratos.
Según esta investigación, hay indicios de un posible oligopolio en el sistema. Tras analizar
las características de estos algoritmos, se ha descubierto que la tasa de error del algoritmo de
reconocimiento facial de IDEMIA es mayor en mujeres, especialmente en las mujeres indias
respecto a las blancas.
En conclusión, la tecnología usada ampliamente en las fronteras europeas (bases de datos
y métodos basados en estadísticas) se ha convertido en una capa más de la
criminalización de la migración. Es necesario conocer mejor el impacto que tienen estos
sistemas y analizar las potenciales violaciones de derechos humanos en las que incurren con
equipos multidisciplinares. Además, la industria privada del control de fronteras es opaca y no
cuenta con un sistema de rendición de cuentas efectivo.
Youssef M.Ouled
¿Se han reforzado las prácticas de racismo institucional?
“Para hablar de racismo institucional hay que empezar hablando del racismo estructural, en el
que se enraizan todos los ámbitos de la vida y en todos los aspectos, no solo en las
instituciones.” Youssef M.Ouled
El racismo está fuertemente arraigado en el estado, pero también en la sociedad
española, aunque las consecuencias no son percibidas por todo el mundo, sobre todo por
las personas que no son racializadas. Individuales y organismos llevan años apuntando la
problemática y siguen denunciando el racismo estructural hoy en día, especialmente durante la
pandemia en la que se ha recrudecido sus efectos tanto en el acceso a la vivienda y a la
educación, como en el control y la brutalidad de las fuerzas y cuerpos de seguridad del estado.
Hay una lucha contra la violencia racista hacia la población migrante del sur a nivel global, pero
también contra la segregación escolar y la expulsión del alumnado racializado del sistema o el
control policial discriminatorio. Todas estas demandas coinciden en ubicar el racismo en el
estado, las administraciones y en las instituciones. El enfoque antirracista en IA no se
puede entender sin tener en cuenta estas luchas y la falta de representatividad racializada en
todos los espacios.
“El racismo sin el poder se queda en prejuicio” Youssef M.Ouled

6. 6
Desde el antirracismo es fundamental que se aborden de forma directa las implicaciones
del uso de la Inteligencia Artificial. También, es necesario demostrar de manera cuantitativa
el problema racista a través de datos oficiales que respalden las denuncias testimoniales. Es
una reivindicación, desoída, que viene de lejos pero que conlleva ciertos peligros al implicar que
las administraciones recojan datos desglosados por raza y etnia. Mientras tanto, otros datos
igualmente sensibles se comparten en fronteras forzando la expulsión de las personas
migradas.
“Evidenciando las consecuencias podremos ver las causas” Youssef M.Ouled
La vulneración del derecho a la vida, que tiene lugar en la política migratoria y en todas las
aplicaciones que se hace en este contexto con Inteligencia Artificial, sirve para hacer crecer el
negocio millonario de la securitización y el control migratorio que cada año aumenta su
presupuesto en detrimento de los servicios públicos.
Analizando los contratos del Gobierno de los últimos años en política migratoria es posible ver
cómo estas empresas refuerzan los perímetros fronterizos mientras se encargan de los
programas de acogida e integración, limpieza y alimentación en CIE y CETI -donde los DDHH
se vulneran constantemente- y son los mismos que se encargan de la seguridad y sensores de
las vallas, por ejemplo, y de la detección y expulsión de migrantes, con grandes beneficios para
aerolíneas como AirEuropa.
“Los sistemas de radares son capaces de detectar cualquier cosa en el Mediterráneo, pero no
funcionan de forma tan eficiente en el caso de las pateras a la deriva, incrementando las cifras
de la necropolítica migratoria” Youssef M.Ouled
Muchos de estos servicios, como por ejemplo el uso de drones armados para el control
migratorio, se resuelven en contratos muy opacos con empresas que en ocasiones acaban
siendo puertas giratorias de políticos españoles. Estos incluyen también la recogida de
datos biométricos, de registros faciales, en cuyo uso se denuncia habitualmente la existencia
de prácticas discriminatorias basadas en las características raciales para registrar, controlar e
identificar a personas.
Un ejemplo más de la criminalización de las personas con diversidad de rasgos es la denuncia
de cómo la Policía de Nueva York cuenta con más de 15.000 cámaras para rastrear a gente en
barrios racializados, utilizando reconocimiento facial masivo en Manhattan, el Bronx y Brooklyn,
vulnerando el derecho a la privacidad sin ningún tipo de sospecha razonada. En España
hay casos parecidos en barrios racializados como Lavapiés en Madrid o San Francisco en Bilbao,
con fuerte presencia de cámaras aún teniendo índices de criminalidad más bajos respecto a
otros.

7. 7
Nora Miralles
¿Cómo se traduce la securitización en las ciudades españolas?
“Las tecnologías biométricas y de IA se han puesto al servicio de la vigilancia masiva y del
control de ciertas comunidades, personas migradas y racializadas, bajo el mantra de la lucha
contra el terrorismo” Nora Miralles
Las tecnologías basadas en Inteligencia Artificial han invadido el espacio público, especialmente
en las ciudades, para el control masivo de la población bajo el pretexto de la seguridad
ciudadana y la lucha contra la criminalidad. Existe una tendencia a aumentar los niveles de
vigilancia con tecnología que facilita el control de comunicaciones, el reconocimiento con
cámaras de videovigilancia, la posición de ciudadanos por geolocalización, el almacenamiento
en aumento de datos de los ciudadanos… Un aumento que no está justificado ni regulado, y en
el que ni los derechos civiles y políticos ni la privacidad están protegidos, con el añadido de que
no se informa debidamente sobre su uso.
Esta tendencia se ha acelerado durante la pandemia, que ha resultado un escenario muy
propicio para su proliferación. Por ejemplo, con el uso de drones de vigilancia para el control de
las medidas impuestas o incluso con la medición de la temperatura corporal de los ciudadanos,
que como datos médicos, deberían ser privados. Todo este control no respeta a las personas
individuales y el contexto de sus necesidades y conduce a un sistema mucho más punitivo
de los comportamientos individuales sin estar debidamente justificado, en contextos variados
como manifestaciones o protestas, establecimientos comerciales, institutos públicos… Algunas
de las tecnologías de reconocimiento incluso incluyen modelos de detección de
comportamientos sospechosos con un margen de error muy grande.
Aunque la tendencia es anterior, la pandemia de Covid-19 está contribuyendo a legitimar el
modelo de vigilancia masiva, lo cual es un escenario muy lucrativo para empresas del entorno
de la militarización y securitización de fronteras, pero también está siendo usado para reforzar
sistemas de detección de Fake News contra políticas del gobierno o discursos negacionistas.
Otro factor es la apuesta clara por las Smart Cities (Plan Nacional de Ciudades Inteligentes),
otro contexto que ha ayudado mucho a implantar sistemas con gran potencial para minar
la privacidad y dotar de más capacidad de control a las fuerzas de seguridad del Estado.
Gestionar su acceso y rectificación es muy difícil porque tampoco se da visibilidad sobre su uso
y motivación. Con todo ello, el espacio público es un espacio en disputa, donde las nuevas
tecnologías tienen cada vez más potencial para controlar la disidencia política, coartar el
derecho a la protesta, y en definitiva, poner en peligro los derechos civiles y políticos.

8. 8
¿Qué puede hacer la sociedad civil?
Ana Valdivia
Hay niveles de resistencia, la resistencia de las personas migrantes y la de las personas con
derechos como ciudadanos. Para el segundo colectivo, se anunció recientemente un
movimiento que se llama ‘Abolish FRONTEX’ donde se exige la abolición del sistema de
seguridad de las fronteras europeas por su opacidad, vulneración de derechos humanos,
responsabilidad en las más de 44.000 personas migrantes muertas… Se está usando
dinero público para deportar inmigrantes sin el consentimiento de la ciudadanía europea. Esa es
una opción como ciudadana de la Unión Europea.
Youssef M.Ouled
El derecho que se vulnera sistemáticamente es el derecho a la vida. El mar Mediterráneo es una
fosa común y lo que han llamado crisis migratoria es en realidad el temor a que lleguen
vivos. Se vulnera el derecho a la libre circulación, a migrar, y el espacio público es un espacio en
disputa donde las personas migrantes no se están atreviendo a salir a la calle incluso en
situaciones de necesidad. Es importante exigir transparencia para saber cómo y dónde se
destina el dinero orientado al control migratorio. Las personas migrantes y racializadas
deben tener un espacio de autonomía política, con participación en igualdad, en las
organizaciones nacionales e internacionales que denuncien y luchen contra la situación. Hay
que entender que estamos cayendo en una deriva autoritaria, en una retórica de cada vez
mayor control y securitización que nos afecta a todos, no solo a la población migrante.
Nora Miralles
Es necesario exigir una mayor regulación en la gestión de datos sobre la población, tener un
conocimiento mayor sobre las tecnologías, y abrir debates sobre su uso para disputar este
marco securitario que se está implantado y justificando, y que señala una parte concreta
de la población. Eso va unido a discutir la cultura del castigo y sus principales instituciones
(fronteras, cárceles, CIEs…). Los conflictos y delitos tienen contextos y causas, las
tecnologías no los van a solucionar. Se requiere impulsar nuevos modelos de seguridad
centrados en los DDHH. También se pueden impulsar la prohibición de ciertas tecnologías, por
ejemplo el reconocimiento facial, como ya se ha hecho en San Francisco. También hay que
resaltar la coherencia de políticas de empresa: nuestros datos no solo están en manos de la
policía y de los cuerpos de seguridad, sino también de empresas que vulneran DDHH.
¿Se pueden rastrear los datos sobre la población que se acumulan en bases de datos?
Ana Valdivia
El problema es la opacidad. No sabemos qué empresas están desarrollando este tipo de
tecnologías, no sabemos dónde están almacenadas las bases de datos. Sabemos que las
empresas tienen sede en Europa, aunque son multinacionales, y la GDPR obliga a que todos los
datos se almacenen en la UE, pero ¿cómo afecta eso a los migrantes que no son
considerados ciudadanos europeos?

9. 9
La UE sacó el primer reglamento para regular la IA, con un espacio dedicado a preguntas y
respuestas. Existe sección para datos biométricos, donde se dice que el reconocimiento facial
está prohibido en los espacios públicos, pero hay excepciones como “prevenir el crimen”.
Hecha la ley, hecha la trampa. Europol sacó un documento en el que afirmaba que no había
ninguna relación entre la inmigración irregular y el terrorismo, pero aún así continua siendo uno
de los principales argumentos esgrimidos por algunos representantes europeos.
Youssef M.Ouled
Yo defiendo que se recojan datos para poder visibilizar determinadas realidades y
violencias estructurales, para evidenciarlas y detectar qué está generando esas
desigualdades, pero plantea problemas: ¿quién custodia esos datos y para qué fines? Además,
el pirateo informático de bases de datos de instituciones públicas y administraciones es ahora
mismo uno de los negocios más lucrativos. El Ministerio de Interior fue hackeado
recientemente y eso tiene graves implicaciones para las personas vulnerables, aunque la
ley de protección de datos no sanciona los problemas de seguridad y brechas de información
que sufran las administraciones públicas.
CONCLUSIONES
Ahora es un buen momento para sensibilizar a la población sobre la reivindicación de
derechos y privacidad. Organizarse es un deber y ahora es un buen momento para hacer
pedagogía, debido al contexto actual de pandemia.
Hay que desnormalizar la hipervigilancia. Sus aplicaciones están creciendo a pasos
agigantados y es hora de “de-securitizar” la política. Hay formas de hacer política que salva
vidas, que permite que se inviertan recursos públicos en proyectos sociales, en políticas de
acogida y de ayudas, y de protección de derechos sociales.
La lucha contra la discriminación algorítmica es la lucha antifascista y contra la
discriminación racial. La tecnología y la Inteligencia Artificial son nuevas herramientas que se
pueden usar para ello, hay que estar en alerta.
ANEXOS
Preguntas y reflexiones
¿Hay alguna manera de tener una visión completa de dónde existen cámaras dotadas
inteligencia artificial? ¿Alguna organización que las compile y leyes de transparencia
que obliguen a hacerlas públicas?
Muchas veces se despliegan cámaras que tienen potencial, pero no tienen instalado ese tipo de
software. Tampoco se dispone de un mapeo de esas instalaciones, pero trascienden noticias
como que en Madrid se han implementado una serie de cámaras que sí que incluyen
programación de reconocimiento facial o que el ayuntamiento de Barcelona iba a comprar toda
una serie de cámaras y las iban a colocar en un barrio con problemas racistas. Con políticas de
transparencia se podría ahondar en ese aspecto.

10. 10
Las leyes vigentes ya regulan TODO lo que se ha señalado. Si no se puede controlar con lo
existente ¿qué proponen?
Las leyes no lo regulan todo. No hay ley que regule la IA o que obligue a la administración a
hacer públicas las métricas, algoritmos usados… desde la perspectiva tecnológica no está todo
regulado.
¿Podéis dar ejemplos positivos del uso o posible uso de estas tecnologías en procesos de
desarrollo?
La recogida de datos puede ser positiva y útil, pero estando atentos a todos los peligros que
plantea, sin vulnerar la ley de protección de datos… Puede, por ejemplo, visibilizar las
poblaciones más identificadas y cuales son los resultados de esa identificación. Con
proyectos pilotos se ha demostrado que las personas con nacionalidad marroquí eran paradas
hasta seis veces más que las de nacionalidad española, pero el resultado de identificaciones
que eran positivas (que acabasen con multa o detención) era mayor en las personas de
nacionalidad española, lo cual demuestra con datos una percepción subjetiva denunciada por
sus propias víctimas.
Sí que existen usos positivos, como los procesos de participación ciudadana. El problema es el
de siempre: la tecnología es neutra, pero su uso no. Además, los datos almacenados pueden
llegar a ser muy sensibles y, más allá de la posibilidad de un hackeo o filtración de los datos, las
instituciones europeas las podría ganar la extrema derecha: ¿qué pasaría entonces con los
datos sobre inmigración y disidencia política?
En Francia se ha usado el reconocimiento facial para detectar, durante manifestaciones, como
algunos miembros del cuerpo policial cometían vulneraciones de derechos. También lo
hemos usado para detectar que la policía del Reino Unido para más a la población racializada,
pero los delitos los cometen mayormente personas blancas.
¿Una mejor regulación y transparencia del uso de los sistemas de control podría hacer
positivo el uso de estas tecnologías o siempre van a pesar más los aspectos negativos?
Las buenas prácticas en el uso de estos sistemas empiezan por la educación. Es posible
publicar datos, pero si no se empieza a educar, a alarmar sobre la extrema derecha, construir
sociedades diversas, por mucho que se presenten datos no se llega a ninguna parte.
¿Conocéis casos de usos de la IA/algoritmos con sesgo racial contra personas gitanas?
estamos preparando un proyecto sobre esto. Gracias. Saez
Quizás no existe un trabajo tan específico, pero todas las tecnologías de predicción de
criminalidad en los barrios, con fuertes efectos estigmatizadores, no solo afectan a la población
migrante y seguramente se aplica en barrios con población gitana, se podría investigar.

11. 11
La Asociación EDRi, realizó recientemente un evento sobre reconocimiento facial, resistencia y
derechos de la población romaní en Europa y quizás puede ser una buena fuente de
información.
¿Cómo podemos pedir a las empresas que se lucran de la securitización que rindan
cuentas?
Más que pedirles que rindan cuentas, hay que exigirles que dejen de vulnerar derechos. Hay que
promover una cultura de coherencia de políticas que premien empresas éticas en este sentido.
El negocio es muy lucrativo y acaba atrayendo a empresas que no tienen tanto compromiso
ético como voluntad de hacer mucho dinero.
No se puede pedir rendición de cuentas a las empresas privadas por la opacidad de sus
relaciones con la administración, a quién sí que hay que exigir más. Hay transparencia en
cuanto a algunos aspectos de las contrataciones, es cada vez más fácil saber qué empresas hay
detrás de los contratos, pero al mismo tiempo hay opacidad porque los contratos tienen
descripciones muy cortas, hay subcontratos de empresas que no se hacen públicas, relaciones
empresariales que no se explicitan...
Muchas veces la gente que viene a estas charlas ya es la que está concienciada o abierta
a serlo. ¿Cómo y dónde comunicar fuera de estas cámaras de eco para que cale el
mensaje?
Se requiere un fuerte trabajo de empatía, reclamar que la sociedad se escuche más, que se
hable con las personas que sufren injusticias o que son vulnerabilizadas, especialmente
aquellos que trabajan en desarrollar tecnologías que acabarán afectando a la sociedad en su
conjunto o a determinados colectivos. Hay que tratar de visibilizar que todo eso que suena tan
lejano se acaba traduciendo en vulneración de derechos muy concretos, saber y comunicar
cómo afecta en el día a día de las personas, como la hipervigilancia cada vez más masiva. Hay
que buscar los casos concretos y hacer este trabajo de denuncia y de visibilización. No
olvidemos que el derecho al voto es un elemento de presión, se puede usar para exigir rendición
de cuentas.
Enlaces relacionados de interés 1ª mesa
● Actividad parlamentaria del Congreso de los Diputados en relación con las
MIGRACIONES:
https://tipiciudadano.es/topics/c03bd478f61d7d2139e2f16c118a0b5003e31bd0
● Informe del Grupo de Trabajo de Expertos sobre los Afrodescendientes acerca de su
misión en España:
http://rightsinternationalspain.org/uploads/publicacion/eca132299837fd31773b149f2e
9d600c5142af6c.pdf
● Estudio sobre la percepción de la discriminación por origen racial o étnico por parte de
sus potenciales víctimas en 2020:

12. 12
https://igualdadynodiscriminacion.igualdad.gob.es/destacados/estudiopercepcion.html
● El Parlamento Europeo aprueba los presupuestos comunitarios para los próximos siete
años: https://www.rtve.es/noticias/20201216/parlamento-europeo-aprueba-
presupuestos-comunitarios-2021-2027/2060336.shtml
● Excelencia y confianza en la inteligencia artificial:
https://ec.europa.eu/info/strategy/priorities-2019-2024/europe-fit-digital-
age/excellence-trust-artificial-intelligence_es#generar-confianza-mediante-el-
primer-marco-jurdico-sobre-la-ia
● Aquí un análisis crítico de la propuesta de reglamentación https://edri.org/our-
work/from-trustworthy-ai-to-curtailing-harmful-uses-edris-impact-on-the-proposed-
eu-ai-act/
● Tecnologías de predicción de crímenes:
https://behaviorandlawjournal.com/BLJ/article/download/75/90/

13. 13
SEGUNDA MESA
Exclusión social automatizada. ¿cómo evitarlo?
Gabriel González
Licenciado en Psicología y con trayectoria profesional ligada a proyectos socioeducativos con la
tecnología como un medio para la mejora de la vida de las personas. Ha trabajado en atención
directa en la Xarxa Òmnia y hace más de 10 años que se centra en el diseño e implementación
de proyectos. Actualmente trabaja como responsable de innovación en la Fundación Esplai
Ciudadanía Comprometida y colabora en la Comisión de Seguimiento del proyecto m4Social de
la Taula d’Entitats del Tercer Sector Social de Cataluña.
Sara Suárez-Gonzalo
Sara Suárez-Gonzalo es Doctora por la Universitat Pompeu Fabra de Barcelona, donde trabaja
como investigadora postdoctoral Irla especializada en las implicaciones sociales y políticas de la
explotación de datos masivos. Además del ámbito más puramente académico, ha trabajado
para diferentes instituciones públicas y privadas, con cargos de responsabilidad en el ámbito de
la investigación, la consultoría y la asesoría de políticas públicas digitales.
Javier Sánchez
Investigador Distinguido “Beatriz Galindo” en el grupo de investigación AYRNA del Depto. de
Informática y Análisis Numérico de la Universidad de Córdoba e investigador asociado en el Data
Justice Lab de la Universidad de Cardiff. Su investigación actual se sitúa en la brecha de
conocimiento entre las ciencias sociales y la tecnología con propuestas de auditoría y diseño en
la intersección de los sistemas de información inteligentes y la justicia social
Irene Parra (Moderadora)
Responsable de Comunicación en m4Social y Comunicación Digital en la Taula d'entitats del
Tercer Sector Social de Catalunya. Consultora en tecnologías aplicadas a las organizaciones,
especializada en marketing digital, comunicación con perspectiva de género y estudios
LGTBIQ+.
Sabemos que la tecnología y la innovación son herramientas con gran potencial para buscar
soluciones a problemas sociales estructurales. Sin embargo, en esta mesa se pretende
averiguar, mediante reflexiones y ejemplos extraídos de casos reales, si realmente este es el
caso de la Inteligencia Artificial y qué beneficios podría aportar, o si los fallos de base
detectados en su diseño y funcionamiento actuales le impiden jugar este papel
transformador.
Los sistemas de Inteligencia Artificial pueden reproducir e incluso perpetuar modelos
injustos. Esto puede deberse, en parte, a errores en diferentes estratos de su confección e
ideas preconcebidas. Para evitar sesgos y procurar la máxima es imprescindible reclamar y
asegurar la transparencia de todos los pasos de la creación de las IAs, desde su definición a
la rendición de cuentas de sus resultados, pasando por su diseño y puesta en marcha.

14. 14
¿Cómo está afectando la IA a los servicios sociales? ¿Cuáles son sus usos y resultados
actuales? ¿Es posible decir que la inteligencia artificial es un agente de cambio?
Javier Sánchez
En el mundo existen muchos ejemplos de sistemas de gestión de recursos sociales del estado
del bienestar a través de sistemas algorítmicos o basados en datos, que en inglés se conocen
como sistemas Data Driven, dirigidos por datos. Este término lleva a equívocos porque ofrece
una falsa sensación de que en el trabajo de procesado de datos y toma de decisiones de estos
sistemas no hay intervención humana, que sus decisiones y acciones son autónomas y, por
tanto, objetivas. Eso lleva a situaciones como las que viven muchos usuarios de servicios de la
administración pública en la que una de las respuestas más habituales frente a la imposibilidad
de atender o entender una petición es: “no soy yo, es el ordenador”.
Algunos de los casos de uso de la Inteligencia Artificial en el panorama internacional son SyRI,
para la detección de fraude social en los Países Bajos y desarrollado bajo el supuesto,
actualmente rechazado, de que la gente de clases bajas que solicita ayudas tiende a estafar.
También existe el sistema australiano robo-debts, que actualmente se encuentra bajo
investigación judicial después de haber acusado a 600.000 personas de fraude. Por último,
cabe mencionar el sistema VioGen en España, un sistema algorítmico que determina el riesgo
de que una mujer pueda padecer violencia de género, asignando una escala de riesgo de cinco
tramos.
En Bristol se usa un sistema Integral Analítico de Datos (BIAH) que puntúa a los ciudadanos y
ciudadanas utilizando distintas fuentes de datos hasta en 35 problemas sociales. Un ejemplo
sería el uso combinado de información policial y socioeconómica para detectar y predecir la
probabilidad de que un niño se encuentre en cierto riesgo de exclusión social. Por muchos datos
que tenga este sistema, su precisión y acierto no están asegurados de por sí.
“No hay evidencia ni ejemplos sólidos de que el comportamiento humano pueda predecirse
algorítmicamente.”
La estadística ofrece garantías para describir y predecir con mayor o menor precisión un
comportamiento determinado a nivel de población, pero no a nivel individual.
Actualmente, se usan herramientas poblacionales para analizar casos individuales, lo cual es
erróneo. Ejemplo de ello es este estudio muy reciente en que se intentó predecir trayectorias de
vida y aspectos sociales usando varias bases de datos y algoritmos. Ningún grupo consiguió
predecir ninguno de los eventos. Esto sitúa el ámbito estadístico poblacional aplicado al
comportamiento individual como un sistema no mucho mejor ni más justo que el del azar.
Lanzar una moneda al aire tiene la misma capacidad predictiva que una IA haciendo
predicciones de comportamiento individual en base a datos estadísticos.
Es importante destacar que las herramientas de predicción con Inteligencia Artificial
normalmente van dirigidas a vigilar a personas migrantes o racializadas, comunidades en riesgo

15. 15
de exclusión social o familias con bajos ingresos. Raramente se usan para localizar y
monitorizar la delincuencia financiera y a criminales de cuello blanco, cuando tendría
sentido por las cantidades de dinero público que esconden, redistribuyen o roban. Aunque
existen información y datos sobre crímenes financieros, no se investigan y persiguen con las
mismas herramientas innovadoras que el segmento poblacional con más riesgo de exclusión. El
proyecto White Collar Crime Risk Zones denunció esa doble vara de medir realizando un mapa
interactivo que analizaba las zonas de Nueva York donde hay más riesgo de vivir un crimen
financiero e incluso generó el retrato robot del perfil de persona sospechosa que pudiera
protagonizar uno de estos crímenes: un hombre blanco.
¿Cómo evitar los problemas de sesgo e injusticia en los sistemas con IA o basados en
datos estadísticos?
La gran apuesta de las propias empresas privadas que desarrollan soluciones tecnológicas es la
autorregulación y el desarrollo de guías éticas, aunque es un remedio que genera grandes
conflictos de intereses. También existe un riesgo de solucionismo tecnológico ya que
muchos de los problemas relacionados con Inteligencia Artificial no se solucionan sólo con su
monitorización y predicción, pero sí con más atención al origen del conflicto social
Por otro lado, las guías éticas que desarrollan las empresas privadas se basan en principios
abstractos y no aterrizan muchos de los conceptos lo que en la práctica diluye los requisitos de
un sistema para ponerse en marcha. Una posibilidad de concreción de principios sería
basarlos en los principios de los Derechos Humanos, aunque la inmensa mayoría de ellas
son elaboradas en países occidentales del norte, Estados Unidos y Europa, y no le dan el
mismo peso a las dimensiones analizadas, por lo que podríamos decir que requieren la
aplicación de unas ‘gafas interseccionales’ que sean sensibles a criterios más diversos.
En conclusión, en ámbitos de justicia social es preferible usar la estadística descriptiva que
la estadística predictiva, que en general presenta varios problemas como la imprecisión, la
disriminación, imposibilidad de recoger factores no codificables numéricamente y la
problemática comentada de extrapolar conclusiones poblacionales a individuos. No es seguro
ni efectivo anticipar el futuro con datos estadísticos. Además, es indispensable ser más
críticos con los algoritmos aplicados, con una mirada que también incluya a la comunidad
afectada y no solo a la operacional que pone en marcha esas soluciones de procesado
estadístico y que imbuye la solución tecnológica de sus propias lógicas ideológicas. Más
evaluación, más interdisciplinariedad, más inclusión de actores y más sensibilidad hacia los
conceptos sociotécnicos. Un ejemplo es el proyecto Algorithmic Ecology.

16. 16
¿Cómo pueden las organizaciones sociales trabajar para evitar un uso excluyente de las
IAs?
El uso de herramientas de automatización en el ámbito social va en aumento, y esto empieza a
traducirse en cambios palpables, que afectan a la sociedad, y más especialmente a los
grupos sociales más vulnerables. Estos cambios pueden ser más o menos explícitos, más
ruidosos o más sutiles, pero es igualmente importante analizar las consecuencias de ambos.
En primer lugar, podemos hablar de las consecuencias inmediatas, que tienen una afectación
directa y práctica en un individuo o colectivo concreto, como puede ser quedar excluido de una
ayuda social. Es necesario, sin embargo, prestar atención también a consecuencias menos
inmediatas, pero que pueden degradar el tipo de sociedad que queremos ser.
Por un lado, usar tecnologías como la IA no resuelve cualquier tipo de problema, y, por otro lado,
a menudo la introducción de dicha tecnología supone restar otros recursos económicos
y técnicos, pero también reducir la atención humana a estos problemas.
Es necesario hacerse una pregunta previa a la implantación de una IA. ¿Para qué sirve
introducir algoritmos en el ámbito de los servicios sociales? Actualmente, su uso responde
a una motivación por aumentar la eficiencia de los procesos en los que se inserta, y obtener
cierto ahorro económico, además de guiarse por la supuesta objetividad de la técnica.
Teniendo en cuenta que uno de los objetivos de nuestra sociedad democrática es que todas las
voces tengan un papel activo, no es bueno que el criterio que prevalezca en un estado del
bienestar, y en concreto en relación a los servicios sociales, sea la eficiencia. La
implantación de sistemas automatizados, en cambio, limita en la práctica la intervención
humana y redunda en una disminución de la participación democrática. Conduce a un tipo de
sociedad en la que la brecha entre gobernantes y gobernados aumenta.
“En la gestión pública, la implantación acrítica de sistemas automatizados basados en
algoritmos de inteligencia artificial nos acerca a una sociedad menos democrática, donde una
élite gobernante conoce los instrumentos tecnológicos y los usa para aumentar la eficiencia,
mientras la ciudadanía gobernada no la comprende, no tiene capacidad de participar, pero está
afectada por las decisiones tomadas”
Con el objetivo de evitar estos efectos indeseados de los sistemas de IAen el sector público, las
organizaciones sociales y el conjunto de la ciudadanía deberían centrarse en tres acciones.
1. Entender la lógica básica del funcionamiento de la AI, es decir, entender qué es capaz de
hacer y qué no, para qué sirve y qué la hace inútil.
2. Desmitificar y deselitizar la IA para acercarla a toda la sociedad, usando términos
accesibles y comprensibles que estén relacionados con su realidad social.

17. 17
3. Fomentar la participación social de la ciudadanía -especialmente la de los grupos más
marginalizados y vulnerables- y la de las entidades sociales.
La IA es una tecnología de moda, que está muy sobredimensionada. Se le atribuyen
capacidades que en realidad no tiene ni se espera que tenga a medio o corto plazo y se trata,
además, de una tecnología muy opaca. Eso provoca que la ciudadanía la entienda como algo
misterioso sobre la que no se ve capaz de opinar y que esa función crítica se considere
reservada a perfiles expertos. Ese es uno de los problemas que hay que combatir de forma más
urgente: todo el mundo puede comprender la lógica básica del funcionamiento de la IA. Para
ello, se recomiendan herramientas de formación iniciática como el curso de introducción a
la IA Elements of AI, que ha sido traducido recientemente al castellano, porque ayuda a
entender la lógica básica de la tecnología.
La IA puede ayudar en la eficiencia, pero precisamente el ámbito del servicio social
requiere mayores dosis de empatía humana que una máquina no puede ofrecer. ¿Cómo se
conjugan esas dos necesidades?
Gabriel González
“Hay que dejar la empatía a las personas y encargar a la tecnología aquello que es capaz de
hacer bien, complementando y aportando valor a las experiencias de apoyo a las personas”
La atención a las personas debe ser empática,y que esta empatía sea la base de todos los
proyectos dee proyectos que acometan las organizaciones sociales para mejorar la calidad de
vida de quienes atienden. Eso es posible con metodologías que pongan a las personas en el
centro, como por ejemplo de la metodología Design Thinking, creada con el objetivo de que
sean las mismas personas beneficiarias las que participen en la construcción de cualquier
iniciativa planteada.
En el caso de la IA, es imprescindible que en su diseño se cuente con equipos multidisciplinares
que incluyan a las mismas personas que se pretende atender. Además, en su confección es
necesaria una gran dosis de empatía que asegure que se incluyen criterios de
imparcialidad para un trato equitativo, de confiabilidad y seguridad, privacidad y gobernanza
inclusividad para no dejar a nadie al margen y transparencia que asegure que se conozca la
finalidad de los objetivos de esa IA, su funcionamiento y sus limitaciones.
Estos equipos de diseño de IAs deben incluir a las personas beneficiarias, pero también a
perfiles profesionales diversos que aporten conocimiento, minimizando de esta manera la
posibilidad de producir algoritmos sesgados que reproduzcan o amplifiquen discriminaciones ya
presentes en la sociedad.
El proceso de auditoría de una IA debería estar presente durante todo su ciclo de vida, incluso
en la parte final en la que una persona acaba tomando la decisión definitiva basándose en

18. 18
mayor o menor medida en los resultados generados por esa inteligencia artificial, de manera
que esa persona sea capaz incluso de descartar lo que proponga la máquina, si lo
considera necesario.
Para asegurar la inclusividad de estas tecnologías, es imprescindible quelas personas
beneficiarias sean dotadas de los recursos necesarios y reciban las explicaciones sobre qué
papel tendrá la tecnología en el servicio que se les ofrezca. Además, se deben valorar y
anticipar dentro de lo posible las consecuencias no deseables que puede tener cualquier
propuesta tecnológica.
Las organizaciones de la sociedad civil llevan mucho tiempo luchando para superar la brecha
digital en todas sus formas, precisamente para asegurar que las soluciones propuestas
lleguen a sus usuarios potenciales.
Es hora de incorporar la IA dentro de la competencia digital de las personas. Por su
capacidad disruptiva y transformadora, y más allá de los aspectos técnicos que implica, es
necesario compartir y explicar las implicaciones sociales y personales que comporta su uso.
Especialmente porque algunos de estos algoritmos se están usando como modificadores
de pensamiento y conducta en base a intereses comerciales y políticos. Los filtros burbuja, la
economía de la atención, los servicios digitales aparentemente gratuitos y el negocio de los
datos… todos estos conceptos, con riesgos importantes, se construyen alrededor de algoritmos
que es vital conocer para ser críticos en su impacto y en las decisiones que se toman a nivel
usuario.
En ese trabajo para mejorar la competencia digital, especialmente en edades tempranas,
hay que introducir el respeto a los demás, ya sea en la interacción en esos espacios digitales
o en la valoración crítica de los contenidos consumidos, con retos como los conocidos
deepfakes, uno de los usos perversos de la IA. Por ejemplo, a partir de los 10-12 años es
relativamente fácil aprender cómo funcionan los algoritmos y detectar los sesgos que incluyen.
En la Fundacion Esplai se han realizado algunas experiencias al respecto, aprovechando
recursos de la plataforma Machine Learning For Kids, gracias a la cual los jóvenes han
entrenado un algoritmo para detectar expresiones de violencia de género y racismo. Con este
tipo de propuestas se integra el trabajo de la educación en valores con la aplicación tecnológica.
¿Cómo se afronta la aplicación de la Inteligencia Artificial en las entidades sociales¿
¿Qué ventajas y desventajas expresan sus profesionales? ¿Qué tipo de acciones se
beneficiarían de su uso?
Gabriel González
Las tecnologías como la Inteligencia Artificial son vistas con recelo por los y las
profesionales del ámbito social, de la misma manera que las percibe parte de la ciudadanía.
Esto se puede deber a varios factores, incluyendoel papel de los medios de comunicación que
enfatizan las aplicaciones más controvertidas e impactantes de la tecnología, o una cultura
cinematográficaque ha creado un imaginario colectivo donde las que IA acaban tomando
conciencia de sí mismas y terminanrebelándose contra sus creadores.

19. 19
Además, se destaca la frialdad de la tecnología porque no es posible que actúe con la
proximidad humana. Estos dos factores, unidos a la falta de formación en competencias
digitales, ha provocado que el sector social vaya con retraso en la implantación de la tecnología.
Poco a poco, el sector se va dando cuenta de que se puede beneficiar de la tecnología digital y
la atención a las personas debe incluirla en sus procesos, especialmente cuando el mundo está
en plena aceleración de la transformación digital. Hacen falta recursos, formación -o
aprendizaje-, y sobre todo acompañamiento en este proceso estratégico que conlleva un
tiempo, ya que supone un cambio de actitudes, aptitudes y cultura organizativa.
El contexto de pandemia ha obligado a acelerar o iniciar los procesos de transformación
digital ante los límites que imponía el confinamiento. El proceso ha sido muy desigual, no sólo
por los cambios necesarios en cada organización sino también debido a la brecha digital que
afecta a los diferentes usuarios atendidos. Hablamos depersonas mayores en soledad no
elegida ysin apoyo familiar, personas con diferentes tipos de discapacidad, personas sin
recursos económicos y por tanto, sin dispositivos o conexiones de red.
“El valor de los proyectos sociales está marcado por el acompañamiento y la atención
personalizada, pero ello no es incompatible con las tecnologías o la IA”
¿Tendrá la tecnología del futuro capacidad de empatía equivalente a la de los humanos?
Ahora mismo eso es ciencia ficción, pero proyectos como el plan piloto del Ayuntamiento de
Barcelona con robots diseñados para acompañar personas mayores que viven solasha sido un
gran éxito.
Datos y privacidad en el ámbito social
Actualmente, existe una cantidad ingente de datos que se generan de forma automática -
aunque también manual-. Es el llamado Big Data, y son datos que no están bien estructurados
para mejorar el servicio a las personas atendidas por la entidad social que los usa. La IA, y una
de sus formas más usadas, el aprendizaje automático o Machine Learning, pueden ayudar
mucho a extraer patrones en esa gran cantidad de datos, y detectar elementos
susceptibles de mejora o formas de discriminación automatizada.
La implementación de estas herramientas con tan gran potencial requiere alianzas con
otros actores sociales que tengan el conocimiento técnico, la metodología o el capital para
llevarla a cabo como pueden ser universidades, la administración o empresas. Estos consorcios
conforman sistemas de cuádruple hélice que integran a todos los actores de la sociedad, la
forma más adecuada de abordar cualquier proyecto de ámbito social.
En conclusión, integrar la IA en organizaciones de la sociedad civil requiere más
capacitación para entender las posibilidades de los algoritmos, especialmente en lo que se

20. 20
refiere al ahorro de tareas que pueden asumir de forma autónoma y hacer mejor que los
humanos. Es imprescindible analizar las aplicaciones de la IA que se realizan fuera del
ámbito social, que pueden suponer una buena fuente de inspiración para los desarrollos
propios.
¿Cómo se ha aplicado la IA en el ámbito social y cómo impacta en el Tercer Sector, por
ejemplo, en las prestaciones sociales?
Javier Sánchez
La misma lógica que se puede ver en los motores de recomendación de películas, o de
música, se ha empezado a aplicar a las ofertas de trabajo del SEPE. A la vez, la tecnología
de Inteligencia Artificial se ha usado para generar los perfiles de los candidatos con más
posibilidades de acabar siendo un parado de larga duración, con parámetros como la
cantidad de tiempo de uso de la plataforma, o el número de ofertas consultadas. En su uso más
positivo, esta tecnología puede ayudar a los demandantes a encontrar trabajo más
eficientemente, de forma personalizada y adaptada a cada currículum, un método alejado de los
envíos genéricos de archivos PDF con centenares de ofertas. Pero también se corre el peligro
de que se hagan perfilados adicionales, fuera de los cauces de la intención del sistema, aunque
en este caso la RGPD debería ser garante de la privacidad.
¿Qué parámetros debe incluir un proyecto de Inteligencia Artificial para garantizar los
Derechos Humanos?
Sara Suárez-Gonzalo
No existen recetas mágicas para evaluar los sistemas de Inteligencia Artificial, y si, además, el
objetivo es valorar cómo afectan estos sistemas a la vida de las personas, no se pueden hacer
demasiadas generalizaciones. Cada sistema tiene sus particularidades técnicas y se
implementa en una determinada realidad social, política, económica y cultural, y los dos
contextos determinarán los efectos del sistema en esa realidad concreta.
No obstante, sí hay algunos aspectos en los que podemos fijarnos, más o menos de forma
general. Hoy en día, cuando se habla de IA nos referimos básicamente a algoritmos basados en
técnicas de aprendizaje automático, de Machine Learning. Su objetivo es procesar
información para producir un resultado más o menos marcado por las instrucciones
humanas. Estos resultados se usan para predecir eventos o comportamientos, clasificar
elementos o tomar decisiones. Para funcionar correctamente, en escenarios con altos índices
de incertidumbre, estos sistemas necesitan procesar grandes bases de datos para funcionar, el
llamado Big Data.
Teniendo en cuenta estos elementos comunes, para evaluar un determinado sistema de IA
podemos fijarnos en tres aspectos importantes:

21. 21
1. Datos: Analizar la fuente de información del algoritmo: qué datos procesa, cómo y para
qué lo hace.
2. Modelamiento: Delimitar en base a qué parámetros se construye el sistema. Cómo se
programa y cómo se modela el sistema: qué instrucciones se le han dado.
3. Concepción: Desvelar el objetivo inicial del sistema y su aplicación práctica. Cómo y
para qué se crea y cómo se implementa realmente.
1. Los errores en los datos de los que se alimenta un algoritmo pueden comprometer la
mejor de las herramientas de inteligencia artificial. El sistema podría estar procesando
datos inexactos, incompletos o inadecuados para representar la realidad que se pretende
analizar. Por ejemplo, entrenar un sistema de reconocimiento facial con fotografías que no
incluyan caras racializadas o con diversidad de rasgos sería ofrecer al algoritmo una visión
incompleta de la realidad. Este acabaría siendo mucho más impreciso cuando se encontrase
frente a estas características físicas que desconoce. Disponer de datos masivos y alimentar un
algoritmo con grandes cantidades de datos no siempre es suficiente para representar y
entender el mundo.
2. El modelamiento de un sistema de Inteligencia Artificial, cómo se ha construido y cómo
ha sido su programación, es otro de los factores clave para evaluar sus algoritmos. Aquí es
necesario dilucidar qué decisiones se han tomado para dar unas instrucciones determinadas
que guiarán su modo de tratar los datos. ¿Qué información prioriza el sistema? Por ejemplo:
si los algoritmos son demasiado estáticos, el sistema es incapaz de aprender y adaptarse a un
entorno muy cambiante. Por el contrario, si se trata de un sistema demasiado influenciable,
puede cambiar de forma indeseada.
3. También es interesante fijarse en los aspectos de la misma concepción del modelo y su
implementación posterior. ¿Cuál es el objetivo de ese sistema de IA, para qué se ha creado,
para qué se está utilizando? En este punto se puede detectar que el algoritmo se está usando
de forma indebida, o que las personas que deben interactuar con él no están preparadas para
hacerlo. Pero ya la misma concepción del sistema, los objetivos previos que pretende
solucionar, pueden presentar problemas porque en realidad el sistema no sirve para lo que
pretende o que su función sea directamente indeseable por sí misma. Los errores de
concepción pueden suceder porque existe una desconexión entre la lógica de la IA y la realidad
del problema a la que se quiere aplicar.
Pongamos por ejemplo un sistema de IA para predecir la tasa de abandono escolar. Un tipo de
sistema que ya existe, no es ciencia ficción. Si pensamos en las causas del abandono escolar en
dos barrios diferentes existen algunos indicadores bastante evidentes como el nivel
adquisitivo de las familias, pero hay muchos otros factores: la distribución urbana, cómo
está construido el colegio, quiénes son los profesores que están dando clase ahí, circunstancias
particulares de cada estudiante...
No es imposible descifrar las causas de los problemas sociales, pero la Ciencia Social no es una
ciencia exacta: entre los mismos científicos y las mismas científicas sociales hay muchas

22. 22
discrepancias. La idea de predecir automáticamente cualquier resultado sobre
problemáticas sociales, con un sistema basado en técnicas automatizadas, supone
obviar esa complejidad social, y dar por hecho que somos capaces de construir modelos
eficaces recogiendo toda la complejidad social en datos y que obtengan resultados justos. Esta
forma de entender las cosas ya está dando problemas hoy en día.
Por último, la función original de un sistema de Inteligencia Artificial puede ser
indeseable, por muy bien que funcione: puede fomentar valores que no interesan o favorecer
una sociedad diferente a la que se pretende. Un caso evidente es el de Cambridge Analytica, un
sistema que se construyó para intentar manipular el voto de los indecisos, que en principio no
nos interesa como sociedad.
Estos tres factores: datos, modelamiento y concepción del sistema están muy relacionados
entre sí, pero quizás el más interesante es este último: precisamente el punto en el que las
organizaciones sociales pueden aportar más, porque es muy necesario conocer bien la
realidad en la que se quiere aplicar un sistema y determinar si la IA puede servir o no para
resolver el problema que se pretende atajar.
CONCLUSIONES
En el desarrollo de sistemas de Inteligencia Artificial es indispensable un enfoque
multidisciplinar que incluya a diferentes actores y voces especializadas en distintos campos,
sin olvidar la necesaria formación en los ámbitos que no se dominen. Esta formación es
indispensable para entender la lógica de la IA, desmitificarla y deselitizarla. En definitiva,
quitar narrativa a la IA y hacerla más democrática para fomentar la participación social y
asegurarse que cuente con la transversalidad de sistemas sociotécnicos que den el mismo
valor a los datos y a las personas.
El tercer sector y las entidades sociales deben hacer un esfuerzo para ponerse al día sobre el
uso de esta tecnología para aportar su conocimiento y competencias sobre las
problemáticas sociales. El objetivo final de cualquier tecnología es atender a las necesidades de
las personas, y eso hay que hacerlo con una visión amplia que asegure su utilidad. Para ello,
todos los actores relacionados con su diseño deben plantearse cómo se utilizan los datos, cómo
se programa el sistema y, en primer lugar, si tiene sentido hacerlo. Transformarse digitalmente
sí, pero siempre con las personas en el centro de las decisiones, respetando sus derechos
fundamentales.

23. 23
ANEXOS
Preguntas y reflexiones
¿Tendríamos las organizaciones que apostar por tener departamentos de tecnología
propios, con personal experto para dar seguimiento/ analizar los datos generados?
Es un gran debate en el ámbito de la administración pública y tiene dos problemas: por un lado,
las personas más capacitadas se encuentran trabajando en las grandes consultoras. Ni las
universidades ni la administración pública pueden competir salarialmente. Por el otro, la
dificultad radica en el hardware. En algunos modelos, sobre todo los de lenguaje natural, existen
muy pocas empresas con la capacidad para entrenarlos. Sin embargo, aunque no sea posible
construirlos sí que es posible auditarlos. La duda sería cómo formar a los auditores, si sería
mejor llevar a personas del ámbito de las ciencias sociales en programación, o al revés.
Tampoco cómo se podría integrar esta formación en los itinerarios universitarios, pero habría
que empezar a hacerlo en el contexto de la formación profesional.
Cuando se trata de evaluar los efectos de un sistema, es necesario trabajar con equipos
multidisciplinares. Es cierto, no obstante, que en el ámbito de las administraciones públicas,
donde se implementan sistemas tecnológicos que afectan de manera tan determinante la vida
de las personas, sí que habría que contar con personas especializadas, con conocimientos
sobre el tema, que tuvieran capacidad de analizar esas tecnologías. Externalizar o
subcontratar este tipo de sistemas es delicado, empezando simplemente por los
potenciales conflictos de intereses.
¿Podéis compartir experiencias de organizaciones sociales que estén haciendo un
trabajo de vigilancia de la automatización?
Existen algunos ejemplos en el Reino Unido, Estados Unidos o en España, donde algunos
sindicatos empiezan a trabajar en el tema. En EEUU existe el sindicato United4Respect, que
trabaja en este contexto, no solo en la parte de auditoría sino también con el desarrollo de
aplicaciones móviles como WorkIt, para consultar derechos laborales, mezclando la información
de los convenios colectivos, la legislación e incluso bases de datos que incluyen comentarios en
foros. Aquí la entrevista que El Salto Diario hizo a Catherine Huang, la desarrolladora principal de
la aplicación.
Grandes organizaciones como Amnistía Internacional van incorporando equipos especializados,
pero la gran pregunta es qué hacer con las organizaciones de base, con menos capacidad
para incluir este tipo de perfiles en la plantilla.
También existen organizaciones como Algorithm Watch que están especializadas
completamente en el ámbito de la vigilancia de sistemas de automatización, con las que quizás
sería más útil buscar maneras de colaboración si no es posible tener un departamento
propio en cada entidad. Los sindicatos son los que tienen más capacidad para hacerlo, con más
recursos, capacidad formativa, etc.

24. 24
En Francia, por ejemplo, se usaron los datos abiertos (Open Data) sobre las decisiones judiciales
para analizar y buscar patrones. Se descubrió que el mismo delito aplicado a personas
diferentes eran penados de una forma distinta: los jueces hacían dictámenes más punitivos
a determinados perfiles, y poder detectar ese tipo de discrepancias es fantástico. Lo terrible
es que, una vez se denunció estas discrepancias en la aplicación de la ley, que demostró
indicios de abuso, el gobierno francés prohibió la aplicación de Inteligencia Artificial en Open
Data extraída de los procesos judiciales.
El desarrollo de estas tecnologías crece más y más rápido en el norte global. ¿Cómo se
aborda, entonces, la brecha digital norte-sur?
Los sistemas de IA no afectan igual a todos los territorios ni a todas las personas que los
habitan. En el mismo diseño de los mismos se cuenta con determinados perfiles sociales
mayoritarios, se discrimina de origen a una parte de la población, y acaba provocando
problemas en su funcionamiento. Superar la brecha digital es muy importante en este
campo porque afecta de manera desigual a cada país, dependiendo de su nivel de desarrollo,
social y económico.
¿Existen empresas en Catalunya/España que auditen algoritmos de Inteligencia
Artificial en búsqueda de sesgos? Teniendo en cuenta que ese no es el final del camino,
pero sí un inicio importante.
Existe el servicio de Eticas Consulting, una de las empresas auditoras de Inteligencia Artificial
más conocidas en Cataluña y han publicado precisamente una guía de auditoría algorítmica.
Cada vez hay más ejemplos de administraciones públicas, y también de empresas privadas, que
ven necesario servirse de este tipo de servicios. Empieza a haber una sensibilidad social más
fuerte sobre este tema y la legislación ha empezado a apuntar que es importante que este
tipo de controles sean posibles y se lleven a cabo, desde dentro o desde fuera la organización
que desarrolle los algoritmos.
¿Conocéis experiencias de administraciones públicas que estén aplicando este tipo de
auditorías?
A la hora de ir a auditar estos algoritmos, uno de los principales problemas, especialmente en la
administración pública donde tienden a externalizar su desarrollo, es que los contratos del
servicio incluyen cláusulas que impiden el acceso al código, las empresas lo evitan. La
sensibilidad sobre la necesidad de auditar los sistemas aumenta, y es importante pero
complicado de ejecutar. Requiere tener conocimientos sobre muchos ámbitos, tanto sociales
cómo técnicos. No se trata de hacer una simple evaluación técnica, sino de ponderar todo
su proceso de vida (concepción, desarrollo, implementación) y la adaptación que tiene su
integración a la realidad que analiza.

25. 25
Es muy importante recordar, especialmente en el uso de sistemas automatizados aplicados a
servicios sociales, que en Europa, está prohibido que un sistema automatizado tome
decisiones de forma completamente autónoma que puedan afectar significativamente a la
vida de las personas, aunque esta prohibición queda abierta a la interpretación
Enlaces relacionados de interés 2ª mesa
● Repositorio de sistemas basados en IA de la Fundación Eticas:
https://eticasfoundation.org/algorithms/
● https://women4cyber.eu/
● Algunas iniciativas de empoderamiento ciudadano https://datajusticelab.org/data-
justice-2021/
● A nivel internacional: https://algorules.org/en/home
● Uso de sistemas de decisiones automatizadas en los sistemas de
bienestar digital.
https://digitalfuturesociety.com/es/report/hacia-la-igualdad-de-
genero-en-el-estado-de-bienestar-digital/
● https://digitalfuturesociety.com/es/report/exploring-gender-
responsive-designs-in-digital-welfare/

26. 26
TERCERA MESA
¿Cómo diseñar políticas públicas digitales inclusivas desde la participación ciudadana y
la diversidad?
Michael Donaldson
Comisionado de Innovación Tecnológica, Administración Electrónica y Buen Gobierno del
Ayuntamiento de Barcelona. Es Licenciado en Derecho y Máster en Gestión Pública. Ha
trabajado como director de planificación estratégica y servicios centrales en los municipios de
Rubí y Gavà. Experto en temas de gobierno abierto y transparencia y ha publicado varios
artículos y capítulos de gestión pública.
Ismael Peña-López
Director de la Escuela de Administración Pública de Cataluña. Antes, Director General de
Participación Ciudadana y Procesos Electorales en la Generalitat de Cataluña. Experto en el
impacto de las TIC a la sociedad, especialmente en el desarrollo y las instituciones educativas y
políticas.
Judith Membrives
Graduada en Comunicación y Diseño Multimedia con especialización en Investigación por
Diseño Centrado en las personas. Máster de Filosofía para Retos Contemporáneos con mención
Retos Tecnocientíficos y aspirante a doctorado de Sociedad, Tecnología y Cultura. Actualmente
trabaja como técnica de innovación y experiencia de persona usuaria en la agencia de
desarrollo local de Barcelona y como profesora colaboradora del máster universitario de diseño
de interacción y experiencia de personas usuarias.
Thai Jungpanich (Moderadora)
Conectora social con más de 15 años de experiencia apoyando a organizaciones a reducir la
brecha entre gobiernos y sociedad civil a través de redes digitales, diseño estratégico y cultura
colaborativa. Tiene estudios de ingeniería industrial y postgrados en Construcción de Paz,
Desarrollo Internacional y Liderazgo e innovación social. Actualmente, dirige el Hub Espai
Societat Oberta porque le encanta conectar personas, ideas y organizaciones en la defensa de
los Derechos Humanos y la justicia social.
¿Cómo fortalecer el rol de la ciudadanía en el diseño, la implementación, la ejecución y la
evaluación de políticas públicas, en lo general, y de políticas digitales basadas en la Inteligencia
Artificial y en la automatización de decisiones, en lo concreto? Es un tema complejo y poco
accesiblepero es por ello mismo que se organizan jornadas como esta en la que se pretende
democratizar el conocimiento con el objetivo final de que toda la ciudadanía sea capaz de
participar, contribuir y vigilar el uso de estas tecnologías.

27. 27
En esta última mesa se busca, junto a representantes de la administración pública y del
activismo digital, reflexionar sobre cómo hacer que en la toma de decisiones del ámbito
digital no solo participen expertos tecnológicos. ¿Cómo abrir el espacio a personas,
colectivos y organizaciones sociales, expertas en derechos humanos, en discriminación, en
racismo y a voces interdisciplinares con diferentesorígenes, géneros, ideologias y creencias?
Que las políticas digitalessean diversas e inclusivas depende en gran medida de que también lo
sean las personas implicadas en su proceso de diseño, elaboración e implementación.
Judith Membrives
La comunidad Algoritghts surge de la voluntad de más de medio centenar de personas de velar
por el cumplimiento de los Derechos Humanos en el desarrollo y aplicación de las
tecnologías de Inteligencia Artificial.
La inteligencia artificial presenta unos retos sin precedentes en materia de derechos y la
sociedad civil debe estar representada no sólo en el debate acerca de la aplicación de estas
tecnologías, sino que también en los procesos de decisión acerca de su diseño, su
implementación y su evaluación.
“Nuestro objetivo principal es promover la democratización del acceso, creación y aplicación del
conocimiento de la I.A con un enfoque puesto en los derechos humanos”
La mayoría de opciones para hacer la Inteligencia Artificial más justa se suelen plantear desde
perspectivas tecnosolucionistas: intentan solucionar problemas sociales mediante la
técnica, dejando de lado los problemas estructurales de la sociedad.
La comunidad Algorights pone el foco en cuatro aspectos: transparencia, rendición de
cuentas, justicia social y participación ciudadana. Este último aspecto genera debate por
sus múltiples interpretaciones, pero en este caso se refiere a la participación entendida como
la necesidad de incorporar la voz y la experiencia de las diferentes sensibilidades que
existen en la sociedad civil en el desarrollo específico de la IA, desde organizaciones
multisectoriales a las comunidades afectadas por los sistemas automatizados.
Los enfoques sensibles a las diferentes realidades sociales son indispensables para conseguir
que la tecnología de análisis automatizados dé resultados más precisos y cercanos a la
realidad. Por ejemplo, en el seguimiento que se hizo de los móviles para el estudio del Gobierno
español acerca de la movilidad y el trabajo, no se tuvo en ningún momento en cuenta la
existencia de trabajos precarizados fuera del ámbito del horario de oficina, normalmente
indicativo de condiciones laborales más privilegiadas, ni tampoco se consideró el eterno
invisibilizado trabajo de cuidados. Es evidente que existe la necesidad de cuestionar cómo se
están tomando las decisiones acerca de qué datos recoger.

28. 28
Hoy en día, la narrativa ética en el campo de la IA se está llevando a cabo generalmente
por personas tecnólogas, por empresas del sector TIC y en ocasiones por algún perfil más
humanista. Se obvian las organizaciones de la sociedad civil y a la ciudadanía. Por eso
esindispensable crear infraestructuras de participación y debate en las que se amplíe la
variedad de voces y perspectivas. Sin embargo, aunque la administración pública parece
hacer esfuerzos crecientes en la buena dirección, existe una falta de cocreación de políticas
públicas con las personas, más allá del personal técnico y administrativo.
Otro problema clave es que el foco actual sobre el desarrollo de la inteligencia artificial se pone
sobre la ética, y los derechos humanos no tienen normalmente un espacio propio. Quién
podría darle ese enfoque, sin embargo, no se ve capaz. Las organizaciones de derechos
humanos tienen poco conocimiento acerca de la IA, lo cual enlaza con el siguiente problema
planteado, que es la falta generalizada de conocimiento y divulgación sobre inteligencia
artificial y derechos humanos.
No se cuestiona la necesidad de implantar sistemas de inteligencia artificial porque se da por
hecho que existe una necesidad de automatizar procesos. Es necesario divulgar y comunicar
para crear nuevos marcos cohesionados y compartidos acerca de la inteligencia artificial, así
como fomentar el pensamiento crítico acerca del desarrollismo y el progreso asociado a
la automatización.
Propuestas de Algorights
● Romper con la idea de que sólo los perfiles tecnológicos tienen derecho a opinar y
decidir acerca de la inteligencia artificial e incorporar conceptos sociotécnicos en el
debate y en la concepción de políticas.
● Buscar metodologías y espacios que permitan a la ciudadanía participar en el
desarrollo de estos sistemas, más allá de los buzones abiertos, teniendo en cuenta las
características de cada comunidad.
● La participación debe tener lugar en todo el proceso: conceptualización,
modelamiento, entrenamiento, implementación, monitorización de resultados… de forma
iterativa e ilimitada en el tiempo.
● Empoderar a las organizaciones civiles y a la ciudadanía para que se sientan
interpeladas a la participación en estos debates. Las primeras son expertas y garantes
de los DDHH y las que vigilan su cumplimiento, por lo que deben liderar esa defensa en
el ámbito digital.
● Facilitar la comprensión de la influencia de la IA en la vida diaria y las posibles
vulneraciones en materia de derechos. La formación en Inteligencia Artificial no pasa por
tomar clases magistrales con un enfoque técnico sobre su funcionamiento, sino por
entender sus implicaciones directas y cotidianas, orientándose a posibles
vulneraciones de derechos que pueden afectar a distintos colectivos.
● Comprender que la brecha digital no sólo afecta al acceso a la tecnología, sino
también al conocimiento.

29. 29
“Si te hablan de código, tú háblales de derechos”
Es imperativo tender puentes para pasar a la acción en la construcción de una Inteligencia
Artificial más justa y aliada de los Derechos Humanos
Michael Donaldson
Desde el 2020 se está viviendo un cambio de época, con una digitalización acelerada por la
pandemia y el confinamiento. Algunos de los efectos de la digitalización son muy positivos, pero
a la vez hay aspectos de las disrupciones tecnológicas que también son negativos.
Teniendo en cuenta las oportunidades y los peligros, en el Ayuntamiento de Barcelona se ha
querido utilizar la tecnología como instrumento, nunca como fin, para ir mejorando los
servicios y políticas públicas, para mejorar la calidad de vida de los ciudadanos y ciudadanas
de Barcelona.
Sólo en los últimos 20 años ha habido tantas disrupciones tecnológicas y digitales como en
toda la historia de la humanidad en su conjunto. El potencial es enorme, pero es indispensable
dotarnos de estrategias sobre hacia dónde dirigir estas tecnologías. Esa idea es la que llevó al
pleno del ayuntamiento, en junio del año anterior, a aprobar una declaración para impulsar la
ética, preservar los Derechos Humanos y luchar contra las discriminaciones en las
tecnologías emergentes.
El objetivo de utilizar la inteligencia artificial en el Ayuntamiento de Barcelona es disponer de
una tecnología que puede permitir la mejora de las políticas públicas y de los servicios
públicos, para llegar de una manera más directa, más eficiente, más personalizada y garantizar
los derechos y servicios digitales digitales.
Uno de estos ejemplos parte de un dato alarmante: en la Unión Europea, un 30% de la
ciudadanía potencialmente beneficiaria de las ayudas públicas no accede a estas ayudas por
falta de conocimiento. No se trata sólo de una preocupante ineficiencia de estas prestaciones,
sino que, como prestaciones orientadas a preservar el Estado de bienestar que son, sus
problemas de ineficacia pueden afectar la calidad de vida y las necesidades de las
personas.
Hay que ir de la administración reactiva a la administración proactiva. La administración
proactiva consistiría en que, a partir de los datos consentidos de los ciudadanos, la inteligencia
artificial nos llevaría directamente a los ciudadanos y ciudadanas que cumpliesen el perfil para
ofrecerles los servicios y las ayudas a las que son candidatos y no esperar a que las
soliciten de una manera reactiva.
Privacidad en la administración
Es importante preservar la privacidad y los derechos relacionados con la identidad de la
ciudadanía, más allá del Reglamento Europeo de Protección de Datos (RGPD). Especialmente
porque existe una cierta resistencia de los ciudadanos a que las administraciones públicas

30. 30
gestionen los datos de la ciudadanía, y desactivar esa resistencia requiere confianza. Sucedió
hace un año, cuando el INE recabó diez millones de datos de la ciudadanía a través de sus
móviles, de manera anónima y agregada, para mejorar las políticas de movilidad. El tema se
acabó convirtiendo en un debate sobre cómo nos controla la administración pública. ISin
reparos, la ciudadanía de todo el mundo ofrece a diario datos a Google, a Facebook y a todas
las redes sociales y aplicaciones. Pero cuando es la administración pública la que solicita los
datos para mejorar un servicio público, una política pública... aparecen las suspicacias.
Peligros de la IA
Los malos usos de las tecnologías son notorios. Desde las cajas de resonancia que se crean
en Twitter y otras redes sociales que van en detrimento del debate diverso y respetuoso, hasta
el caso de algoritmos creados para manipular el voto, como Cambridge Analytica. Es conocido
que el proceso interno de toma de decisiones de las IA es totalmente opaco (Black Box effect) y
eso complica su comprensión y control. Además, es preferible tener Good Data que Big Data y
existe la discriminación, la vulneración de los derechos y la falta de ética en el uso de
algunos algoritmos. Por todo ello, es inexcusable que se no introduzcan medidas para evitar
ciertos riesgos.
Algunos de los compromisos introducidos en la “Medida de Gobierno de la estrategia municipal
de algoritmos y datos para el impulso ético de la inteligencia artificial”:
● La auditabilidad de los algoritmos en todas las tecnologías usadas en la administración
pública, pero también en las que se subcontraten y que impliquen prestar servicios
públicos
● Disposición de un registro público de algoritmos para consultar qué tipos de usos se dan
en el ámbito de la administración
● Dotación de un Observatorio de Inteligencia Artificial Urbana, conjuntamente con el
CIDOB, Nueva York y Amsterdam para monitorizar potenciales y peligros de la tecnología
● Dotación de un pacto ciudadano por el uso ético y de preservación de los derechos en el
contexto de la inteligencia artificial
● Disposición de Living Labs alrededor o en paralelo a los algunos de los del o de los
softwares que vayamos desarrollando como administración pública
La digitalización ha conllevado grandes mejoras, al día siguiente del confinamiento, muchos
pudimos seguir trabajando o seguir atendiendo nuestras clases o formaciones, pero la brecha
digital sigue siendo un gran desafío. Una parte de la ciudadanía, tras esa gran digitalización,
se vieron más excluidos que antes y el problema ha mutado por lo que harán falta nuevas
políticas públicas para luchar contra él. Nadie debe quedar atrás, sobre todo si queremos que
todo el potencial que representa Internet sea compartido por el conjunto de la
ciudadanía y no sólo por aquellos que se pueden permitir el acceso al uso, a los dispositivos
y especialmente a la alfabetización y capacitación digital.

31. 31
Ismael Peña-López
Para poder atender realmente a los conceptos de inclusión total o brecha digital, hay que
introducir el del ecosistema de gobernanza pública que nos dé las herramientas que
permitan que todo el mundo tome decisiones que afectan a lo público cada día. Un conjunto
de actores, de espacios e instrumentos, más distribuido y más local, que permita una auténtica
revolución en la participación ciudadana.
“No contemplemos a la administración como a unos señores que han ganado elecciones, están
en la administración y deciden todo para que luego, de vez en cuando, pasen el PDF a la
ciudadanía para que firme o corrija detalles”
Hay que pensar cómo contar con todo el mundo que concurre a una política pública, ya sea de
forma informal o formal, y cómo conseguir que el monopolio de la toma de decisiones
públicas que tiene la Administración, igual que lo tiene de la violencia o de la creación de
leyes, deje de ser un monopolio y se abra y pase a convertirse en una infraestructura, una
plataforma sobre la cual otros actores, más diversos, operan. Dejar de entender la toma de
decisiones públicas como un proceso jerárquico que pasa solamente dentro de las
instituciones, sino como un ecosistema que además muchas veces funciona en el régimen
informal, a pie de calle.
Convertir esos espacios y sus intervenciones en política, capitalizar e institucionalizar los
debates que se desarrollen, pasa por ver cómo el ciclo de la política pública incorpora esta
concurrencia de diferentes actores, delimitando en cada fase qué va a pasar: cuando toca
definir la problemática, cuándo se pasa al diagnóstico, cuándo deliberar, hacer propuestas y
decidir, y en cada caso dejando bien claro de qué se está hablando.
También es imprescindible que la Administración incorpore lógicas deliberativas desde la
deliberación o del diagnóstico de la problemática hasta la evaluación final, asegurando por
el camino, también, que la comunicación entre departamentos sea fluida, que no es sencillo.
Las herramientas para estos procesos deliberativos y participativos tienen muchas formas:
consejos ciudadanos, asambleas ciudadanas, iniciativas legislativas populares, consultas no
refrendarias, etcétera, y hay que intentar que exista la máxima flexibilidad y apertura en la
composición de sus participantes.
Al final, el objetivo del ecosistema de gobernanza pública es crear un grupo motor de cada
proyecto que sea lo más representativo posible, e intentar que llegue un momento en que la
administración se retire totalmente del proceso, que tome el papel que toque en cada
momento. Hay momentos en que la administración tiene que legislar o ejecutar, pero en otros
pasos del proceso sólo debería funcionar como facilitadora, poniendo dinero, o información.

32. 32
Propuestas de desarrollo
¿Cómo conseguir ese ecosistema de gobernanza pública?
1- Por una parte, hay que articularlo para que todos los actores se sienten en la misma
mesa. Hace cinco años que está en funcionamiento la red de gobiernos transparentes, de la
cual forman parte la Generalitat, las diputaciones y varios consorcios y asociaciones del mundo
local para alinear estrategias. No se trata de que todos hagan lo mismo o que se coordinen del
todo, sino de conseguir ese trabajo distribuido en el que cada uno va a sumar por su parte.
2- Debe basarse en redes que actúen de plataforma, como participacatalunya.cat, donde todos
los actores que trabajan en participación intercambian conocimiento, datos, información, estén
informados sobre qué acciones formativas, formales o informales hay en el entorno y sobre
todo, que incluyan comunidades de práctica y de aprendizaje que trabajen juntas. Un
portal que tenga personas dinamizando, aportando la información necesaria en cada paso y la
metodología de deliberación, etcétera.
3- El concepto se apoya también con herramientas como la comunidad Decidim, una gran
plataforma que precisamente permite abrir el monopolio de la toma decisiones públicas
para democratizarlas. Su software lo puede utilizar cualquiera: la administración, por
supuesto, pero también una cooperativa de agroconsumo, una federación de vecinos, un
sindicato o un partido político.
4- Con el fin de acercarlo más a la ciudadanía, haciendo frente a retos como la brecha digital y
la necesidad de llegar a la gente que nunca va a participar porque no se siente
interpelada, o no se siente acompañada, existe el proyecto Participa Lab. Su idea es que 1500
equipamientos públicos que hay en toda Cataluña, que ya cuentan con un contacto muy
estrecho con los ciudadanos (bibliotecas, telecentros, centros cívicos, Fab Labs, etcétera),
puedan incorporar una capa de innovación ciudadana, de innovación democrática, para facilitar
que todo el mundo se sume a la participación.
5- Formación tanto en escuelas como en entidades del Tercer Sector Social para
democratizarse, para que las primeras puedan ser una palanca de democratización y las
segundas, especialmente aquellas entidades que trabajan con un público destinatario que
muchas veces tiene que codefinir los servicios que van a recibir, democraticen sus estructuras
internas.
CONCLUSIONES
Cuando hablamos de participación, muchos miran a la administración, lo cual es lógico, pero la
experiencia nos cuenta que lo que funciona es lo básico, es decir, cuidar la comunidad. La
administración tiene que cuidar a la ciudadanía, pero la organización tiene que cuidar a
sus bases, tenerlas informadas y movilizadas, y democratizarse. Hay que conseguir que las
estrategias para fomentar las políticas públicas digitales se construyan siempre de abajo hacia

33. 33
arriba, pero para hacer incidencia en la administración o entre el público en general es mucho
más fácil si se incluye, escucha y articula la comunidad.
Asimismo, las organizaciones sociales también deben reclamar su espacio y su papel en esta
revolución digital. Sobre todo porque, al final, la democracia es tomar decisiones y si cada
vez se automatizan más, lo que estamos haciendo es empobrecerla.
ANEXOS
Preguntas y reflexiones
¿Existe el riesgo de "culpabilizar" a las comunidades vulnerables por no participar
activamente en los procesos de co-creación? (dada su propia vulnerabilidad, a no ser que
sea de forma profesional)
En realidad, no se busca que la gente participe, ya que es un proceso que toma mucho tiempo y
es pesado. El tema es cómo incorporar a estas personas en el día a día del diseño de las
políticas. No se trata de esperar a que las personas, que son quienes conocen de más de cerca
las problemáticas sociales cotidianas, se acerquen al Ayuntamiento y trabajen en proyectos de
participación que incluyan dinámicas con notas adhesivas, que un punto de contacto, una
persona cercana, se acerque ahí donde viven e interactúan, para escuchar sus opiniones. Llegar
ahí donde los ciudadanos ya están deliberando con sus acciones, decisiones e ideas.
Se habla de la accesibilidad, de cómo acceder a los colectivos más precarizados,
vulnerabilizados y más afectados por la brecha digital, pero la cuestión es cómo llegar allí donde
están ellos. Muchos estudios demuestran que dentro de las estructuras de participación
actuales se replica las estructuras sociales, es decir: existen una serie de privilegios y
situaciones interseccionales que dificultan la participación plena de todos los colectivos. No se
trata de hacer que la administración se vuelva más accesible, sino que sea la administración
quien vaya a buscar estas personas y sus realidades.
La administración debe ser proactiva, pero la política también. Las instituciones se tienen que
abrir y acercarse, multiplicando todo tipo de metodologías, canales, espacios, como el proyecto
“Decidim”. Hay diferentes niveles de implicación que se pueden facilitar según el tiempo, la
dedicación o el compromiso invertidos. Hay gente que ya se siente implicada a través de un
presupuesto participativo o con una propuesta, otros con el simple voto en una consulta, por
tanto, deben abrirse multitud de canales y opciones de participación.
¿Qué estrategias de interpelación de la sociedad civil, organizaciones y comunidades se
tiene pensado llevar a cabo para romper ese “techo de cristal techie”?
El secreto está en ver dónde está la gente y hacer llegar allí los recursos de deliberación y
participación, donde cada actor aporta lo que tiene para posibilitar el proceso distribuido. En el
caso de la administración, que facilite el dinero, el conocimiento, las personas, los espacios

34. 34
físicos y transportes… para luego entrar cuando se llegue a consensos. Que la oportunidad de
deliberar aparezca en entornos cívicos y sociales que ya están en uso. Abaratar la participación
en términos de coste-beneficio personal para conseguir que, sobre todo, la gente se vea
interpelada.
El problema es la “caja negra” que supone para la mayoría de la sociedad la Inteligencia Artificial
o todo lo que está relacionado con la digitalización. En una charla reciente sobre Inteligencia
Artificial y algoritmos en una escuela se comprobó que los algoritmos, en su uso para la
recomendación de contenidos, son vistos de forma positiva, pero la percepción cambiaba
cuando era explicado el caso de algoritmos que pretendían decidir de forma automática la
puntuación de exámenes en el Reino Unido. Este pequeño ejemplo demuestra la necesidad de
explicar llanamente qué afectaciones tienen estos sistemas en el día a día de las personas
afectadas. Es imprescindible hacer un esfuerzo extra en buscar ejemplos y referentes cercanos,
contextualizar la comunicación a las casuísticas más próximas de los interlocutores, para
entonces transmitir los conceptos de forma más eficaz
¿El registro de algoritmos incluirá el código fuente de los algoritmos en cumplimiento de
su medida de gobierno sobre código abierto y respetando el concepto de “public money,
public code”?
Todos los algoritmos serán auditables, los del registro público también, especialmente los que
se desarrollen desde el Ayuntamiento. El concepto de “public money, public code” se intenta
seguir, pero no se cumple al 100%., ya que existen colaboradores privados con los que hay que
convivir para dotar de ciertas infraestructuras. Lo más importante es que cuando se preste un
servicio público los derechos de las personas estén garantizados, que haya la máxima
transparencia y que los algoritmos se puedan auditar.
Enlaces relacionados de interés 3ª mesa
● L’Estat com a plataforma: la participació ciutadana per la
preservació de l’Estat com a bé comú:
https://ictlogy.net/bibliography/reports/projects.php?idp=3935
● El ecosistema de gobernanza público:
https://ictlogy.net/bibliography/reports/projects.php?idp=4256