Ivana Feldfeber es activista feminista, cofundadora y directora ejecutiva de DataGénero, el primer observatorio de datos de género de América Latina. Educadora social de formación, pasó de dar talleres sobre violencia de género en escuelas secundarias en Ciudad Oculta en Ciudad Buenos Aires a trabajar intensamente en temas de inteligencia artificial (IA) y política digital. Su trabajo y el de la equipa de DataGénero incluye la investigación de la IA para su uso en tribunales de justicia que trabajan con datos de violencia de género en Argentina y América Latina.

También colabora con gobiernos y empresas para construir procesos de datos inclusivos y ayudar en la toma de decisiones que creen mejores políticas de datos. En esta entrevista nos da su visión, esencialmente, sobre el trabajo con datos que implica una práctica feminista en el mundo de la IA.

¿Qué te movió a pensar de lleno la IA desde una perspectiva feminista?, ¿cómo llegaste a este mundo?

Alrededor de 2018 trabajé en varias escuelas y también con diferentes organismos y universidades, en particular la Universidad de Córdoba. Mis preguntas eran ¿dónde entra lo social y el género? y ¿dónde está el poder más transformador, si es que existe, dentro del mundo de la tecnología y en particular de la programación? En 2018 apliqué para una beca para Digital House y empecé a estudiar ciencia de datos y vi que había grandes baches formativos vinculados a lo que tiene que ver con ciencia de datos y ética o sociedad respecto del género. En ese año fue cuando salió el tema de Amazon y el uso sesgado de género de la IA en el caso de contrataciones; empezamos a investigar un poco, pero era todo muy nuevo. Ante esa falta de respuestas a nivel América Latina y en español decidí armar un observatorio de datos y feminismos que le nombramos como “datos con perspectiva de género” para que sea un poco más amigable para entrar a ciertos lugares. Quería un espacio desde donde se pudiera dialogar también con gobiernos, con empresas y desde otros lugares. Con la lógica del caballo de Troya disfrazamos de perspectiva de género, que es un término bastante más lavado que hablar de feminismo, para poder dialogar con actores en pos de producir mejores datos; para pensar qué está pasando con las implementaciones de IA en los gobiernos y para tener mejores políticas para las mujeres de las diversidades y también desde una perspectiva más interseccional.

“La IA en sí misma no va a ser la solución”

¿Necesitamos la IA?, ¿por qué?, ¿para qué?, ¿diseñada por quién? ¿qué oportunidades trae?

Siempre veo la tecnología como una herramienta para algo, no la veo como el fin último de nada. Me parece que es importante señalar que nuestra postura es antisolucionista. Creemos que tiene un potencial muy grande para visibilizar y para ayudarnos a, por ejemplo, sistematizar procesos o para ayudarnos con ciertas tareas específicas. Pero no creemos que en sí misma va a ser la solución de la humanidad, ni de la violencia de género, ni del cambio climático, ni de la pobreza, ni del hambre. Creo que, como toda herramienta, es interesante ver qué potencial le podemos sacar, qué jugo le podemos sacar, por ejemplo, para las luchas feministas. Del lado empresarial o gubernamental la están usando para, por ejemplo, trackear a las personas que buscaban en Google o Facebook cómo abortar en Estados Unidos. Alguien le dio esa información al Gobierno y persiguieron a las mujeres que estaban buscando abortar. Creo que ahí tenemos que pensar qué de la IA nos puede servir a nosotras o cómo podemos generar estrategias que tengan IA para ayudarnos.

“La IA nos puede ayudar a poder tener más soberanía de nuestra propia información y de su uso”

¿En qué casos específicos la IA podría ayudar a los feminismos y la necesidad de acceder a un aborto seguro, libre y gratuito?

Podemos pensar en cómo buscar dispositivos de recomendación o acompañamiento para personas o asociaciones vulnerables. Las personas valen oro en ese sentido, son muy importantes en acompañamiento de quien buscan abortar. Creo que la IA puede jugar un rol de recomendación, no inventando cosas o alucinando como sabemos que puede hacer, sino con información verdadera y curada por personas que pueda adaptarse a cada contexto. Porque si se van cerrando los canales oficiales, los canales extraoficiales, que tienen que ver más con la sociedad civil y con los activismos, se van abriendo cada vez más y a veces no se puede dar respuesta a la cantidad de preguntas y de mensajes que hay. Entonces hay una primera línea de filtrado y de recomendaciones, en forma de chatbot o de plataforma, para luego pasar a la atención humana que puede ser interesante. La IA es muy buena para leer muchos documentos y armarte bases de datos, estructurar la información no estructurada y dentro de las organizaciones de la sociedad civil y de activistas esto es muy importante, porque en general no tenemos tanta soberanía sobre nuestros datos, es un tema que queda relegado. Tener bases de datos estructuradas para hacer seguimiento de casos o para entender mejor cómo funciona la organización o para medir el impacto es muy importante. Y la IA nos puede ayudar bastante también a poder tener más soberanía de nuestra propia información y de su uso.

Contanos de qué se trata AymurAI (en idioma quechua significa “cosecha”), el proyecto de DataGénero en el que trabajan con datos de violencia de género, curada por instancias judiciales.

AymurAI es un proyecto que surge en colaboración con el Juzgado 10 de Buenos Aires y lo importante es que estamos ayudando al juzgado con su apertura de datos a la ciudadanía, trabajo que antes hacían de manera manual. Ahora la herramienta de IA lee un fallo, una sentencia del juzgado, detecta la información relevante dentro de esa sentencia, con un algoritmo bastante sencillo de reconocimiento de entidades nombradas, y lo pone en una base de datos. Entonces así van teniendo base de datos, a saber: cada fila es una sentencia, entonces cuando una empleada del juzgado ingresa una sentencia nueva a AymurAI, nuestro software la lee y detecta la información relevante para ir poniendo en cada una de las columnas de esa fila, por ejemplo, quién fue el juez a cargo, cuál fue la fecha de esa sentencia, cuál fue el delito que se cometió, el tipo de conducta denunciado, por ejemplo “amenazas” y si fue violencia de género o no tenemos. Hay muchísimos campos para completar que permiten comprender con más detalle cómo operó esa violencia de género y también lo que resolvió el juez en ese caso, si le hizo lugar y o no le hizo el lugar, por ejemplo, a un pedido de prisión preventiva o una cautelar, una perimetral. Todo eso el software lo detecta y hace como un perfil del tipo de violencia. Te señala si fue violencia sexual, física, psicológica, económica, patrimonial, política, ambiental, doméstica, institucional, laboral. Si había hijos e hijas en común, si había medidas de protección al momento del hecho, frases de la agresión. Hay un montón de información que recaba AymurAI para que los juzgados comiencen a generar bases de datos sobre sus sentencias. Y a su vez también lo que hace esta IA es anonimizar estas sentencias para que las puedan subir a internet sin que haya riesgo de exponer la vida privada de nadie, los datos privados de nadie. Siempre trabaja con el apoyo de una persona verificando que lo que la IA detectó sea correcto y una vez que valido todo se sube y se publica.

Datos y género tejidos en la IA

Además de la importancia en el procesamiento de datos desde una perspectiva feminista, con acento en la anonimización, en los sesgos y en otras formas de utilizar la IA, el sitio de DataGénero, apuesta por ser tierra fértil que sedimenta todas las aplicaciones tecnológicas que puede tener la IA en el presente. Por eso en uno de sus informes, ‘Una mirada interseccional sobre el cambio climático’ ”, las integrantes de DataGénero se proponen “la construcción de indicadores y de datos como una prioridad a la hora de comprender cómo el cambio climático y los desastres producto de peligros naturales afectan distinto a mujeres y personas LGBTIQ+”. En una presentación en marzo de 2024 en el marco de la 68° reunión anual del Congreso de la Comisión Jurídica y Social de las Mujeres (CSW) de Naciones Unidas, Feldfeber señaló sobre la IA: “Según nuestra experiencia esta herramienta debe ser siempre anti-solucionista y semi-automatizada”.

“Creo que, desde el feminismo, la IA es parte de las tecnologías sociales y por eso más importante que las herramientas que genera es su proceso de creación y su integración dentro de lo comunitario. En este momento histórico hay preguntas que no podemos dejar que la tecnología responda por nosotras”, dice Anamhoo, citada en un espacio de aprendizaje sobre IA promovido por DataGénero.

“La IA cuando no conoce sabemos que inventa”

Danos un ejemplo que nos ayude a relativizar la imagen por un lado despampanante y por otro asustadora de las noticias que hablan de IA.

Han salido un montón de libros escritos por IA, que en realidad no es más que una persona diciéndole a un software “escribí esto y pone lo otro”. Podemos entrar a Amazon y ver el recorrido de esos escritores y escritoras, buscarlas en Google y que no aparezca nada más que ese libro. Son personas falsas que nunca existieron con rostros que tampoco existen. Y una puede pensar que no es tan perjudicial hasta que empezamos a hablar de, por ejemplo, libros de cocina con recetas que son directamente erróneas y que pueden hacerle mal a una persona que come sin gluten, y pero también libros de recolección de hongos en los bosques o en espacios más silvestres donde la gente los utiliza como guía para identificar frutos de los árboles o algunas plantas silvestres u hongos comestibles para usarlos en su cocina. Con el contenido generado por la lA, la rigurosidad científica y el cuidado con respecto a qué plantas se pueden comer y cuáles no se empieza a poner en jaque, porque la IA no lo sabe tan bien y, cuando no conoce, sabemos que inventa. A raíz de las imágenes producidas por IA, las personas no pueden identificar bien cuáles son las plantas venenosas de las que no y así se sabe que hubo familias intoxicadas por comprar estos libros en Amazon. Libros que están patrocinados en la página, la empresa puso dinero para que aparezcan primero.

¿Cómo marcar desde los feminismos las contradicciones al interior de la IA?

Observando, por ejemplo, que hay grandes compañías que están poniendo mucha mucha energía y muchos recursos en qué podemos solucionar con la IA, siendo muchas veces las mismas que producen las más altas emisiones de carbono o los más altos niveles de consumo de agua, como si fuese una solución mágica. Ponen millones de dólares para ese tipo de desarrollos cuando podrían ponerlos para solucionar los problemas realmente, poniendo el dinero donde hace falta en los territorios y generando mejores políticas.

“El dinero de la IA podría estar en otro lado para solucionar los problemas”

Ahora se nos promete que la inteligencia artificial es una de las respuestas para la mayoría de los problemas complejos ¿cómo adquirir esa mirada que no sea tecnosolucionista de la IA?

Creo que en nuestro interior sabemos que la tecnología no nos va a solucionar los problemas, humanos y sociales, se trata de pensar cuánto humo estás dispuesta a comprar. A mí me encantaría ser optimista respecto de la IA, como lo son muchas de las personas que trabajan en tecnología y en programación, pero es un privilegio que implica que hagas la vista gorda un montón de otros problemas y que elijas no ver los hilos de poder que hay detrás. Hay grandes compañías que están poniendo mucha energía y muchos recursos en qué podemos solucionar con la IA como si fuese una solución mágica, millones de dólares para ese tipo de desarrollos cuando podrían ponerlos para solucionar los problemas reales, poniendo el dinero donde hace falta en los territorios y generando mejores políticas. Pero te das cuenta que no les interesa. Creo que el tecnosolucionismo es una forma de lavarse las manos de los problemas sociales. Ahora se está hablando de que “es la generación que va a romper fronteras de lo posible”, que “vamos a viajar al espacio”. ¿Quiénes van a viajar al espacio? ¿Cuántos son? ¿quiénes son? Porque yo no voy a viajar al espacio, la mayoría de la gente que conozco, si este planeta se va a al diablo, no viajar al espacio para salvarse. No pensamos en que estamos empujando los límites de la humanidad hacia lugares mejores para todo el mundo; son fetiches de los ricos y la IA. Las personas que están viviendo en una casilla, que no tienen para calefaccionarse con leña en el invierno cuando nieva acá en Bariloche, la IA no les importa y no les va a cambiar la vida.

¿Cómo balancear entre las miradas polarizadas de la IA, sesgadas por el optimismo o la debacle de nuestro mundo?

Creo que es clave, en un nivel más propositivo, pensar en qué mundo queremos vivir y en ese mundo si entra o no la tecnología y cómo, porque en ningún momento hubo un consentimiento de “todas necesitamos más IA”, solamente una parte muy pequeña de la población sostiene esto. Sí, entiendo que tiene un potencial increíble para un montón de cosas, por ejemplo vinculadas a la medicina o a la cuestión espacial y cómo explorar lo inexplorado y a nivel de la relación con la naturaleza es interesantísimo, pero no puede ser el todo. Estoy un poco cansada de que me digan que la IA o que la tecnología nos va a solucionar los problemas porque veo que va por otro lado y que el dinero tiene que estar en otro lado; porque siempre que hablemos de problemas, estamos hablando también de dinero y cuando veo que la Fundación X pone no sé cuántos millones para desarrollos de IA en salud digo ¿por qué no ponemos plata en los hospitales? No es que hay temas de salud tan grandes que no podemos resolver y que la IA nos tenga que venir a resolver a nivel de incógnita. Tenemos todavía un montón de médicos y médicas que pueden ayudar con estos temas.