Entrevistas
Eva Navarro “Los algoritmos cambiarán cuando la sociedad cambie”. Una IA humanista para la comunidad de LaNuestra
Hablamos con Eva Navarro, responsable de diseñar la arquitectura de inteligencia artificial que hay detrás de LaNuestra, la infraestructura feminista que transforma testimonios de violencias machistas en memoria colectiva combinando tecnología ética, supervisión humana y comunidad para devolver poder, dignidad y capacidad de decisión a quienes históricamente han sido silenciadas.
A partir de su experiencia, Navarro explica cómo el proyecto no solo aspira a anonimizar, categorizar y analizar millones de testimonios de violencia machista con rigor ético y supervisión humana, sino también a construir una comunidad capaz de devolver poder, dignidad y capacidades a quienes han sido históricamente reducidas al silencio. En ese horizonte aparece una de sus apuestas más potentes: la creación de una Academia de LaNuestra, un espacio donde la tecnología no sea una herramienta extractiva ni reservada a especialistas, sino una vía de aprendizaje, autonomía y reparación para mujeres que, desde la experiencia del dolor, puedan apropiarse del conocimiento técnico y transformar también sus propias vidas.
Eva es científica, profesora e investigadora especializada en inteligencia artificial, computación, robótica, cibernética y sistemas de control. Ha sido catedrática en Inteligencia Artificial y Computación en el Rochester Institute of Technology, donde también dirigió la Escuela de Información. Su trabajo combina investigación tecnológica, pensamiento crítico y compromiso social. Forma parte del equipo senior del International Panel on the Information Environment, una organización global creada en 2023 que trabaja por la integridad de la información y contra la desinformación, los sesgos algorítmicos y los impactos negativos de la inteligencia artificial sobre la democracia. Además, es investigadora del NOVARS Innovation and Media Lab de University of Manchester y colabora con el Civic A.I. Lab de Northeastern University, en Boston, centrado en inteligencia artificial cívica, interacción humano-computadora y nuevas formas de trabajo digital.
Eva es también parte de Technolatinas, una comunidad horizontal de apoyo entre mujeres tecnólogas latinoamericanas y aliadas, creada durante la pandemia para responder a la pérdida de oportunidades laborales que afectó especialmente a las mujeres. Para ella, Tecnolatinas representa un espacio fresco, feminista, intergeneracional y comunitario, basado en la colaboración, el aprendizaje mutuo y la acción colectiva.
Punto de partida: los sistemas complejos
Hola, Eva, empecemos por el principio. ¿Tú qué entiendes por inteligencia artificial?
Pues mira, yo como computóloga he tenido la obsesión desde pequeña de modelar el cerebro y lo he modelado, y eso es una forma de entender la inteligencia artificial: yo modelo el cerebro humano, no con redes neuronales artificiales, que también, sino con modelos dinámicos matemáticos, redes complejas dinámicas en las que conoces las ecuaciones. El objetivo de la inteligencia artificial es modelar, reproducir, algunos aspectos de la inteligencia en los humanos y en la naturaleza. Pero imitar o reproducir no significa que tengas inteligencia. Este es un punto básico. Hace falta algo más.
Existen muchísimas técnicas de inteligencia artificial que se basan en modelos y en la observación de la naturaleza, por ejemplo, modelos multiagentes de inteligencia colectiva en los que observas las hormigas, los pájaros, los peces: eso es inteligencia colectiva. También podemos hablar de los algoritmos genéticos que han generado muchísimos modelos de inteligencia artificial, y también podemos hablar de razonamiento automático, por ejemplo.
Y luego están aquellos que creen que han desarrollado modelos inteligentes, cuando en realidad responden a otros intereses. Te hablo de esa inteligencia artificial a la que llaman generativa y, de hecho, ni siquiera es inteligente. Es más bien un modelo de negocio y no inteligencia artificial. Hablo de aquellos que creen que si puedo modelar un cerebro, entonces puedo sustituir al humano: una visión hipercapitalista de la inteligencia artificial. Y me parece aberrante. Ahí es donde la inteligencia artificial se coloca en contra de los derechos humanos, a base de miedo y control.
necesitamos una inteligencia artificial humanista basada en el “nada de lo humano me es ajeno” de Terencio
Ahora mismo lo que tenemos es una sociedad completamente llena de sesgos de discriminación, desigual y explotadora. Hemos eliminado todo lo que habíamos alcanzado en 200 años con las luchas sociales y detrás de las tecnologías más populares lo que hay son ejércitos de humanos, infraclases trabajadoras sin ningún derecho, lo que se llaman ghost workers o, como digo yo, los “olvidados” de Buñuel.
Convendrás conmigo que se está imponiendo su manera de entender la inteligencia artificial, ¿existe alguna alternativa a esta manera de entenderla?
Los algoritmos cambiarán cuando la sociedad cambie. Necesitamos más diversidad de ideas y de gente en los algoritmos. Si quisiéramos plantear una alternativa, te diría que necesitamos una inteligencia artificial humanista basada en el “nada de lo humano me es ajeno” de Terencio. Hablo de una inteligencia artificial feminista, entendiendo el feminismo como un movimiento inclusivo que lucha por la igualdad, la inclusión y la diversidad de todos y todas.
Una inteligencia artificial para todos y para todas, en todos los lugares del mundo, que no promueva la concentración de privilegio. A mi me gustaría que dejásemos de hablar tanto de la human-centered AI y que hablásemos de inteligencia artificial basada en el medio ambiente, que también incluya a los humanos. Necesitamos una tecnología multidisciplinar, que integre lo humanístico y lo ético dentro de un mundo tecnológico diverso.
Entiendo que una iniciativa como La Nuestra aparece como esa alternativa que me estás describiendo. Tú qué trabajas con inteligencia artificial, sistemas complejos, métodos formales, ciencia de datos, robótica, educación, arte y ética tecnológica. ¿Qué exige un proyecto como La Nuestra que no podría resolverse desde una sola disciplina?
La Nuestra es un reto en el que siento que tengo que aplicar todo lo que he aprendido en toda mi vida. Pienso que el espacio de La Nuestra no es un problema solamente tecnológico, científico, sociológico, jurídico o político, sino que es un sistema complejo y como tal, si lo miramos desde el punto de vista de control y de mis sistemas dinámicos, yo veo dinámicas no lineales que cambian con el tiempo, retardos en respuestas institucionales, patrones invisibles a escala individual que detectamos como colectivo, hay silencios estructurales que luego podemos modelar, eso significa que hay una retroalimentación…
Las ingenieras de control trabajamos con sistemas complejos. ¿Cómo? Nosotras queremos hacer un mundo mejor y para ello tenemos un ideal, un comportamiento deseado y a partir de ahí observamos el mundo, lo modelamos, lo medimos y, si no nos gusta, actuamos y corregimos. En La Nuestra hay un contagio social del miedo, hay una memoria colectiva del dolor y es posible ver la memoria colectiva como un comportamiento auto-organizado, como un sistema complejo.
Por lo tanto, necesitamos distintas miradas para abordar este sistema: la inteligencia artificial, la computación, la ingeniería. Debemos proteger la complejidad. Por eso necesitamos una socióloga, una psicóloga, una especialista en derechos humanos, una jurista… que se complementen como si fuera un rompecabezas.
La multidisciplinariedad en La Nuestra es primordial y no es una casualidad, sino que es una condición ética porque si el diseño computacional, matemático y tecnológico no se hace con cuidado podemos simplificar las experiencias humanas y eso, en La Nuestra, no es posible.
Has trabajado con IA simbólica, razonamiento automático, verificación y métodos formales. ¿Cual es la arquitectura que hay detrás de LaNuestra?
En La Nuestra se van a utilizar distintas tecnologías, modelos computacionales matemáticos y modelos de inteligencia artificial, no solo generativas. Que, dicho sea de paso, no alucinan, como dice todo el mundo, sino que se equivocan, una media del 60% de las veces.
En nuestro caso, no puede haber errores. Los principios básicos que nos enseñaron en las clases de diseño de algoritmos son: robustez, la salida a un algoritmo tiene que ser correcta, y completitud, el algoritmo encontrará una solución si existe. Esto es lo que yo enseño a mis estudiantes y no podemos olvidar, y menos en este caso, manejando violencias y manejando archivos de este tipo no puede haber ningún error, así que no podemos utilizar este tipo de herramientas en LaNuestra.
Así que la primera caja de la inteligencia artificial de La Nuestra se utilizará para anonimizar semi automáticamente los más de tres millones de testimonios. Por un lado usará todo el trabajo que se ha hecho con los primeros cinco mil testimonios anonimizados a mano. Aquí el proyecto AymurAI de Data Género va a ser nuestra referencia.
Utilizaremos distintas técnicas: técnicas de procesamiento de lenguaje natural y técnicas en las que están basados los modelos de lenguaje grandes (LLM), aunque a mí me gusta pensar que el nuestro va a ser un lenguaje pequeño porque va a ser muy cerrado, local y no se va a hacer en línea.
Una vez tengamos anonimizados los testimonios, la segunda caja responderá a la categorización de los testimonios y para ello se puede utilizar diferentes técnicas: el machine learning o técnicas de aprendizaje de clasificación estadística en combinación con otras técnicas de inteligencia artificial. Aquí hay que poner en valor todo el trabajo desarrollado por Juliana de Souza, que ha hecho un libro de códigos con muchísimo cuidado y muchísimo rigor y eso va a ser nuestra entrada para categorizar los testimonios.
Una vez que tenemos categorizado los testimonios, aún tendremos dos cajas más: la tercera caja es el análisis de datos a través de técnicas de ciencia de datos y técnicas estadísticas de visualización de datos que nos deben de servir para dar datos fiables. Ten en cuenta que este archivo es muy rico. Imagínate poder dar informes y datos a gobiernos y a organizaciones tipo Naciones Unidas.
Actualmente, los datos que utiliza el Gobierno de España son los datos de denuncias y responden a un porcentaje pequeño de las mujeres que han sufrido violencia. El archivo de LaNuestra, el del Cuéntalo y el que se va a generar de forma viva, porque desafortunadamente siempre va a haber nuevos testimonios de violencias machistas, es mucho más rico que los datos que tienen los gobiernos.
Y luego tenemos la última caja, que para mí es la más bonita y la que me atrajo: el modelado de la red, el modelado de una red compleja no como una red neuronal artificial, sino un modelado matemático y computacional siempre pensando que es una red multicapa que se adapta y que cambia en el tiempo. Ahí podremos crear el algoritmo de LaNuestra para hacer match entre mujeres, capacidades, necesidades, etc…
En resumen, una, dos, tres y cuatro cajas componen la inteligencia artificial de LaNuestra y con todo esto, yo quiero crear una academia de LaNuestra. Imagínate que esa mujer que se ve rota por el dolor y que no viene del mundo tecnológico, de repente aprende tecnología y de ahí cambia su vida y consigue un trabajo en el mundo tecnológico.
Así es como la tecnología puede transformar al ser humano también.
Primera caja: la anonimización
¿Cómo trabajar con relatos de agresión sexual, violencia institucional, miedo o silencio?
Cuando Cristina Fallarás me invitó a formar parte de LaNuestra me acuerdo que esa noche no pude dormir. De repente, iba a liderar toda la parte de inteligencia artificial, el modelo de la red compleja y el algoritmo de matching feminista, así que lo primero que me vino a la cabeza fue la belleza de las redes complejas.
Desde el inicio, mi moto ha sido: del dolor vamos a crear belleza, con las matemáticas y la inteligencia artificial. Yo lo veo como una sanación. LaNuestra es una sanación: construir una comunidad de apoyo y romper el silencio es el principio de la sanación. Como dice el feminismo, lo que no se nombra, no existe.
Pero yo no soy una experta archivista, no tengo experiencia en todo el movimiento testimonial, pero entiendo perfectamente que un archivo feminista no colecciona dolor y miedo, sino que crea unas condiciones para que la experiencia deje de estar aislada.
Lo que para mí es fundamental es que desde LaNuestra se cree la comunidad del apoyo mutuo y el colectivo, porque la reparación no consiste en preservar memoria sino en devolver la dignidad y el poder narrativo a la gente, porque si no es algo muerto.
¿Qué es lo que cambia cuando trabajamos con relatos íntimos?
Pues bueno, lo cambia todo, absolutamente todo y aquí tenemos que rescatar la visión de la multidisciplinariedad, las visiones múltiples de ojos diversos porque un error en este contexto no es sólo técnico sino que está en riesgo una persona o un grupo de personas. Una clasificación mal hecha puede distorsionar completamente una experiencia, una visualización de datos no adecuada puede exponer patrones sensibles.
Además, en estos contextos de trauma hemos de considerar la ambigüedad, algo que no puede ser tratado como ruido para nosotras, sino parte de la experiencia. Considerar los silencios podría llevarnos a considerar que hay incompletitud en esos datos, sin embargo deben entenderse como una protección, como un duelo, como una imposibilidad de narrar y, claro, esto es completamente nuevo para mí.
¿Cómo podemos ser transparentes cuando el material con el que trabajamos es un testimonio que quizás no quiere mostrarse completamente?
Hablando de datos, la opacidad es una forma legítima de protección democrática. En mi opinión el todo abierto no significa necesariamente: más democrático. Lo del movimiento open technology empezó en Silicon Valley y responde a una ideología tecnolibertaria. Mira a lo que nos ha llevado. En un mundo ideal el todo abierto sería maravilloso, pero la realidad es que esconde una narrativa del privilegio en un sistema absolutamente desigual.
Por ejemplo, el open access en las revistas científicas no es ni open, ni access. ¿Quién puede pagar los 3.000 dólares que cuesta publicar en esas plataformas? Si hablamos de la ingeniería y computación: hombres y mujeres blancos, en universidades fuera de la Mayoría Global… Hay que decirlo, el open puede amplificar la discriminación y el privilegio. Así que, volviendo a LaNuestra, no todo debe ser visible para ser verificable. Estamos hablando de una aplicación muy sensible, muy complicada y que involucra experiencias humanas muy graves. Por lo tanto, para que algo sea verificable no todo tiene que ser visible.
LaNuestra es algo completamente distinto porque en nuestro caso crear comunidad es crear valor para la comunidad, es devolver capacidades, producir apoyo, tejer redes, qué es lo que hacemos siempre las comunidades de mujeres: generar conocimiento útil.
Habremos de gestionar la capacidad de acceso, las abstracciones, los metadatos protegidos, las verificaciones criptográficas con consentimiento granular y todo ello hará que los modelos matemáticos y computacionales que se van a diseñar en LaNuestra puedan ser explicables responsables y semiautomáticos y, por supuesto, puedan tener muchísimo rigor por la supervisión humana que les acompañará siempre.
La trazabilidad consiste en el modelo y en la forma ética en que diseñas tus modelos, más allá de si es open o no.
Segunda caja: la categorización
Si LaNuestra no quiere extraer datos del dolor, sino construir una infraestructura feminista. Desde el diseño de IA, ¿qué significa exactamente no ser extractiva?
Tenemos que diferenciar entre el extractivismo de datos y la plataforma de cuidado que es LaNuestra, pero, entonces, ¿qué es un sistema extractivo? Es un sistema que toma información, recursos y conocimiento de una comunidad y crea valor en otra. En los sistemas extractivos la pregunta clave no es qué datos se obtienen sino quién gana poder con ellos. Es una cuestión de poder.
En el caso de LaNuestra es algo completamente distinto porque en nuestro caso crear comunidad es crear valor para la comunidad, es devolver capacidades, producir apoyo, tejer redes, qué es lo que hacemos siempre las comunidades de mujeres: generar conocimiento útil.
Seguimos en el momento de la categorización. Categorizar testimonios puede ayudar a encontrar patrones, pero también puede reducir o violentar experiencias. ¿Cómo se diseña una arquitectura de categorías que sea útil, revisable y no revictimizante?
Pues mira, lo único que se puede hacer es, con muchísimo cariño y rigor científico, ser muy consciente de lo que se tiene entre manos. Y eso es exactamente lo que ha hecho Juliana de Souza para producir el libro de códigos en los que se va a basar nuestra categorización, que creo que ha estado más de un año realizando. Es un trabajo de rigor científico impresionante, en el que ha utilizado técnicas estadísticas para verificar más de 110 categorías.
Ahora lo que vamos a hacer es empezar con las 20 primeras. Divide y vencerás es el lema de computación, pero el objetivo no es reducir la experiencia humana para que encaje en nuestras categorías, sino que hay que diseñar los modelos matemáticos y computacionales para que incluyan la complejidad humana. Complejidades que tienen que ver con que las experiencias humanas no siempre pertenecen a una sola categoría y, además, que esa categoría va a cambiar a lo largo del tiempo. Por lo tanto, habrá que considerar taxonomías y categorías flexibles y dinámicas, capaces de evolucionar en el tiempo.
Con lo que volvemos a lo del principio del sistema complejo: la variación en el tiempo y la evolución en el tiempo. Desafortunadamente la violencia a una mujer puede cumplir con múltiples etiquetas, las narrativas de las cuales tienen que mantenerse abiertas a la contradicción de los testimonios dada su complejidad. Algo muy nuevo para mí. Va a ser un reto impresionante pero lo vamos a hacer con muchísimo rigor para tener en cuenta todos los niveles de complejidad.
Tercera caja: la visualización de datos
¿Podrías explicarnos en qué consistirá esa visualización y los usos previstos?
Una vez que se tengan los testimonios categorizados y se haya extraído información de los mismos de forma guiada a través de nuestro libro de códigos, será el momento de transformar la información en conocimiento. Esto se hará a través de ciencia de datos, análisis estadístico y diferentes técnicas de visualización de datos, utilizando métodos cualitativos y cuantitativos. Dividiremos el análisis de la información en tres niveles: 1) el micronivel de las experiencias individuales, 2) el mesonivel de las comunidades con experiencias similares, y 3) el macronivel de los patrones sistémicos de violencia. Aquí vemos de nuevo la red de redes complejas de LaNuestra.
Analizaremos las narrativas de los testimonios, los contextos sociodemográficos, los tipos de violencia y las consecuencias de la violencia a lo largo del tiempo. Nos gustaría compartir este conocimiento con gobiernos de todo el mundo, empezando por el de España incluyendo gobiernos locales y regionales, así como con organizaciones internacionales dependientes de la ONU y otros organismos, como Amnesty International, entre otros. Planeamos hacerlo a través de informes de síntesis, documentos técnicos y resúmenes para responsables de políticas públicas.
Cuarta caja: el match feminista
Una de las funciones imaginadas para LaNuestra es el match entre testimonios, patrones o mujeres con experiencias relacionadas. ¿Cómo se diseña un match feminista que no reproduzca la lógica comercial de las plataformas?
Yo no veo que el match feminista, ese poner juntos los pedacitos de dolor y de silencio, deba estar enfocado a buscar justicia, sino a la sanación.
Las plataformas tradicionales lo que potencian es la retención, la interacción, la monetización y la dependencia, en cambio un match feminista lo que debería potenciar es la disminución del aislamiento y de la soledad. El objetivo no es conectar perfiles compatibles sino romper la fragmentación del dolor y la soledad. Lo que intenta el match es romper esa fragmentación y poner juntas a las mujeres para que puedan sanar. Así que se trata de potenciar la acción colectiva, el acompañamiento, el reconocimiento mutuo, el vernos las unas a las otras y apoyarnos desde el consentimiento que tiene que ser un espacio seguro. Todo eso es lo que la reparación tiene que considerar.
El consentimiento como punto de partida
En esta arquitectura de cajas que tienes prevista, ¿qué papel debería tener el consentimiento situado, es decir, que una mujer pueda decidir si su testimonio sirve para el archivo o quiere retirarlo? ¿Cómo vais a equilibrar el poder del individuo frente al de la propia plataforma?
Lo que tú llamas consentimiento situado es aquello a lo que yo me refería con el consentimiento granular, y es fundamental.
El poder tiene que estar en la persona que da su testimonio y, en este sentido, el consentimiento no puede ser sólo un checkbox que se da y ya es permanente. Cada mujer debe poder decidir qué comparte, con quién, cuándo, para qué fines, durante cuánto tiempo y si puede revocar ese consentimiento en cualquier momento y para usos futuros.
Con lo cual, el consentimiento tiene que ser dinámico reversible, granular y situado, y seguramente se nos ocurrirán más consideraciones a tener en cuenta.
En el caso de LaNuestra nunca se van a puntuar testimonios, no va a haber una competición de cuál es el mejor testimonio, nunca se va a poder identificar las víctimas, ni por supuesto comercializar con los datos. Y nunca vamos a retar la credibilidad de ningún testimonio.
Nada de LaNuestra va a ser automático. Siempre nos vamos a guiar por modelos matemáticos, modelos computacionales y algunos basados en técnicas de inteligencia artificial, pero siempre va a haber una supervisión humana de todas las áreas. Van a ser las tecnólogas, supervivientes, colectivos feministas, mediadoras, juristas, archivistas, investigadoras y comunidades locales, las responsables de auditar la plataforma y cómo repartimos ese poder se sale un poco de la ingeniería, es una pregunta política.
Yo te diría que aquí no hay una repartición de poder, porque aquí no hay jerarquías, ni competición. O sea, las mujeres normalmente lo que hacemos es cooperar, no competir, por lo tanto no nos vamos a pelear por ningún poder. Tiene que ser una gobernanza distribuida, una supervisión completamente plural que parte de esa riqueza multidisciplinar y diversa que tenemos en LaNuestra y, además, con todas las cofundadoras tiene que haber una supervisión plural y una participación vinculante. Aquellas personas afectadas que dan sus testimonios, las cofundadoras, no pueden ser únicamente fuente de datos, deben ser agentes decisión.
La Nuestra tiene actualmente testimonios de 64 países. Ojalá tengamos muchos más en el futuro. Ojalá que podamos adaptar LaNuestra a distintos países: LaNuestra en inglés, LaNuestra en alemán, LaNuestra en francés, LaNuestra en quechua, La Nuestra en náhuatl. Ojalá poder incluir a todo el mundo.
