Entrevistas
Liliana Arroyo Sicofancia, soledad y apego parasocial, ¿cómo imaginar junto a la juventud una IA socialmente responsable?
Entró en la facultad diciendo: yo quiero entender la realidad social para transformarla porque lo que quiero es mejorar la vida de mis vecinos. Años más tarde, y tras su paso como Directora General del Departamente de Sociedad Digital de la Generalitat de Cataluña, Liliana Arroyo dirige la Cátedra de Esade y Exea Impact para una Innovación Digital Socialmente Responsable (SoReDI) desde donde impulsa una Comunidad de Práctica de jóvenes de entre 16 y 25 años, con la vista puesta en proponer nuevas formas de experimentar la tecnología, sobre todo, en lo que a la soledad juvenil y la IA se refiere.
Tenemos, prácticamente, dos años por delante, y es desde este lugar: a caballo entre la academia y la filantropía, desde el que queremos abrir nuevos espacios a la tecnología, porque la industria por si sola no lo ha conseguido.
Tu trayectoria proviene de la sociología y a día de hoy trabajas en innovación social y tecnología responsable. Cuando hablamos de innovación social digital, ¿qué condiciones debería cumplir una tecnología para ser realmente socialmente responsable?
Cuando hablamos de innovación social y tecnología hablamos de soluciones que nos ayudan colectivamente: nos ayudan a vincularnos mejor, nos ayudan a entendernos mejor, nos ayudan a convivir mejor, nos ayudan a gestionar mejor el disenso.
Para mí no son innovación social digital las plataformas que nos atomizan, nos encapsulan y nos hacen vivir en cámaras de eco. Esas que lejos de alimentar nuestros vínculos, aunque era la promesa original, lo que hacen es atraparnos en un paisaje muy homogéneo, donde no podemos crecer.
Para mí, la innovación digital responsable es socialmente responsable no solo cuando cumple con la carta de derechos humanos, sino también cuando responde a esa necesidad tan humana de ser y de pertenecer y, por tanto, crea espacios de pertenencia, de encuentro, de creación, de tejido social. En resumen, sería una tecnología que nos ayuda a cuidar los vínculos o, como mínimo, no los estropea.
¿Qué significa para ti ser tecno-optimista hoy, en un momento marcado tanto por el entusiasmo tecnológico como por la desconfianza hacia las grandes plataformas?
Esta es una tensión muy fuerte que siempre tengo presente. Alguna vez me han definido como tecno-optimista crítica, pero si tengo algo claro es que las herramientas digitales, los entornos digitales, y también las agresiones digitales, no vienen solas; hay todo un proceso de innovación detrás que decidimos adoptar y que hace falta que estudiemos de cerca.
Sean bienvenidas las herramientas tecnológicas, siempre y cuando seamos capaces de gobernarlas. Hemos de poder domesticarlas un poco para que estén a nuestro servicio y no a la inversa.
Es verdad que el optimismo radical se está haciendo difícil de sostener, pero al mismo tiempo creo que es más necesario que nunca. Intento encontrar las señales que me ayuden a pensar el futuro, esas que nos acercan a unos entornos digitales habitables a escala humana en los que nos apetezca crecer, desarrollarnos, conectar, relacionarnos…
¿Y qué señales ves en este momento?
Si miramos a las plataformas predominantes y a sus modelos de negocio, la esperanza se acaba rápido. Les dan igual sus impactos. Ante eso, creo que hay que asumir que lo que en economía se entiende como externalidades negativas no son externalidades, sino impactos derivados de la actividad empresarial.
Venimos de unos años en los que la responsabilidad sobre lo que pasa en la red se ha esquivado por parte de las grandes corporaciones, pero eso pasa cada vez menos. Meta y Google, por ejemplo, han tenido que asumir que lo que pasa en sus canales tiene que ver con ellos y es su responsabilidad. Ya no vale con decir que ellos solo ponen la plataforma y no importa lo que contenga.
Ha llegado el momento en que sabemos que los monopolios tecnológicos son un riesgo y una anomalía ante la que hay que plantarse. Se habla mucho, por ejemplo, de la prohibición de redes sociales hasta los 16 años. Independientemente de lo que pienso sobre el tema en concreto, para mí es un ejemplo de que por fin nos atrevemos a plantarnos y decirle al sector digital que hay que así no podemos continuar. Los gobiernos parecen haber entendido que hemos de imponernos ante los gigantes tecnológicos.
¿Dónde situarías la frontera entre un tecno-optimismo crítico y el solucionismo tecnológico? Es decir, ¿cómo se relacionan esta idea de que todo se puede solucionar desde la tecnología, pero a la vez podemos mantener cierto espacio de crítica controlado?
El solucionismo tecnológico solo funciona si formas parte de esa minoría de gente privilegiada que tendrá acceso a esta tecnología que supuestamente lo resolverá todo. Y aquí yo creo que habría que poner muchos interrogantes: el “todo” es un absoluto muy amplio, muy ambicioso. Y, además, abro paréntesis: creo que es positivo que haya esferas de nuestra vida y de nuestra existencia que estén liberadas de la tecnología.
En este sentido, creer que la tecnología es algo que me cae encima mágicamente, o que está gobernada por unas leyes naturales que no entiendo, perpetúa la desigualdad y merma nuestra capacidad de agencia para gobernarla. Olvidar que hay un diseño pensado por personas y que, por tanto, puede haber un proceso de negociación y de corrección social, eso es lo que reclamo desde el tecno-optimismo crítico.
La última palabra sobre cómo debe ser la tecnología y sobre cómo queremos usarla la hemos de tener nosotros y preferiblemente de forma colectiva. Porque si lo hacemos en clave individual quien tiene la capacidad de gobernar la tecnología es quien tiene dinero y poder, que es lo que está pasando ahora. En cambio, si lo hacemos de forma colegiada, de forma colectiva, la fiscalización sobre estos productos y servicios es mucho mayor y, por tanto, más justa y más inclusiva.
1r Bootcamp de la Comunidad de Práctica SoReDI
Platoniq, 2026
¿Qué protagonismo les ves a los jóvenes? ¿Podrían tener algún tipo de papel en la transformación digital actual? Ellos son los principales usuarios: vulnerables y productores de cultura digital…
Total. Yo estoy 100% convencida de que tienen que ser protagonistas. Quizá no protagonistas únicos, pero tienen que estar en esta conversación segurísimo. Y no necesariamente jóvenes mayores de edad. La participación infantil y juvenil es muy importante. Hay entidades que se dedican a esto y que establecen cuáles son los mecanismos para que la infancia y la adolescencia puedan participar de forma segura, protegida, pero también empoderadora. De hecho, ya lo estamos viendo: muchos movimientos liderados por jóvenes que piden ser escuchados y formar parte de diseños que entienden se desarrollan sin ellos, y de alguna manera, contra ellos.
Hay una capa de la juventud que, igual que con el cambio climático, se ha dado cuenta de que han crecido en unos entornos que son tóxicos y que esto no tenía por qué hacerse así. Por apuntar un par de iniciativas muy interesantes al respecto:
Una es Design It For Us, el título lo dice todo. Es una comunidad que nació en Estados Unidos, pero ahora está en 24 países, y son jóvenes que se atreven a presentarse delante de las sedes de estas empresas, llamar a la puerta y decir: “Hola, vengo aquí a explicarte cómo queremos que sean nuestros entornos digitales”. Y esto lo hacen no solo desde el enfado o desde la rabia, sino que se documentan en temas de regulación y cómo establecer marcos, estándares y buenas prácticas.
Después hay otra que me parece muy interesante a nivel europeo que se llama Control Alt Delete, que funcionan de manera parecida: han hecho un informe identificando jóvenes que están creando herramientas concretas contra el ciberacoso y están creando dispositivos propios en los que tú puedes tener un teléfono inteligente, pero sin todas las capas de economía de la atención. Incluso aquí en Barcelona hay unos jóvenes emprendedores que han diseñado un teléfono en el que no puedes descargar redes sociales, ni plataformas de streaming, ni apuestas, ni espacios de consumo de contenido pornográfico.
Cuando hablas con ellos y les preguntas: ¿cómo llegasteis a esta idea? Lo que te dicen es que no les gustaba lo que veían y que, a partir de allí, diseñaron un pequeño software y, al final, ¿qué ha pasado? que ahora consumen lo que ellos deciden. Y eso tiene un público y una audiencia.
Recientemente hablábamos con una chica que usa la inteligencia artificial para acompañar el ciberacoso en entornos digitales. Acompañar en el sentido de que si lo padeces, si eres víctima o victimaria, te invita a repensar tus palabras antes de publicarlas. O incluso, una vez publicadas, te ayuda a revisarlas y a ver si puedes canalizar esa incomodidad, esa rabia, esa confrontación de otra manera. Y yo creo que son ejemplos muy inspiradores. Muy inspiradores, porque además recogen voces muy diversas, de perfiles muy variados. Me hacen creer que hay esperanza.
Estábamos en un escenario en el que teníamos jóvenes tristes, pero no jóvenes enfadados. Y un poco el enfado, la incomodidad, es una condición del inconformismo. Sin querer decir rabia, el inconformismo es una condición necesaria y saludable en la juventud. Por tanto, yo creo que es fantástico que ellos mismos quieran dirigirse como protagonistas y como creadores.
A la vez, a los jóvenes se los describe como muy influenciados por todo lo que reciben de esta nueva ola tecnológica. ¿Cómo crees que los algoritmos y las plataformas modifican la manera que tienen los jóvenes de pensar?
La modifica totalmente. Aunque solo sea por la cantidad de exposición, información variada y mezclada que tienen. Se nos coloca permanentemente en un formato reactivo en el que ves mezclado un anuncio, una publicación de tu amiga, tu web o prescriptor digital de referencia, y entonces vuelves a ver otro anuncio, una noticia y el testimonio de un conflicto de no sé qué lugar del mundo, en primera persona… Es muy difícil construir criterio ante tanta información y tan diversa.
Daniel Innerarity habla de un concepto que me parece muy interesante: el colapso de contextos. El hecho de que todo pase dentro de un mismo entorno hace que pierdas los contextos de dónde viene esta información, quién la está emitiendo y cuál es el propósito. Hay tal cantidad, volumen, velocidad y abundancia, en el mal sentido, que toda la experiencia acaba produciendo un chantaje emocional que no sabemos manejar.
Lo sabemos, son herramientas que juegan con este FOMO, con esa sensación de estar perdiéndote algo y con toda la cuestión de la validación. Crecer en un entorno así favorece una fragilidad emocional muy flotante, porque hay momentos en que se vive hacia fuera, aparentando, demostrando, y no hay espacios hacia dentro. Hay pocos espacios para la reflexión, para la no reacción, y eso cambia muchísimo la manera de pensar, la manera de interactuar y de relacionarse. Por eso se habla de la individuación de la experiencia. Todas estas experiencias que se viven de forma rápida, de forma agradable o de forma desagradable, se viven en solitario.
Hacen falta espacios para digerir de forma colectiva cómo nos sentimos en los entornos digitales.
Ahora se empieza a hablar de ello. Pero hasta ahora es como si no existieran. De hecho, la persona que se siente más libre, más conectada y con más recursos en el ámbito digital, es a la vez la persona que más acoso recibe. Por un lado, los jóvenes se pueden organizar y pueden tener altavoces, pero están expuestos a esta arma de doble filo. Hay un estudio muy interesante de Hopelab y de Common Sense Media que explica esto y te enseña datos sobre lo importante que es para una persona el colectivo, y los riesgos que conlleva a nivel digital. Hemos asumido que para tener una identidad digital hay un peaje que hay que pagar y este es el tipo de cosas a las que creo que es importante que les demos visibilidad.
Estás impulsando desde la cátedra SoReDI de ESADE-URL cómo impulsar una innovación digital socialmente responsable, liderada desde la conversación con estos jóvenes… ¿Qué temas estáis trabajando?
Pues mira, en primer lugar diría que se habla mucho de bienestar digital, pero poco de las responsabilidades corporativas. Este no es un proyecto que quiera hacer la enésima app de desconexión digital, sino que lo que queremos es crear un espacio de diálogo y de co-creación, para que haya resultados para la industria y con el sector digital. La parte de la demanda ya sabemos que existe, ya sabemos lo que necesitamos, por ejemplo, hay gente que trabaja en alfabetización mediática y lo están haciendo genial. O aquellos que trabajan en la regulación, que también la necesitamos.
Pero también creo que necesitamos espacios que tiendan puentes entre estas voces jóvenes y usuarias y empresas que construyen sus modelos asumiendo roles tóxicos, cada uno con variaciones dependiendo de la plataforma concreta, pero que en general lo único que persiguen es cumplir con sus modelos de negocio. En el caso de las redes sociales, por ejemplo, están directamente orientadas a la economía de la atención: se trata de que pases el máximo tiempo conmigo para servirte contenidos que te mantengan aquí enganchado o enganchada a tu pantalla.
En segundo lugar, si hablamos de inteligencia artificial, ya estamos entrando en el ámbito en el que establecemos un vínculo y establecemos relaciones parasociales. Este concepto, el de apego parasocial, nace en los años 60 y tiene que ver con aquel vínculo más o menos afectivo de referencia que tú podrías construir con una celebridad. Por ejemplo, con tu actor o tu actriz de referencia, o con un cantante, o cuando la gente hace cola en el estadio antes del concierto porque tiene esta pasión. Hasta hace muy poco, las relaciones parasociales eran con personas desconocidas, pero personas. Relaciones imaginadas que nos producían emociones y sentimientos. Otras culturas, al tener una base más animista, las tenían también con objetos.Por ejemplo, pensemos en el Tamagotchi de los 90 y en cómo establecíamos vínculos con él.
Esto que, visto desde lejos, podía parecer ridículo, no lo es. Tiene que ver con la capacidad de vincularse afectivamente con algo o con alguien, que no necesariamente tiene que corresponderte. Ahora estamos entrando en una nueva fase: la que pasamos de la economía de la atención a la economía del apego. Y es en esta en la que empezamos a construir vínculos parasociales con un programa informático, que puede ser nuestro chatbot de referencia o puede ser nuestro agente de IA. Ya sabemos que hay inteligencias artificiales generativas, GPT y modelos similares, y después tenemos programas específicos y empresas específicas en las que te puedes diseñar compañeros.
Ahora tener un amigo imaginario es algo real. Ya no es imaginario, es un software que puedes diseñar con Character AI, Chai o Replika, por mencionar tres que son muy importantes. La cuestión aquí es que los vínculos que desarrollas con esos entes son clave, en el sentido de que pueden tener impacto real en tu vida, en tu forma de pensar e incluso, diría que esta es la parte más importante, en cómo tomas decisiones. Ese es el punto, el elemento que afecta a tu libertad: qué decisiones tomas y desde dónde las tomas. Hay una falsedad del marco de toma de decisiones que estableces y desde dónde tomas ese camino que quieres elegir. Y en esto la inteligencia artificial es muy buena. Es muy buena sirviendo, porque los modelos son muy hábiles.
Y el problema de esto es que no tenemos quien audite la sostenibilidad de los modelos de negocio, ni cómo están ganando dinero. Y mientras tanto, se están cargando cosas. Tenemos una parte de la oferta que está en estas condiciones, así que una idea básica del proyecto también es esta: hacen falta puentes entre jóvenes e industria, y hacen falta por esto.
Y finalmente, en tercer lugar, creemos que nos falta acordar un marco que defina bien qué es precisamente la innovación responsable digital. Y para ello nos preguntamos sobre la influencia de la inteligencia artificial en la soledad juvenil.
¿Qué pasaría si fuéramos capaces, con un grupo de gente muy convencida y muy determinada, todas juntas, en un tiempo muy concreto y muy corto, de plantear proyectos y soluciones que puedan ser compatibles con inteligencia artificial, pero que no sean antropomorfizadas? Que no te hagan creer que es una persona; que te puedan servir como asistente sintético, pero que tengas claro todo el tiempo que estás hablando con un programa, que al final son líneas de código, que, a la vez, tenga en cuenta la fragilidad humana y la vulnerabilidad. Es decir, que tengan responsabilidad afectiva, como cuando te acompañan terapéuticamente.
Son parámetros que tienen que estar presentes. ¿Qué pasaría si no solo pusiéramos ética y responsabilidad, sino que lo que está bien también fuera aquello que es responsable con tu afectividad? Hay todo un campo que ahora está creciendo mucho, de computación afectiva, que nos puede parecer que está muy lejos, pero ChatGPT y compañía son buenos ejemplos de ello. Y vemos cómo la gente empieza preguntándole cosas como “conviérteme esta tabla”y acaba preguntando cómo hago para educar a mi hijo o cómo gestionar este conflicto que he tenido con una amistad.
Se observa cada vez más uno de los tres usos más frecuentes en todas las edades es precisamente el de asistente personal, como coach personal, que a todos nos va bien, porque necesitamos un poco de oráculo y de orientación cuando estamos perdidos. En otros momentos de la historia hay personas que han recurrido a la religión; ahora tenemos este nuevo espacio, esta tercera agencia que está emergiendo, que son estos espacios de interacción con lo digital.
Por tanto, el proyecto pretende eso: poner responsabilidad afectiva en modelos con los que conversamos, hacerlo con la industria y hacerlo desde las voces de los jóvenes; y no solo porque se les llame a participar, sino porque los prototipos puedan partir, en la medida de lo posible, de proyectos que ya están liderados por jóvenes.
Antes de hablar, de entrar un poco más en estos riesgos que vemos en estas nuevas maneras de usar la inteligencia digital, me interesa mucho y no quiero olvidarme de preguntarlo. ¿Por qué pones tanto énfasis en que esta herramienta sea evidentemente no humana? ¿Por qué lo citas tanto así? ¿Por qué pones tanto énfasis en este “no humana”?
Sí, totalmente. Le pongo mucho énfasis porque se está estudiando este diseño antropomórfico y estas cualidades humanas: la IA piensa, la IA razona, la IA siente, la IA cree. Esto alimenta de una forma muy exagerada y tiene que ver con estas relaciones parasociales. Y es uno de los elementos de su diseño. Se han identificado tres: uno es el diseño antropomórfico; el otro es la validación constante, porque eso te genera una falsa sensación de seguridad emocional. Sabes que nunca te estás exponiendo a un juicio o a una crítica, sino que siempre te aplaudirá. La pregunta más tonta que quieras hacerle, la pregunta más simple, más llana y más prosaica que quieras hacerle, le parecerá una idea maravillosa. Y después está todo el tema de la sicofancia, donde se superan los límites de la validación y confiamos más en la inteligencia artificial que en lo que digo, sin contrastarlo. A mí me trastorna como persona. Estos tres elementos de diseño, tal como están ahora, fomentan la dependencia emocional hacia estos modelos. Pero si lo diseñamos de otra manera, quizás estos modelos pueden ser capacitantes.
Como dice Alison Lee, es importante usar la IA “antes del contacto humano” y nunca en lugar del contacto humano. Esto me parece un elemento clave. Está bien que nos preparemos para tener una conversación difícil, pero hay que tener claro que el contacto acabará definiendo la realidad, y no al contrario. Hemos de tener claro que esto es una herramienta, y que no es una persona. No nos está acompañando, no piensa en nosotros, no piensa en el contexto, no piensa en el colectivo. No hay una existencia. No es un ser vivo, ni un ser sintiente.
Porque hay una cosa básica que nos separa, que nos distingue: que no tiene sentidos, no tiene cuerpo. Y el cuerpo es la puerta a la experiencia, a la experiencia del contexto y a las otras cosas. Por eso hago tanto énfasis. Y en esto, porque me parece que es el eslabón más básico que tenemos que revertir para poder convertirla en una aliada, y no convertirnos nosotros en esclavos de estos falsos oráculos.
Antes hablábamos de una dimensión muy delicada: cómo imaginar un asistente sintético que pueda acompañar sin ocupar un lugar que no le corresponde. Ahí aparecen muchos matices: responsabilidad, vínculo, límites, diseño, lenguaje. Me gustaría ahora desplazar la pregunta del plano más individual o afectivo hacia una dimensión más colectiva y democrática. ¿Qué responsabilidad tienen estas infraestructuras tecnológicas en la reproducción o transformación de desigualdades sociales, generacionales, de género, raciales o culturales? Como me decía Eva Navarro hace poco: “tal como hablan algunas inteligencias artificiales, parece que estemos borrando 200 años de lucha social”. ¿Cómo lo ves tú? ¿La inteligencia artificial puede contribuir a reconocer esas luchas y ampliar derechos, o corremos el riesgo de que vuelva a naturalizar desigualdades que ya habíamos aprendido a nombrar?
Yo veo una lectura en tres niveles. Una es el reto de la representación: si tú estás fuera de la norma, si no estás en las bases de datos que han entrenado los modelos, ni siquiera saldrás en los resultados que arrojen. Hay una parte de muestra y de representación. Y aquí aparece el peligro de la homogeneización y pérdida de diversidad.
Algo que me hace pensar en la importancia de la movilización social; podemos estar en desacuerdo, desde la creación de espacios de disenso. De hecho, podríamos estar hablando de un espacio de práctica de la deliberación y sería fantástico que nos pudiera ayudar.
Ahora que estamos leyendo literatura sobre estas cuestiones, vemos que hay dos cosas que funcionan muy bien. Una es que te genere más preguntas que respuestas, que te haga elaborar más sobre aquello que estás preguntando. Eso también quiere decir que no solo repregunte, sino que te invite a pensar hasta qué punto tienes afianzada una idea e incluso a cuestionarla. Y la otra es la tercera persona. Que el modelo no te diga “qué buena idea has tenido”, sino que “el usuario ha tenido una idea interesante”. Hacer preguntas y hablar en tercera persona es una forma de descorporeizarlo. Y eso es precisamente lo que se debería buscar.
Nos interesa mucho la idea de la capacitación democrática. Y qué capacidades democráticas necesitamos ante nuevas realidades, como las que describes. ¿Qué capacidades democráticas crees que deberíamos cultivar para vivir en sociedades atravesadas por la inteligencia artificial?
Pues mira, diré una individual y dos colectivas. Primero, el poder tener espacios de soledad y silencio, que son espacios donde construimos identidad también. Aquellos espacios en los que nos repensamos, en los que nos vemos desde fuera, en los que nos reflejamos, en los que reflexionamos… Por tanto, espacios de soledad y de escucha propia.
Después, a nivel colectivo, la capacidad de sostener el disenso. Es decir, que podamos seguir en una conversación aunque no estemos de acuerdo. Que podamos ponernos de acuerdo en que estamos en desacuerdo. Y aun así buscar comunes o pensar si tenemos un horizonte compartido. En caso de que no lo tengamos, que no sea un problema, ni una semilla de confrontación. Trabajar desde el sostenimiento del disenso es importante.
Y después yo diría que no hay nada más democrático que la empatía. La empatía es esa capacidad de ver a la otra persona y que conecta con este segundo elemento que decía. Y esa es la semilla de la democracia.
Y quizá añadiría una cuarta: la capacidad y el potencial de sentirnos parte de la solución. Es decir, yo participaré en una mejora si siento que es un espacio donde soy útil y que mis demandas, como mínimo, son escuchadas. Puedo entender que no siempre se puedan llevar a cabo, porque hay otra gente que también tiene otras necesidades. Pero la democracia va de eso, de la capacidad de hacernos sentir que la participación no es un trámite, sino que tiene sentido, como vínculo. El sentimiento de pertenencia es profundamente democrático. Una necesidad democrática, diría yo, de primer orden.
Colabora con la SoReDI COP
ESADE
