Nuria Oliver, ingeniera: «Las conversaciones con los chatbot se usan para entrenar otros modelos de IA. Hay que evitar dar información personal»

La experta, galardonada con el Premio Nacional de Matemáticas y Tecnología, alerta sobre el uso de chatbots como sustitutos de la salud mental sin criterio de veracidad

Acaba de recoger el Premio Nacional de Matemáticas y Tecnología de manos del Rey. ¿Qué ha representado para usted y para el proyecto?

Es un grandísimo honor, porque son unos de los galardones más importantes desde el punto de vista científico que concede el Gobierno de España. Nos llena de felicidad.

¿Era el primero que se daba en el ámbito de la IA?

No se lo podría asegurar, pero sí me resultó curioso ver como en el video de presentación de los premios, muchos de los científicos reconocidos hablaban de IA y justo, en mi intervención no (sonríe). Eso demuestra que el aspecto diferenciador de la inteligencia artificial es su transversalidad, el hecho de que se puede aplicar en cualquier sector y por eso está impactando todos los ámbitos de la sociedad.

La IA generativa ha corregido los sesgos de género de la etapa inicial. ¿En una escala del 1 al 10, en qué punto estamos?

Es una respuesta difícil decir dónde estamos, pero sí es verdad que ha habido una evolución. Hay una línea de investigación dentro de la inteligencia artificial, que es la que se conoce como discriminación, sesgos y estereotipación algorítmicas, que tiene como objetivo investigar si los algoritmos de IA discriminan y si replican o incluso amplifican patrones de estereotipos. Se demostró que lo hacían y conforme la comunidad científica lo hemos ido descubriendo, hemos ido inventando mecanismos para mitigarlos o para eliminarlos. No hablamos de una solución perfecta, porque es un problema complejo. Estos modelos pueden tener 1.000 millones de parámetros, han sido entrenados con cantidades ingentes de datos y es muy difícil, realmente, determinar dónde y cómo han adquirido estos sesgos.

Su trabajo demostró el papel de altavoz que jugaban las redes sociales, ¿se ha acentuado esa amplificación?

Claro, de hecho, uno de los proyectos de investigación donde somos pioneros a nivel mundial es el estudio de los filtros de belleza, que tan populares son en las redes sociales. Estos filtros utilizan inteligencia artificial para modificar las fotos y embellecer a las personas aplicando un canon de belleza que no está muy claro quién ha definido, pero que tiene claros sesgos raciales como desvelamos desde Ellis Alicante. Quiero pensar que hemos contribuido a hacer visible el problema y su impacto y que la evidencia llevó a algunas empresas a anunciar que los prohibirían.

¿Hasta dónde ha llegado ese impacto?

Al final, se genera una desconexión entre lo que vemos en el mundo digital, donde todo el mundo es perfecto, y lo que vemos en el mundo físico incluyéndonos a nosotras donde no somos perfectas. Esto da lugar a un crecimiento exponencial en las cirugías estéticas, por ejemplo, de las adolescentes, o a un aumento de trastornos de ansiedad, de dismorfia o incluso a suicidios por esta insatisfacción sobre la apariencia.

Precisamente, ustedes participan activamente con charlas dirigidas a adolescentes. ¿las nuevas generaciones tienen un mejor conocimiento sobre lo que es la IA?

Este año celebramos el evento más grande con 700 adolescentes y el objetivo es tanto informar o inspirar más vocaciones científico-tecnológicas, especialmente chicas. A nivel usuario, el nivel es muy variopinto.

¿Saben que los chatbots no son sus amigos?

Desgraciadamente, estos chatbots con IA son cada vez más utilizamos para compartir inquietudes, preocupaciones o información personal, como si fuera un psicoterapeuta, profesora o ‘coach’. Es preocupante porque no están diseñados para esos propósitos y tampoco tienen ningún tipo de criterio de veracidad sobre lo que están contestando y, evidentemente, no tienen ningún tipo, ni de empatía, ni de sentimiento. De hecho, preocupados por esta temática, hace unos meses colaboramos con un equipo de expertos en salud mental del Reino Unido. Hicimos una evaluación de cómo de bien o mal estos chatbots responden cuando la persona puede estar sufriendo una crisis de salud mental y encontramos que no responden adecuadamente. Hay un porcentaje no menor de situaciones donde responden de una manera deficitaria, pero al usuario le da credibilidad. La consecuencia es que ya hay denuncias de padres contra las empresas que hacen estos chatbots, porque alegan que sus hijos se han suicidado animados por las respuestas. No es un tema menor.

¿Dónde debe estar el límite de estos chatbots como compañeros sociales?

Es una pregunta muy difícil de contestar, porque socialmente nos encontramos en la paradójica situación de ser la sociedad más conectada de la historia, pero también la que sufre más soledad de la historia. Respecto a situaciones de soledad no deseada, hay que tener en cuenta el envejecimiento de la población. Es un problema social que tenemos que resolver y que ahora, quizás parcialmente, está siendo resuelto usando estos sistemas de inteligencia artificial que siempre están felices de alguna manera y te responden de una manera muy amigable.

¿Tan desalentador es el panorama?

En este sentido, creo que estamos en una situación de tormenta perfecta, de tener una gran necesidad a nivel social de sentirnos menos solos, y por otra, la irrupción de tecnología que puede suplir ese vacío, que quizás no es la solución, con lo cual es difícil. Por ejemplo, en países como Japón, donde hay un grandísimo envejecimiento de la población es relativamente común tener acompañantes o mascotas robóticas. La tecnología, en realidad, depende de cómo se use. Considero que hay potencial para combatir la soledad no deseada o tener un mejor envejecimiento en tu casa, que sabemos que es el lugar ideal, pero como sociedad también deberíamos reflexionar sobre este asunto.

Ha formado parte del grupo de expertos de la UE que ha redactado la actual ley. ¿Cómo fue la experiencia?

El trabajo lo finalizamos el año pasado. El reglamento europeo de IA es la regulación donde se ha quedado fijados usos prohibidos. Por ejemplo, asignar a cada persona una puntuación como base para luego darles más o menos beneficios o hacer una vigilancia masiva biométrica de la población, entre otros. Después, se establecieron denominaciones que van desde el alto riesgo -que son usos de gran impacto social -, medio y bajo. En cualquier caso, fue experiencia enriquecedora, que contó con un proceso muy participativo (más de mil representantes de procedencia muy diversa).

Con el ritmo de cambios que lleva la tecnología, ¿será una ley viva?

Sí, de hecho, el Parlamento Europeo acaba de aprobar unas modificaciones sobre las exigencias regulatorias. Los códigos de prácticas son como un recetario que especifica exactamente cómo hacer que seas transparente. No son vinculantes, no es ley, pero los que se acogen se supone que cumplen con esas pautas.

Por otra parte, acaba de publicar la segunda edición de su libro “Inteligencia Artificial, naturalmente”, ¿qué novedades ha incorporado?

En realidad, no tenía intención de escribir ningún libro. Debemos remontarnos a 2018 tras pronunciar el discurso por el que fui investida académica de la Real Academia de Ingeniería. Desde entonces, han pasado muchas cosas y, aunque reconozco que no le dedico mucha atención a estos detalles, fue finalmente mi marido el que me convenció a actualizarlo en aspectos como el impacto económico y explicar qué es la inteligencia artificial generativa. Y también tiene una parte nueva de la regulación que, en ese momento, no existía.

En una reciente jornada, los asistentes indicaron que no sabían cómo preguntar a la IA. ¿Tenemos sentimiento de culpabilidad? ¿Tenemos sentimiento de culpabilidad?

Uno de los retos que tenemos los seres humanos es que antropomorfizamos la tecnología. Hay un área de conocimiento que es la “Prompt engineering”, la ingeniería de los prompts, de saber cómo preguntarle a la inteligencia artificial, entendiendo sus virtudes, pero también sus limitaciones. Hay que recordar que cualquier cosa que se le diga a un chatbot, esas conversaciones, va a ser utilizada para entrenar otros modelos de IA con lo cual hay que ser muy cauteloso e intentar evitar, bajo cualquier concepto, proporcionar información personal. Es importante intentar no bajar la guardia, porque pensamos que tenemos una conversación confidencial con este sistema, pero la conversación no es confidencial. Eso seguro. Para poder entrenar estas redes neuronales se necesitan cantidades ingentes de datos. Hemos llegado a un punto en que ya no hay más datos humanos con los que entrenar los modelos, porque se han utilizado todos y entonces las empresas tienen que utilizar datos de las conversaciones, porque son como el último recurso de dato humano que queda. Hay que ser muy cuidadoso. Le diré que no digo absolutamente nada personal, ni confidencial, ni privado, porque no se sabe qué podrían hacer con esa información.

¿Qué ocurre con nuestra privacidad?

Hubo mucha polémica cuando Meta anunció que iba a utilizar los datos de las conversaciones y los datos de Facebook para entrenar sus modelos de inteligencia artificial. La reacción negativa social hizo que la empresa se retractara y dijo que no lo haría, pero el hecho de que WhatsApp tenga la IA de Meta también levanta un poco de sospechas sobre qué es lo que están haciendo con los datos de las conversaciones. Así que sí, la privacidad es fundamental y, como he dicho, uno de los retos ahora es que ya no quedan más datos humanos, ahora se ha vuelto más difícil poder entrenar redes más grandes que necesitan más datos.