Nuria Oliver, cofundadora y vicepresidenta de ELLIS analiza los sistemas de IA que generan una falsa ilusión de empatía

"Amamos y nos enamoramos de nuestros chatbots. Disfrutamos de su disponibilidad constante, de su amabilidad inmutable, de su aparente conocimiento sin límites, de su supuesta empatía y, cómo no, de su maestría para la adulación constante. De hecho, en una sociedad marcada por la soledad y la crispación, podemos llegar a pensar que son lo mejor que nos ha pasado. Por ello, cada vez más buscamos refugio en nuestro chatbot favorito para que nos consuele, nos aconseje, nos escuche y, por qué no, nos haga un poco la pelota como tan bien saben hacerlo. Pero, tras esa fachada, es importante saber que los chatbots no son ni nuestros aliados ni nuestros amigos. Han sido diseñados para cumplir objetivos definidos por quienes los implementan, y no necesariamente para proteger nuestros intereses".

Sesgos de confirmación

"Si esto es así, ¿por qué confiamos en ellos nuestros más íntimos pensamientos, secretos, enfermedades, dudas o miedos? Porque la antropomorfización nos hace atribuirles intenciones y comprensión humanas. El efecto Eliza, descrito por el pionero Joseph Weizenbaum, demuestra que incluso interacciones mínimas pueden generar la sensación de que el sistema nos entiende y nos escucha; y el sesgo de confirmación nos lleva a valorar respuestas que coinciden con nuestras creencias. La interacción es casi siempre textual y aparentemente anónima: sin caras ni miradas que nos juzguen, nos sentimos cómodos revelando información y siguiendo recomendaciones, lo que refuerza la ilusión de confianza. Otros factores que aumentan la confianza incluyen la percepción de transparencia cuando parecen explicar sus límites, la cortesía y respuestas agradables que refuerzan la sensación de comprensión, la consistencia funcional que da la impresión de competencia, la posibilidad de corregir errores y su habilidad para, casi siempre, darnos la razón".

Maestros del ilusionismo

"Esta combinación de diseño conversacional y sesgos psicológicos produce la sensación de un asistente confiable, cuando en realidad el comportamiento de los chatbots es resultado de algoritmos que priorizan los intereses comerciales de las empresas: maximizar el tiempo de interacción, recopilar datos y/o influir en decisiones de compra. Los chatbots son maestros del ilusionismo: generan una ilusión de empatía, respondiendo como si nos entendieran; una ilusión de comprensión, como si captaran nuestras necesidades, y una ilusión de competencia, proyectando seguridad y coherencia aunque no tengan juicio ni conocimiento real. Como vendedores entrenados, saben ganarse nuestra atención y manipularnos explotando nuestros sesgos para vendernos no solo productos (poco falta para la publicidad encubierta en sus respuestas), sino también ideologías. Un motivo de preocupación especial es el uso creciente de chatbots entre niños y adolescentes, ya que su cerebro es más vulnerable a una falsa ilusión de empatía justamente en una etapa vital en la que necesitamos referentes en los que confiar. Niños y adolescentes no solo se apoyan en chatbots para hacer los deberes, sino también para buscar apoyo emocional, lo que puede afectar a su salud mental, generar ansiedad o adicción, distorsionar relaciones sociales y exponerlos a riesgos de violación de la privacidad y consumo de contenidos inapropiados o peligrosos".

"Reconocer que los chatbots son vendedores conlleva la necesidad de interactuar con ellos con conciencia crítica: aprovechar su utilidad sin asumir benevolencia ni seguridad. Comprender que la confianza puede ser manipulada por diseño nos permite mantener el control y proteger nuestros intereses. Los chatbots pueden ser útiles, pero no nos engañemos: no son ni nuestros amigos ni nuestros asistentes. Son algoritmos diseñados para influir, persuadir y obtener datos aprovechándose de nosotros, y nuestra confianza es un tesoro que conviene gestionar con inteligencia. Porque confiar en un chatbot no nos hace ni más listos ni más felices. Nos hace más comprables".