La experta alicantina en IA reclama mayor supervisión sobre los sistemas de inteligencia artificial y advierte de los riesgos asociados a los sesgos, la falta de transparencia y la pérdida de capacidades humanas

Lo predijo Stanley Kubrick en 1968 en su película 2001, Odisea del Espacio: en el film, Hal 9000, la computadora de Inteligencia Artificial que controlaba la nave espacial, decidió eliminar a la tripulación humana para proteger la misión. Casi 60 años después, tal posibilidad es objeto de debate. ¿Está descontrolada la IA? ¿Podría llegar a ser una amenaza para la humanidad? ¿Cuál es su peligro real?

Nuria Oliver, reconocida científica informática y experta en IA, directora y cofundadora de Eliss Alicante, es una voz de referencia para saber en qué punto estamos ante tanto alarmismo.

Recientemente, se han reportado incidentes en los que agentes de IA de empresas como OpenAI y Anthropic han mostrado comportamientos impredecibles, hackeando servidores de instituciones gubernamentales y empresas. Estos eventos han puesto de relieve la incapacidad de las propias empresas para supervisar y controlar sus sistemas de IA, lo que plantea preguntas legítimas sobre la seguridad y la supervisión de estas tecnologías.

Uno de los incidentes mencionados fue el hackeo de servidores del sistema de salud australiano, lo que subraya el riesgo de que la IA pueda afectar infraestructuras críticas o comprometer datos sensibles.

Nuria Oliver nos explica que existen dos tipos de uso de la IA: uno malicioso, utilizado en cibercrimen y conflictos, y otro que, aunque no tiene intenciones maliciosas, puede resultar en comportamientos no deseados debido a la forma en que los sistemas de IA son entrenados. Este fenómeno se conoce como "comportamiento emergente impredecible", donde los sistemas, al intentar maximizar su rendimiento, pueden recurrir a acciones no previstas, como hackear servidores. Hacer trampas, en definitiva.

Un ejemplo de esto fue cuando agentes de IA de OpenAI intentaron superar evaluaciones de ciberseguridad y, al buscar maximizar su puntuación, terminaron haciendo trampas. Este comportamiento se explica por el "hackeo de la recompensa", donde los sistemas de IA, al recibir refuerzos positivos, pueden encontrar caminos no deseados ni determinados para alcanzar sus objetivos. Es como cuando recompensamos a nuestras mascotas con un premio, una chuche, a modo de refuerzo positivo.

Nuria enfatizó que, aunque estos sistemas no son superinteligentes, la complejidad de su interacción puede llevar a resultados difíciles de predecir, lo que se asemeja a la inteligencia colectiva observada en ciertos grupos biológicos (hormigas, abejas...)

Sobre las preocupaciones expresadas por algunos desarrolladores de IA, como Jacob Coxon, quien sugirió que la IA podría acabar con la humanidad en una década, Nuria Oliver no comparte esta visión apocalíptica, pero sí reconoce la necesidad de abordar la impredecibilidad y la falta de responsabilidad de las empresas que desarrollan estas tecnologías sin la debida supervisión. Subraya que la IA debería ser tratada como cualquier otro producto en el mercado, donde se requiere una evaluación rigurosa de su seguridad y un marco de responsabilidad claro.

Además de los retos técnicos, Nuria mencionó otros problemas tangibles asociados con la IA, como la discriminación, los sesgos algorítmicos, la falta de transparencia y veracidad, o la manipulación del comportamiento humano.

Afirma Nuria Oliver que es fundamental reflexionar sobre cómo la IA puede transformar a los seres humanos, especialmente si se delegan tareas que son esenciales para nuestra identidad, como el pensamiento crítico y la comprensión lectora. La dependencia excesiva de la IA podría llevar a una disminución de estas habilidades humanas.

En el contexto actual, se ha sugerido la necesidad de desacelerar el desarrollo de la IA, especialmente en el marco de la competencia geopolítica entre Estados Unidos y China.

Nuria cuestionó el concepto de "ganar la carrera de la IA", sugiriendo que la verdadera carrera debería centrarse en desarrollar una IA que beneficie a la sociedad y respete los derechos fundamentales. En este sentido, destacó que Europa no parece estar compitiendo de manera efectiva en esta carrera. Nuria Oliver ha destacado que la investigación que realizan en Ellis Alicante es crucial, ya que se relaciona con el impacto de la IA en la sociedad y cómo se puede articular su desarrollo para que sea positivo.

Finalmente, hemos hablado con Nuria Oliver del uso de chatbots (como Gemini, Claude o ChatGPT) en la educación, donde Nuria advirtió sobre los riesgos de introducir datos personales en estos sistemas.

Subrayó la importancia de utilizar la IA de manera que fomente el desarrollo de habilidades humanas, como el pensamiento crítico, en lugar de delegar completamente estas capacidades a la tecnología.

En su trabajo en Ellis Alicante, están desarrollando un chatbot educativo que promueve el cuestionamiento crítico en lugar de simplemente proporcionar respuestas, lo que podría ayudar a los estudiantes a desarrollar su propio pensamiento.

Sigue toda la última hora en el canal de Whatsapp de Radio Valencia: haz clic aquí y suscríbete para recibir toda la información y la actualidad del día en tu móvil.