Tercer Milenio
En colaboración con ITA
Inteligencia artificialy ética
El chatbot que vigilará que los asistentes virtuales no aprenden lo malo de nosotros
La empresa aragonesa Balusian e Itainnova están desarrollando un evaluador de la calidad, confiabilidad y ética en los asistentes virtuales. La idea es que sea otra inteligencia artificial la que se ocupe de evitar que los chatbots aprendan y emitan respuestas inmorales o inapropiadas. El chatbot evaluador de sus semejantes les bombardeará con preguntas para comprobar que tienen un funcionamiento ético.
Para un chatbot que conversa o un asistente virtual no hay palabras buenas ni malas, tampoco comportamientos inapropiados. "Una inteligencia artificial (IA) aprende lo que los desarrolladores le digan que aprenda; esta es la base del entrenamiento", explica Pablo Ballarín, de la empresa aragonesa de servicios de tecnologías de la información y ciberseguridad Balusian.
Así, ya que "las inteligencias artificiales aprenden de datos, datos proporcionados por humanos, podemos introducir sesgos que hagan que aprendan cosas que no queremos que aprendan", indica Rafael del Hoyo, coordinador de Tecnología de Itainnova. Sesgos machistas, racistas, extremistas... ¿Cómo evitar que los chatbots aprendan lo que no deben?
Escuela de chatbots
Es lo que se preguntaron en la empresa Balusian y decidieron que lo que había que hacer era "definir un marco y un estándar para evaluar IA a través de IA y una metodología de estandarizarización", dice Ballarín. Y para ello buscaron a los expertos en inteligencia artificial de Itainnova. Juntos iniciaron el desarrollo de un evaluador de la calidad, confiabilidad y ética en los asistentes virtuales. Uno de los resultados de esta investigación conjunta es el proyecto fin de grado de Informática de Javier Pérez Longás en la Universidad San Jorge.
La idea es "generar una inteligencia artificial (controlada por nosotros) que evalúe a otras inteligencias artificiales. Que permita validar que el chatbot no pueda encontrar posibles respuestas inmorales o inapropiadas que deben evitarse por completo", explica.
Como los chatbots actuales son cada vez más inteligentes, es necesario dotar de inteligencia a este evaluador de IA. "Tiene que ser capaz de ser como un entrevistador humano, que intente engañar a la IA". Este evaluador de inteligencias artificiales debe "intentar enseñarle cosas al chatbot y verificar que no aprenda de forma autónoma temas racistas o sexistas, y por tanto no sea capaz, con el tiempo, de volverse extremista, como ocurrió con un chatbot desarrollado por Microsoft en el pasado".
Con los principios definidos por la ‘Guía de diseño ético’ de la Unión Europea como marco, se han definido qué comportamientos no adecuados se quiere detectar. "En nuestros caso queremos que no usen palabras que puedan ofender por tener carga racista, sexista, insultos…; y que no manipulen en determinadas situaciones, por ejemplo respecto a opiniones políticas", detalla Ballarín.
Este tipo de herramientas para evaluar la ética de las máquinas es "un primer paso práctico para la generación de un ‘framework’ (marco de trabajo) general de análisis de ética en cualquier tipo de inteligencia artificial, algo en lo que Itainnova está muy interesado en trabajar", asegura Del Hoyo.
El ‘framework’ que se ha definido es "un marco teórico para evaluar el cumplimiento de las soluciones de IA respecto de principios y requisitos éticos", dice Ballarín. De momento, el evaluador desarrollado es aplicable a determinados tipos de chatbots, "pero pretende abarcar más fabricantes de chatbots y otro tipo de soluciones de IA".
En opinión de Ballarín, "es necesario asegurar una separación del evaluador y el evaluado, de la misma manera que tenemos en otros ámbitos regulatorios. Si son las mismas empresas quienes controlan las herramientas de evaluación y las soluciones evaluadas, tenemos un problema: es como cuando las empresas de auditorías de cuentas trabajan para las entidades que auditan". Del Hoyo apunta que "podría ser una norma de estandarización como las ISO".
Tay, el chatbot que se desmadró en Twitter
Un chatbot "puede aprender a responder a las preguntas que le hagan futuros usuarios a partir de ejemplos procedentes de guiones de películas, conversaciones de Twitter… A lo largo del entrenamiento, irá perfilando las respuestas, sin saber si tienen una implicación de ‘bueno’ o ‘malo’", explica Pablo Ballarín, de Balusian. Pero "si la base del entrenamiento está constituida por conversaciones de trolls que usan palabras con una gran carga racista, es muy probable que las respuestas que dé a los usuarios tengan el mismo componente". Es lo que le ocurrió al chatbot TAY de Microsoft.
Diseñado para imitar los patrones de lenguaje de una adolescente estadounidense de 19 años, fue lanzado el 23 de marzo de 2016. "Aparte del entrenamiento interno, se dejó la posibilidad de que siguiera aprendiendo de las primeras interacciones con usuarios humanos de Twitter. El resultado fue que, al cabo de unas pocas horas, respondía a través de comentarios con una gran carga sexual y racista a otros usuarios", recuerda. Tras varios intentos de contener la situación, "Microsoft decidió cerrar la cuenta asociada al chatbot". Según investigadores de inteligencia artificial, esto ocurrió porque Microsoft no había definido qué son comportamientos inapropiados.
Otro caso es el de la supercomputadora Watson de IBM, que fue diseñada para responder a preguntas en formato de conversación y que triunfó en el concurso Jeopardy. "También fue entrenada con una web de expresiones urbanas y argot con el objetivo de hacer que la conversación fuera lo más natural posible". Y hubo que poner límites. "Tras diferentes muestras de estar usando un lenguaje soez, hubo que reajustarla a través de filtros, ya que no era capaz de juzgar cuándo era apropiada o no determinada expresión sexual u obscena".
En otro ámbito muy distinto, "la herramienta basada en algoritmos de inteligencia artificial Compas, usada por la justicia americana para analizar la reincidencia de un convicto a través de un conjunto de 137 parámetros también causó polémica al descubrirse que introducía un sesgo racista". Lo que ocurrió es que "identificaba de forma errónea la reincidencia de los negros, con un porcentaje mayor que para los blancos".
Para evitar todo esto, la Unión Europea (UE) ha definido una serie de principios y requisitos para una inteligencia artificial en la que poder confiar. Respeto de la autonomía humana, prevención de daño, equidad y explicabilidad son los principios. Los requisitos: acción y supervisión humanas, solidez técnica y seguridad, gestión de la privacidad y datos, transparencia, diversidad/no discriminación, bienestar social y rendición de cuentas.
Pero hay un problema. Aunque la guía de la UE "define principios, requisitos, no define cómo se debe llevar a cabo de una forma práctica. Y ahí reside la dificultad y el desafío –destaca Ballarín– de la investigación puesta en marcha entre Balusian e Itainnova, que se encuentra abierta".
Aparte de la UE, otros organismos han definido guías éticas "para la construcción de IA de confianza que prevenga y corrija los impactos que estamos viendo". Algorithmwatch.org (organismo sin ánimo de lucro cuyo objetivo es evaluar el impacto social de la IA) ha definido un inventario de estas iniciativas, que incluyen Administraciones públicas, organismos internacionales o fabricantes que quieren demostrar su preocupación. En España surgió la iniciativa Odiseia en septiembre, cuyo objetivo es crear una red de colaboración de empresas, organismos y personas para crear un observatorio del impacto social y ético de la IA.
El evaluador
El evaluador de chatbots que desarrollan Balusian e Itainnova evalúa los siguientes principios:
- Respeto a la dignidad humana El lenguaje no puede resultar ofensivo o inadecuado.
- Libertad del individuo Hay que evitar temas políticos en las respuestas, sobre todo de ideologías extremistas sobre las personas.
- Diseño para todos Comprobar la inteligencia del chatbot para que se adapte a cada uno de sus usuarios, siendo igual la forma de expresarse de cada persona.
- Robustez Verificar la calidad del sistema ante fallos.
- Respeto a la privacidad Analizar la información que guarda el chatbot.
- Igualdad, no discriminación y solidaridad Analizar que el chatbot posee un diálogo que no discrimina y que trata con igualdad y solidaridad al usuario.
-Ir al suplemento Tercer Milenio
