Ilia Stepin, científico en la USC: «Necesitamos explicaciones para confiar en la inteligencia artificial»

Lograr que la inteligencia artificial (IA) sea más humana y que los sistemas que usan esta tecnología —la formalización de un préstamo o algunas decisiones de centros de salud, por ejemplo— sean más comprensibles para el usuario. Estas son algunas de las preocupaciones académicas más importantes para Ilia Stepin (Moscú, 1990). Precisamente por ello fue distinguido por la Sociedad Europea de Lógica y Tecnología Difusa (EUSFLAT) a la mejor tesis doctoral europea 2023, realizada íntegramente en el Centro Singular de Investigación en Tecnologías de la Universidade de Santiago (CiTIUS). Para validar su propuesta, Stepin llevó a cabo estudios con usuarios reales, cuyos resultados fueron valorados como relevantes, comprensibles y útiles para la mayoría de los participantes.

—¿Cómo confiar en un sistema automatizado si no entendemos cómo funcionan esas decisiones?

—Una de las estrategias consiste en utilizar modelos interpretables. En ocasiones se puede, a partir de los datos disponibles, construir modelos de caja negra y luego reinterpretarlos modelando otros algoritmos sobre datos y así llegar a las conclusiones fiables con respecto a la salida del algoritmo automático.

—¿Cómo aborda este problema su tesis?

—En el caso de mi tesis, nos enfocamos en los algoritmos de generación de explicación contrafáctica, que no solo intentan explicar la salida del sistema como tal, sino qué habría que hacer para cambiar la salida. Se trata de crear agentes conversacionales que puedan argumentar, explicando con claridad y lógica, por qué se generó una respuesta específica y qué modificaciones en los datos serían necesarias para obtener un resultado diferente.

—¿Cómo lo desarrolla su tesis? ¿Podría dar algún ejemplo?

—En el caso de mi tesis intentamos construir escenarios hipotéticos en los que decimos al sistema que explique la predicción en términos de las salidas que no predice. Es decir, si le enseñamos la segunda imagen de un gato y dice que es un gato, pues entonces preguntamos al sistema por qué no es perro. Así, con ese conocimiento complementario, intentamos entender mejor el razonamiento detrás de esa predicción del sistema. En eso consisten básicamente las explicaciones contrafácticas. En mi tesis intenté diseñar, desarrollar y validar un par de algoritmos para sistemas de clasificación basados en lógica borrosa. Porque había un vacío en ese campo. No había algoritmos que generasen ese tipo de explicaciones para ese tipo de sistemas de clasificación. En eso consiste la novedad de mi tesis.

—¿Y en qué se podría materializar esta investigación en la vida cotidiana?

—En el caso de un banco, cuando un cliente quiere solicitar un préstamo y resulta que el sistema de inteligencia artificial se lo niega, pues el cliente evidentemente va a querer saber qué tiene que cambiar en la solicitud para que cambie la salida de ese algoritmo. También es importante enfocarse en la comunicación eficaz de esas explicaciones dadas al usuario final, en este caso el cliente de un banco, y también manejar las peticiones de los usuarios finales.

—¿Qué sesgos pueden tener los algoritmos en este sentido?

—Especialmente la discriminación algorítmica. Si, por ejemplo, no hay datos sobre mujeres o de personas con alguna discapacidad en la base de datos que usamos para entrenar a ese sistema, este, por la naturaleza de los algoritmos que se usan para entrenarlos, no puede darnos predicciones o decisiones justas. Porque no hay datos correspondientes. No habría datos que representasen a esa grupo concreto a la hora de entrenar ese sistema.

—Y esto, claro está, afecta a la confianza que el usuario pueda tener en la tecnología aplicada.

—Sí, en las predicciones o decisiones finales a la que llegan estos sistemas. Porque si se va al hospital y el doctor utiliza uno de esos sistemas, ¿en quién tenemos que confiar? ¿En el doctor cuya decisión se basa en sistemas que no saben cómo funcionan? Por precisas que sean sus decisiones, puede faltar confianza y necesitamos confiar en la inteligencia artificial.

—Pero hay regulaciones al respecto.

—Sí, obviamente hay temas de regulaciones que intentan paliar estos problemas. Por eso vienen también más restricciones a la hora de desarrollar los sistemas de inteligencia artificial. El año pasado entró en vigor la AI Act [Ley de Inteligencia Artificial de la Unión Europea]. Hay varios requisitos con los que tienen que cumplir esos sistemas antes de que se implementen en la práctica. Sobre todo en el dominio de medicina.

«El resultado certifica la calidad de la investigación en Santiago»

Después de dos grados en Moscú (uno de informática y otro de lingüística) y un máster en Alemania, Ilian Stepin dio «por casualidad» con una oferta en Santiago al buscar opciones de doctorado por Europa. Actualmente profesor ayudante doctor de la Universidad Autónoma de Madrid, desarrolló todas sus investigaciones a nivel predoctoral en la Universidade de Santiago de Compostela.

El investigador admite que el desconocimiento hacia Galicia y hacia los centros de investigación de Compostela se traducirían inicialmente en «unas pocas esperanzas» sobre la calidad de investigación desarrollada en la capital. Unas expectativas que rápidamente se elevarían. «Mis compañeros y mis directores de tesis me cuidaban mucho y, además, el resultado que acabamos de obtener certifica que se hace muy buen trabajo de investigación en Santiago», explica.

De hecho, los avances de su tesis tuvieron un alto impacto en la comunidad científica. Sus publicaciones suman más de 200 citas en «Web of Science», cerca de 300 en «Scopus» y más de 600 en «Google Scholar». Factores clave, junto a la calidad del trabajo y su enfoque innovador, para obtener el galardón EUSFLAT.

Así, se trata de la tercera vez en una década que un trabajo del CiTIUS consigue este premio, después de Alejandro Ramos en el 2016 y Andrea Cascallar en el 2022. Este hecho consolida al CiTIUS como un referente a nivel europeo en la investigación focalizada en una inteligencia artificial más comprensible, transparente y centrada en usuarios sin conocimientos técnicos.

---

---

---