La “IA explicable” (XAI) es un área de investigación cada vez más importante para garantizar que los humanos puedan comprender e interpretar los sistemas de aprendizaje automático. Esto es crucial para garantizar la confianza y la transparencia de los modelos de IA, especialmente en aplicaciones críticas como la atención sanitaria, las finanzas y la justicia, por ejemplo.

El 1 de febrero, celebramos otra edición de nuestro encuentro sobre ciencia de datos y aprendizaje automático aquí en Nubank, y el tema del momento fue exactamente el mencionado anteriormente: ″IA Explicable″. Una de las muchas charlas enriquecedoras del Meetup fue la de Wellington Monteiro, Profesor de la PUCPR e Ingeniero Líder de Machine Learning de Nubank. 

Aclaró que XAI no se limita únicamente a las explicaciones de aditivos SHApley (SHAP); es mucho más. ¿Quieres saber todo sobre este tema? ¡Sigue leyendo este artículo!

Equilibrando precisión e interpretabilidad

El tema central del debate fue que la “IA explicable” (XAI) no se trata solo de SHAP, con la intención de resaltar la importancia de considerar una variedad de técnicas y enfoques para hacer que la inteligencia artificial (IA) sea más comprensible y accesible.

Wellington Monteiro comenzó explicando el significado del término XAI (IA explicable) y mencionó un creciente interés en el área desde 2019, como lo demuestra el fuerte aumento de las publicaciones científicas, destacando la necesidad de comprender y explicar mejor los modelos de IA a las diferentes partes interesadas. También abordó el equilibrio entre precisión e interpretabilidad, donde los modelos más simples a menudo pueden ser entendidos intrínsecamente por los humanos pero funcionan peor que las arquitecturas más complejas. Por otro lado, los modelos complejos como los conjuntos y las redes neuronales pueden funcionar mejor, pero es más difícil entender cómo llegaron a una predicción determinada. Esta compensación también se aplica a las técnicas XAI: las explicaciones más simples no son necesariamente precisas y las explicaciones detalladas a menudo son difíciles de entender para los humanos.

Para superar este desafío, el presentador propuso considerar varias técnicas además de SHAP para equilibrar este compromiso, una de las técnicas más conocidas. Además, el presentador recordó que los científicos de datos suelen probar diferentes modelos de arquitecturas de aprendizaje automático para lograr mejores métricas estadísticas y de costes para resolver sus problemas. Por lo tanto, al analizar las alternativas de XAI, también debemos estar abiertos a múltiples técnicas  — incluyendo, pero no limitado a SHAP.

Descubre las oportunidades

Mucho más que SHAP: Descripción general de XAI

Luego, la charla se centró en desmitificar la idea de que XAI es análogo a SHAP, una técnica de visualización popular para explicar los modelos de IA. Monteiro destacó que existen diversas técnicas de IA y XAI y la importancia de adaptar las explicaciones a las necesidades específicas de diferentes audiencias, como usuarios finales, agencias reguladoras, técnicos estadísticos, organizaciones internas y ejecutivos. SHAP proporciona una explicación visual basada en la teoría de juegos considerando un subconjunto de datos. Como resultado, las clasificaciones suelen ser una aproximación para grandes conjuntos de datos en lugar de representar con precisión el comportamiento del modelo.

La discusión abordó tanto los modelos intrínsecamente explicables como los modelos de caja negra, enfatizando que SHAP es solo un ejemplo de una técnica de visualización. Wellington Monteiro también mencionó otras técnicas XAI, como explicaciones locales, simplificación de modelos y explicaciones de texto.

Además, se presentaron ejemplos de técnicas más antiguas, como LIME (Explicaciones independientes del modelo interpretable local) y SHAP, así como una biblioteca más reciente para la aplicación XAI llamada ELI5 (Explain Like I’m 5). Luego, se mostró un ejemplo práctico con un conjunto de datos utilizado a menudo en la investigación XAI (el censo de EE. UU. de 1991), que ilustra los cambios significativos en las explicaciones generadas por diferentes técnicas XAI. Finalmente, Monteiro destacó la importancia de adaptar las explicaciones al contexto específico de la empresa o universidad y demostró cómo estas diferencias en las explicaciones o la estrecha mentalidad de seleccionar una sola técnica de explicación pueden impactar negativamente en las decisiones.

La charla también abordó la desconfianza que puede surgir al presentar diferentes técnicas XAI cuando los resultados difieren significativamente de las expectativas de los humanos, reiterando que no hay una respuesta correcta o incorrecta. Wellington Monteiro también citó ejemplos de métodos gráficos, como PDP (Partial Dependence Plots) y técnicas contrafactuales, que a partir de una predicción deseada, intentan realizar cambios mínimos en los datos de entrada para alcanzarla. Además, también se mencionaron análisis de sensibilidad y una gran cantidad de bibliotecas de Python para implementar estas técnicas.

Monteiro también mencionó que Python y R son lenguajes populares para producir modelos AI y XAI. También enumeró varias bibliotecas XAI relevantes, incluidas SHAP, FastSHAP, Lime, ALE (Efectos Locales Acumulados) e InterpretML, que ofrecen una amplia gama de técnicas y recursos para ayudar a los profesionales a hacer que la IA sea más explicable y comprensible.

A lo largo de la charla se recomendaron libros y artículos para quienes deseen profundizar sus conocimientos. Estas referencias cubren todo, desde fundamentos teóricos hasta aplicaciones prácticas, lo que permite a aquellos interesados en el tema explorar las diferentes facetas de XAI. Monteiro también mencionó su investigación sobre el desarrollo de nuevas técnicas XAI utilizando optimización multiobjetivo para equilibrar los objetivos conflictivos de precisión e interpretabilidad.

Lo que depara el futuro

Finalmente, nos invitaron a reflexionar sobre el futuro de XAI y las dificultades técnicas que aún deben superarse. Wellington Monteiro destacó la necesidad continua de investigación y desarrollo de nuevas técnicas y enfoques para abordar los desafíos inherentes a la interpretabilidad y explicabilidad de los modelos de IA.

Además, enfatizó la importancia de compartir conocimientos y colaboración entre profesionales y académicos, para que XAI pueda convertirse en una práctica más natural y eficiente en el campo de la inteligencia artificial.

En resumen, la charla destacó la importancia de no elegir SHAP solo porque otras personas lo usan, sino también de considerar una variedad de técnicas XAI al desarrollar nuevos modelos de aprendizaje automático para garantizar que la IA sea accesible y comprensible para una amplia gama de audiencias. Al explorar ejemplos prácticos, bibliotecas y enfoques, Monteiro demostró cómo los profesionales pueden adaptar explicaciones para satisfacer las necesidades de sus empresas o instituciones. Además, la charla enfatizó el estado actual de la investigación y el desarrollo en el campo de XAI, donde cada vez se proponen y desarrollan nuevas técnicas para abordar los desafíos técnicos y garantizar que la IA sea cada vez más transparente y responsable.

Es importante tener en cuenta que cualquier técnica XAI no es una solución única para todos y que diferentes métodos pueden ser más apropiados para diferentes contextos. También es fundamental adaptar las explicaciones a las necesidades específicas de los diferentes públicos. Por ejemplo, los usuarios pueden necesitar explicaciones que sean fáciles de entender y libres de jerga técnica. Por el contrario, los expertos técnicos pueden requerir explicaciones más detalladas, incluidos códigos y fórmulas matemáticas.

XAI tiene una amplia gama de aplicaciones en diversas industrias. Por ejemplo, las agencias reguladoras pueden utilizar XAI para garantizar que los modelos de IA tomen decisiones éticas y justas. Además, los científicos de datos pueden utilizar XAI para depurar y mejorar modelos. Por el contrario, las empresas pueden utilizar XAI para obtener información sobre cómo sus modelos toman decisiones y construyen sistemas más transparentes y confiables.

A medida que la IA se vuelva más omnipresente en nuestra sociedad, la necesidad de interpretabilidad no hará más que aumentar. Las técnicas XAI pueden ayudar a cerrar la brecha entre los modelos de IA y la comprensión humana, permitiéndonos construir sistemas más confiables y éticos. Sin embargo, es importante seguir explorando y perfeccionando estas técnicas para garantizar que sean efectivas, prácticas y accesibles para una amplia gama de usuarios. En conclusión, XAI es un campo importante y en rápida evolución que tiene el potencial de abordar algunos de los desafíos más apremiantes de la IA en la actualidad.

Si bien SHAP es una técnica XAI popular y eficaz, se pueden utilizar otros métodos para lograr interpretabilidad. Si continuamos desarrollando y perfeccionando estas técnicas, podemos garantizar que la IA se utilice de manera ética y responsable y que todos podamos beneficiarnos de los numerosos avances que ofrece la IA.

Descubre las oportunidades