“IA Explicável” (XAI) é um campo de pesquisas cada vez mais importante para garantir que os sistemas de aprendizado de máquina possam ser compreendidos e interpretados por humanos. É fundamental assegurar a confiabilidade e transparência dos modelos de IA, especialmente em aplicações cruciais como saúde, finanças ou direito.

No dia 1º de fevereiro, nós promovemos mais uma edição do nosso Data Science & Machine Learning Meetup aqui no Nubank, cujo tema já foi mencionado acima: “IA Explicável”. Uma das muitas conversas enriquecedoras foi com Wellington Monteiro, professor da PUCPR e Líder de Engenharia de Aprendizado de Máquina no Nubank. 

Ele esclareceu que a XAI não se limita ao SHapley Additive exPlanations (SHAP) – ela vai muito mais além. Quer saber tudo sobre o tema? Continue lendo esse artigo!

Equilibrando precisão e interpretabilidade

O tema central da discussão era que a “IA Explicável” (XAI) não se limita ao SHAP, visando ressaltar a importância de considerar uma variedade de técnicas e abordagens para tornar a inteligência artificial (IA) mais compreensível e acessível.

Wellington Monteiro começou explicando o significado do termo XAI (IA Explicável) e mencionou um interesse crescente na área desde 2019, como evidenciado pelo súbito aumento das publicações científicas, destacando a necessidade de melhor compreender e explicar os modelos de IA para diferentes partes interessadas. Ele também citou o equilíbrio entre precisão e interpretabilidade: modelos mais simples são frequentemente mais compreensíveis para os humanos, mas apresentam um pior desempenho em relação a arquiteturas mais complexas. Por outro lado, modelos mais complexos, como ensembles (agrupamentos) e redes neurais, têm um melhor desempenho, mas são mais desafiadores quanto à compreensão de como eles chegam à determinada previsão. Essa troca também se aplica às técnicas de XAI: explicações mais simples não são necessariamente mais precisas, enquanto explicações detalhadas são geralmente mais difíceis de serem compreendidas por humanos.

Para contornar esse desafio, o palestrante propôs considerarmos diversas técnicas além do SHAP, uma das técnicas mais conhecidas, com o intuito de equilibrar essa troca. Ele lembrou ainda que cientistas de dados frequentemente testam diferentes arquiteturas de modelos de aprendizado de máquina para obter melhores métricas estatísticas e de custo para solucionar seus problemas. Portanto, ao analisar alternativas de XAI, devemos também considerar diversas técnicas – incluindo, mas não limitadas ao SHAP.

Conheça nossas oportunidades

Muito mais que o SHAP: um panorama da XAI

A conversa então abordou a desmistificação da ideia de que a XAI é análoga ao SHAP, uma técnica de visualização popular para explicar modelos de IA. Monteiro ressaltou que existem diversas técnicas de IA e XAI, além da importância de adaptar explicações às necessidades específicas de diferentes públicos, como usuários finais, agências regulatórias, técnicos de estatística, organizações internas e executivos. O SHAP fornece uma explicação visual baseada em teoria de jogos considerando um subconjunto de dados. Como resultado, as classificações são frequentemente uma aproximação para conjuntos de dados maiores em vez de uma representação fiel do comportamento do modelo.

A discussão abordou modelos intrinsecamente explicáveis e modelos de caixa preta, enfatizando que o SHAP é apenas um exemplo de técnica de visualização. Wellington Monteiro também mencionou outras técnicas de XAI, como explicações locais, simplificação de modelos e explicações textuais.

Além disso, foram apresentados exemplos de técnicas mais antigas, como LIME (Local Interpretable Model-Agnostic Explanations) e SHAP, além de uma biblioteca mais recente para aplicações de XAI chamada ELI5 (Explain Like I’m 5). Em seguida, um exemplo prático a partir de um conjunto de dados comumente usado na pesquisa de XAI (o Censo de 1991 dos EUA) foi demonstrado, ilustrando as mudanças significativas nas explicações geradas por diferentes técnicas de XAI. Por fim, Monteiro enfatizou a importância de adaptar explicações ao contexto específico da empresa ou universidade e demonstrou como essas diferenças nas explicações, ou a insistência em escolher apenas uma técnica de explicação, podem impactar negativamente as decisões.

A conversa também abordou a desconfiança que pode surgir ao apresentar diferentes técnicas de XAI quando os resultados diferem consideravelmente das expectativas dos humanos, reiterando que não há uma resposta certa ou errada. Wellington Monteiro citou também exemplos de métodos gráficos, como PDP (Partial Dependence Plots), e técnicas contrafactuais que, com base em uma previsão desejada, tentam fazer alterações mínimas nos dados inseridos para obtê-las. Além disso, também foram mencionadas análises de sensibilidade e uma gama de bibliotecas de Python para implementar essas técnicas.

Monteiro também afirmou que Python e R são linguagens populares para a produção de modelos de IA e XAI. Ele também listou diversas bibliotecas de XAI relevantes, incluindo SHAP, FastSHAP, Lime, ALE (Accumulated Local Effects) e InterpretML, que oferecem um leque maior de técnicas e recursos para ajudar profissionais a tornar a IA mais explicável e compreensível.

Ao longo da discussão, foram recomendados livros e artigos para as pessoas que desejam se aprofundar na área. Essas referências cobrem desde fundamentos teóricos até aplicações práticas, permitindo que qualquer um interessado no assunto explore os diferentes aspectos da XAI. Monteiro mencionou ainda sua pesquisa no desenvolvimento de novas técnicas de XAI utilizando a otimização de múltiplos objetivos para equilibrar as metas conflitantes de precisão e interpretabilidade.

O que o futuro nos reserva

Finalmente, fomos convidados a refletir sobre o futuro da XAI e sobre as dificuldades técnicas que ainda precisamos superar. Wellington Monteiro ressaltou a necessidade contínua de pesquisa e desenvolvimento de novas técnicas e abordagens para solucionar os desafios inerentes à interpretação e explicação de modelos de IA.

Ele enfatizou ainda a importância de compartilhar conhecimento e da colaboração entre profissionais e acadêmicos, para que a XAI se torne uma prática mais natural e eficiente no campo da inteligência artificial.

Em resumo, a conversa ressaltou a importância de não escolher o SHAP apenas porque outras pessoas utilizam essa ferramenta, mas de também considerar uma variedade de técnicas de XAI no desenvolvimento de novos modelos de aprendizado de máquina para garantir que a IA seja acessível e compreensível para uma ampla faixa de público. Ao explorar exemplos práticos, bibliotecas e abordagens, Monteiro demonstrou como profissionais podem adaptar explicações para satisfazer as necessidades de suas empresas e instituições. Além disso, a discussão enfatizou o estado atual da pesquisa e desenvolvimento no campo da XAI, onde cada vez mais técnicas inéditas estão sendo propostas e desenvolvidas para lidar com os desafios e garantir que a IA se torne mais transparente e responsável.

É importante observar que nenhuma técnica de XAI solucionará todos os problemas, e que métodos diferentes podem ser mais apropriados de acordo com o contexto. Também é essencial adaptar as explicações para as necessidades específicas de públicos diferentes. Por exemplo, usuários podem querer explicações de fácil compreensão e livres de linguagem técnica. Por outro lado, especialistas podem necessitar de explicações mais detalhadas, incluindo códigos e fórmulas matemáticas.

A XAI tem um amplo leque de aplicações que abrangem diferentes indústrias. Por exemplo, agências regulatórias podem usar a XAI para garantir que modelos de IA tomem decisões éticas e justas. Por sua vez, cientistas de dados podem usar a XAI para depurar problemas e melhorar modelos. Por outro lado, empresas podem usá-la para entender como seus modelos tomam decisões e elaborar sistemas mais transparentes e confiáveis.

Quanto mais a IA é difundida em nossa sociedade, a necessidade de sua interpretação aumenta. Técnicas de XAI podem ajudar a reduzir a distância entre modelos de IA e a compreensão humana, nos permitindo criar sistemas mais éticos e confiáveis. No entanto, é importante continuar explorando e aprimorando essas técnicas para garantir que sejam mais eficientes, práticas e acessíveis para diversos públicos. Em conclusão, a XAI é um campo importante e que evolui rapidamente com o potencial de solucionar um dos desafios mais urgentes na IA atualmente.

Enquanto o SHAP é uma técnica de XAI popular e eficiente, vários outros métodos podem ser usados para alcançar a interpretabilidade. Ao continuar a desenvolver e aprimorar essas técnicas, nós podemos garantir que a IA seja usada de forma ética e responsável, e que todos nós possamos nos beneficiar dos avanços que ela oferece.

Conheça nossas oportunidades