Contributions: Cinthia Tanaka, Edesio Alcobaça, Felipe Almeida, Kevin Rossell

Uma coisa é certa: a IA generativa e os Modelos de Linguagem Grandes (LLMs) mudaram o mundo dos negócios para sempre. E, sem dúvida, o atendimento ao cliente é uma das áreas mais afetadas (e ainda com muito potencial para desenvolvimento).

Purple MinDS é uma nova série de posts do Building Nubank, em parceria com os Cientistas de Dados e Engenheiros de Machine Learning do Nubank. Na primeira edição, você pode conferir nossa conversa com Kevin Rossell, Cientista de Dados Líder do Nubank, que está imerso nas trincheiras do suporte ao cliente há mais de dois anos.

Tivemos uma sessão com Kevin para falar sobre o projeto “Agent Copilot” — um conjunto de ferramentas projetadas para potencializar os agentes de Experiência do Cliente (CX) com o poder dos LLMs. Esse projeto não se trata apenas de tecnologia: é sobre repensar como capacitamos os agentes a fazerem o seu melhor trabalho.

Nesta conversa, Kevin nos guiará para entender o início do projeto, os desafios que enfrentaram e como a IA generativa se compara aos métodos tradicionais de machine learning. Se você está curioso sobre o que é preciso para trazer a IA generativa para o mundo real do suporte ao cliente, você está no lugar certo. Continue lendo este artigo!

O que é o projeto “Agent Copilot”?

O Agent Copilot é um conjunto de ferramentas para agentes de CX; elas são projetadas para capacitar esses agentes a responder melhor às perguntas dos clientes, utilizando LLMs.

Isso é feito através da sugestão de respostas e ações, além de fornecer um resumo do histórico de interações para os agentes enquanto eles interagem com os clientes.

Conheça nossas oportunidades

Como o projeto começou e como você provou seu valor?

Esse projeto nasceu de uma sessão de brainstorming no final de 2022. No início, eu criei uma Solicitação de Comentários (RFC) da ideia, explorando algumas possibilidades e dando visibilidade aos desafios. Começamos a gerar algumas amostras e avaliar se as sugestões faziam sentido.

Após essa validação inicial, investigamos como integrar isso na ferramenta de backoffice usada pelos agentes de suporte ao cliente. Escolhemos começar com o LLM mais capaz, pois queríamos eliminar quaisquer dúvidas relacionadas à tecnologia, como: “não está funcionando porque o modelo não é bom o suficiente, ou porque não testamos com o melhor modelo disponível?”. Essa decisão gerou discussões relacionadas a custos no nosso primeiro experimento em larga escala, mas não foi um grande problema, pois os custos dos fornecedores de LLM estão diminuindo a cada poucos meses.

Qual é a diferença entre a solução “Agent Copilot” e outras soluções construídas para responder diretamente aos clientes?

Eu diria que ambas as soluções compartilham uma base comum, mas a ferramenta Copilot permite sugestões mais “arriscadas” porque temos o componente humano no “loop”: os agentes podem decidir aceitar ou não a sugestão, e também podem editar a sugestão.

Há também uma diferença no conteúdo ao qual a solução tem acesso. No Copilot, podemos usar todas as informações internas, enquanto em uma solução voltada para o cliente, isso seria provavelmente restrito a conteúdo que já está aberto para todos os clientes.

Como você está “personalizando” modelos prontos (off-the-shelf) com informações específicas do Nubank?

A Geração Aumentada por Recuperação (RAG), que basicamente consiste em ingerir seu conhecimento e inseri-lo no prompt, é o padrão da indústria. Atualmente, usamos uma abordagem mista com RAG e aprendizado em contexto para sugestões de respostas, onde mostramos exemplos do que se espera dentro do prompt e esses exemplos mudam dinamicamente devido a uma etapa de recuperação antes de consultar o LLM. Fizemos alguns testes incluindo metadados, bem como a conversa na etapa de recuperação, mas não vimos uma grande melhoria, então estamos mantendo as coisas mais simples por agora.

O fine tuning também é uma possibilidade, mas há outros desafios associados a isso, como a necessidade de ter exemplos de dados de entrada/saída e, no final, este é mais um modelo para manter. Há outras técnicas de última geração usadas para injetar conhecimento em seu sistema, como a Lamini, por exemplo. Mas eu não começaria por aí, porque na verdade é um produto de terceiros de código fechado e requer fine tuning desde o início.

Quais são as principais diferenças ao trabalhar com IA generativa versus trabalhar com ML “tradicional” (classificação baseada em árvores, etc.)?

O processo de avaliação é muito diferente para aplicações de IA generativa. O primeiro desafio é construir o conjunto de dados de avaliação. Outro desafio é como avaliá-lo, quais métricas usar.

Na primeira prova de conceito, usamos rotuladores manuais que foram perguntados se gostavam ou não da sugestão. Hoje em dia, confiamos em métricas tradicionais para tarefas de processamento de linguagem natural (NLP) ou compreensão de linguagem natural (NLU), como tradução e sumarização, como Rouge, métricas de similaridade de Jaccard, bem como Ragas, que é baseada em LLM. Mas sabemos que elas também têm algumas limitações.

Como a qualidade é medida no Agent Copilot?

Coletamos feedback dos agentes sobre a ferramenta de diferentes maneiras, de acordo com a tarefa. Para a geração de resumos, coletamos feedback diretamente dos agentes na interface. Nesse caso, eles podem votar se a resposta foi útil ou não. Embora isso pareça a melhor solução para medir a qualidade, podemos sobrecarregar os agentes e impactar negativamente sua produtividade.

Para evitar impactar o trabalho dos usuários, também aproveitamos feedback implícito como uma forma de entender o quão úteis nossas aplicações são. Para sugestões de respostas, por exemplo, medimos quanto nossas sugestões estão sendo usadas ou até mesmo quanto elas são editadas.

Alguma dica sobre como aplicar IA generativa a um novo caso de uso?

Tenho trabalhado em tempo integral neste projeto, junto com um grupo de Engenheiros e Analistas de Negócios. Coisas como essa podem consumir muito tempo, então a sugestão é começar pequeno: primeiro, avalie o caso de uso para ver se a tarefa é muito ambígua e quão complexa ela é.

Compreender o caso de uso em detalhes também ajuda a escolher qual modelo usar para começar. Cada fornecedor de LLM (OpenAI, Anthropic, Mistral ou outro) tem categorias de modelos (nível médio, nível básico…) de acordo com suas capacidades. Por exemplo, para classificação, você poderia usar um modelo de nível básico com bom desempenho, mas para problemas matemáticos, pode ser necessário usar o mais capaz.

Um vislumbre do futuro

O projeto Agent Copilot é um vislumbre do futuro do suporte ao cliente, onde a IA generativa não é apenas uma palavra da moda, mas uma ferramenta prática que melhora a maneira como trabalhamos. A jornada de Kevin com esse projeto nos mostra que implementar tal tecnologia não é apenas sobre ter o melhor modelo — é sobre execução cuidadosa, aprendizado contínuo e um foco claro no usuário final.

Para aqueles que desejam trazer IA generativa para sua ferramenta de backoffice de suporte ao cliente, o conselho de Kevin é simples: comece com um caso de uso claro, mantenha o foco e esteja preparado para iterar. A tecnologia continuará evoluindo, mas os princípios de construir algo que realmente ajude as pessoas permanecem os mesmos. Sempre que o desenvolvimento de um produto ou recurso for sobre fazer a diferença no dia a dia dos agentes de suporte ao cliente e dos clientes que eles atendem, as empresas estarão no caminho certo.

Conheça nossas oportunidades