Contribuciones Cinthia Tanaka, Edesio Alcobaça, Felipe Almeida, Kevin Rossell

Una cosa es cierta: la IA generativa y los Modelos de Lenguaje de Gran Tamaño (LLMs) han cambiado el mundo de los negocios para siempre. Y, sin duda, el servicio al cliente es una de las áreas más afectadas (y con mucho potencial para desarrollo).

Purple MinDS es una nueva serie de blogs de Building Nubank, en colaboración con los Data Scientists y los Machine Learning Engineers de Nu. En la primera edición, puedes leer nuestra conversación con Kevin Rossell, Lead Data Scientist de Nubank, que ha estado profundamente involucrado en el soporte al cliente durante más de dos años.

Nos sentamos con Kevin para hablar sobre el proyecto ″Agent Copilot″ — un conjunto de herramientas diseñadas para potenciar a los agentes de Experiencia del Cliente (CX) con el poder de los LLMs. Este proyecto no se trata solo de tecnología: se trata de repensar cómo empoderamos a los agentes para que hagan su mejor trabajo.

En esta conversación, Kevin nos lleva a través del inicio del proyecto, los desafíos que enfrentaron y cómo la IA generativa se compara con los métodos tradicionales de aprendizaje automático. Si tienes curiosidad sobre lo que se necesita para llevar la IA generativa al mundo real del soporte al cliente, estás en el lugar correcto. ¡Sigue leyendo este artículo!

¿Qué es el proyecto ″Agent Copilot″?

El Agent Copilot es un conjunto de herramientas para los agentes de CX; están diseñadas para empoderar a estos agentes a responder mejor las preguntas de los clientes, utilizando LLMs.

Esto se logra a través de sugerencias de respuestas y acciones, así como proporcionando un resumen del historial de interacciones para los agentes mientras interactúan con los clientes.

Descubre las oportunidades

¿Cómo comenzó el proyecto y cómo demostraste su valor?

Este proyecto nació de una sesión de lluvia de ideas a finales de 2022. Al principio, creé un documento técnico conde la idea – comúnmente llamado RFC dentro de Nu , explorando algunas posibilidades y dando visibilidad a los desafíos. Comenzamos generando algunas muestras y evaluando si las sugerencias tenían sentido.

Después de esta validación inicial, investigamos cómo integrarlo en la herramienta de back-office utilizada por los agentes de soporte al cliente. Elegimos comenzar con el LLM más capaz, ya que queríamos eliminar cualquier posible duda relacionada con la tecnología como: ″¿No está funcionando porque el modelo no es lo suficientemente capaz, o porque no probamos con el mejor modelo disponible?″. Esta decisión generó discusiones relacionadas con los costos en nuestro primer experimento a gran escala, pero no fue un gran problema ya que los costos del proveedor de LLM están disminuyendo cada par de meses.

¿Cuál es la diferencia entre esta solución ″Agent Copilot″ y otras soluciones construidas para responder directamente a los clientes?

Yo diría que ambas soluciones comparten una base común, pero la herramienta Copilot permite sugerencias ″más arriesgadas″ porque tenemos el componente de ″Human-in-the-Loop”″: los agentes pueden decidir si aceptan o no la sugerencia, y también pueden editarla.

También hay una diferencia en el contenido al que la solución tiene acceso. En el Copilot, podemos usar toda la información interna mientras que en una solución orientada al cliente, probablemente estaríamos limitados con el contenido disponible públicamente.

¿Cómo están ″personalizando″ modelos listos para usar con información específica de Nubank?

La Generación Aumentada por Recuperación (RAG), que básicamente consiste en ingerir tu conocimiento e insertarlo en el prompt, es el estándar de la industria. Actualmente usamos un enfoque mixto con RAG y aprendizaje en contexto para sugerencias de respuestas, donde mostramos ejemplos de lo que se espera dentro del prompt y estos ejemplos cambian dinámicamente debido a un paso de recuperación antes de consultar el LLM. Hicimos algunas pruebas incluyendo metadatos así como la conversación en el paso de recuperación, pero no vimos una gran mejora, así que estamos manteniendo las cosas simples por ahora.

El fine-tunning también es una posibilidad, pero hay otros desafíos asociados con ello, ya que necesitaríamos tener ejemplos de datos de entrada/salida y, al final, es otro modelo más para mantener. Existen otras técnicas de vanguardia utilizadas para inyectar conocimiento en tu sistema, como Lamini, por ejemplo. Pero no comenzaría desde allí porque en realidad es un tercero de código cerrado y requiere ajuste fino de todas formas.

¿Cuáles son las principales diferencias al trabajar con IA generativa vs trabajar con ML ″tradicional″ (clasificación basada en árboles, etc.)?

El proceso de evaluación es muy diferente para aplicaciones de IA generativa. El primer desafío es construir el conjunto de datos de evaluación. Otro desafío es cómo evaluarlo, qué métricas usar.

En la primera prueba de concepto, utilizamos etiquetadores manuales a quienes se les preguntó si les gustaba la sugerencia o no. Hoy en día, nos basamos en métricas tradicionales para tareas de PLN/CLN como traducción y resumen, como Rouge, métricas de similitud de Jaccard, así como Ragas, que está basado en LLM. Pero sabemos que también tienen algunas limitaciones.

¿Cómo se mide la calidad en el Agent Copilot?

Recopilamos retroalimentación de los agentes sobre la herramienta de diferentes maneras según la tarea. Para la generación de resúmenes, recolectamos directamente retroalimentación de los agentes en la interfaz. En ese caso, pueden votar si la respuesta fue útil o no. Aunque esto puede parecer la mejor solución para medir la calidad, podríamos sobrecargar a los agentes y afectar negativamente su productividad.

Para evitar impactar el trabajo de los usuarios, también aprovechamos la retroalimentación implícita como una forma de entender qué tan útiles son nuestras aplicaciones. Para las sugerencias de respuestas, por ejemplo, medimos cuánto se usan nuestras sugerencias o incluso cuánto se editan.

¿Algún consejo sobre cómo aplicar IA generativa a un nuevo caso de uso?

He estado trabajando a tiempo completo en este proyecto, junto con un grupo de Ingenieros de Software y Analistas de Negocios. Cosas como esta pueden ser muy demandantes en tiempo, por lo que la sugerencia es empezar con algo pequeño: primero, evalúa el caso de uso para ver si la tarea es demasiado ambigua y cuán compleja es.

Comprender el caso de uso en detalle también te ayuda a elegir con qué modelo comenzar. Cada proveedor de LLM (OpenAI, Anthropic, Mistral u otro) tiene tamañosde modelos según sus capacidades. Por ejemplo, para clasificación podrías usar el más pequeño con buen rendimiento, pero para problemas matemáticos o de razonamiento puede que necesites el modelo más capacitado.

Una mirada al futuro

El proyecto Agent Copilot es un vistazo al futuro del soporte al cliente, donde la IA generativa no es solo una palabra de moda, sino una herramienta práctica que mejora la forma en que trabajamos. El recorrido de Kevin con este proyecto nos muestra que implementar tal tecnología no se trata solo de tener el mejor modelo, sino de una ejecución cuidadosa, un aprendizaje continuo y un claro enfoque en el usuario final.

Para aquellos que buscan llevar la IA generativa a su herramienta de back office para soporte al cliente, el consejo de Kevin es simple: comienza con un caso de uso claro, mantenlo enfocado y prepárate para iterar. La tecnología seguirá evolucionando, pero los principios de construir algo que realmente ayude a las personas siguen siendo los mismos. Siempre que el desarrollo de un producto o una característica se trate de marcar una diferencia en la vida cotidiana de los agentes de soporte al cliente y los clientes a los que sirven, las empresas estarán en el camino correcto.

Descubre las oportunidades