Hay un libro de tres economistas que me gusta mucho llamado Máquinas de Predicción. Lo lograron al descubrir qué hace el aprendizaje automático y por qué es tan valioso. En términos simples, el Aprendizaje Automático nos proporciona predicciones económicas.

Puede que esto no suene muy impresionante, pero lo que debemos darnos cuenta es que las predicciones están en más lugares de los que podríamos imaginar. La predicción no se trata sólo del futuro (aunque podría serlo, por ejemplo, si desea predecir la demanda futura para gestionar su almacenamiento), se trata de generar información sobre el presente y el pasado.

Esto sucede cuando la predicción clasifica las transacciones con tarjetas de crédito como fraudulentas, un tumor en una imagen como maligno o si una persona que posee un iPhone es el propietario.

En Nubank no es diferente.

Máquinas de Predicción en Nubank

Utilizamos máquinas de predicción para predecir el tema del mensaje de correo electrónico de un cliente, lo que nos permite dirigirlo mejor al especialista de atención al cliente más adecuado; predecimos si alguien incumplirá un préstamo antes de otorgarle crédito; y, por supuesto, utilizamos la predicción para determinar si una transacción con tarjeta de crédito es fraudulenta.

Saber que el Aprendizaje Automático es, esencialmente, predicción también nos permite comunicarnos mejor con otros equipos. Podemos explicar que, si un problema empresarial puede enmarcarse como un problema de predicción, probablemente podamos resolverlo. No solo eso, sino que cuando explicamos el Aprendizaje Automático como esta superpotencia de predicción, los líderes no técnicos pueden asignar mejor a los científicos de datos, sin quedar atrapados en la exageración de que podemos hacer todo tipo de milagros mágicos.

Descubre las oportunidades

Cuando todo lo que tienes es un martillo…

Ver el Aprendizaje Automático a través de los ojos de la predicción es una limitación poderosa. Nos ata a un conjunto específico de problemas, convirtiéndonos en científicos de datos especialistas en ellos. Pero es, no obstante, una limitación. Resulta que una empresa moderna tiene toneladas de problemas que no podemos enmarcar como tareas de predicción (sospecho que la mayoría de ellos).

Muchas de las preguntas que una empresa como Nubank necesita responder implican una complicada optimización de la toma de decisiones: debemos elegir, entre un conjunto de opciones posibles, cuál es la mejor acción a tomar. ¿Qué límite de crédito debo darle a cada cliente para maximizar el valor a largo plazo (VAN)? ¿Qué tasa de interés debo cobrar por un préstamo? ¿Cuántos correos electrónicos de marketing debo enviar para poder maximizar la conversión sin enojar a la gente? 

En términos generales, estos son problemas de toma de decisiones en los que tienes un montón de opciones para elegir y quieres saber cuál es la mejor. A menudo, tienes algún tipo de métrica de negocio que no  puedes controlar directamente (ventas, número de clientes, PNL…), pero en la que puedes influir a través de algún tipo de palanca (publicidad, precio, servicio al cliente). La pregunta entonces es ¿cómo se debe configurar esta palanca?

Al principio, intentamos responder esas preguntas con lo que se nos daba bien: modelos predictivos. Pero rápidamente nos dimos cuenta de que ese enfoque no sólo no funcionaba, sino que también agravaba el problema. Como me dijo una vez nuestro director de datos: “cuando lo único que tienes es un martillo, todo empieza a parecer un pulgar”.

Atraer más clientes

Para ver por qué es así, consideremos un problema que tiene toda empresa de tecnología: atraer más clientes. 

Aquí, digamos que tienes alguna estrategia de marketing costosa, como dar un cupón a nuevos usuarios. Algunas personas solo usarán el cupón y luego se convertirán en clientes a largo plazo (usuario-1 en la imagen), pero otras simplemente usarán el cupón y lo abandonarán de inmediato (usuario-2). 

La pregunta obvia es entonces, ¿a quién deberías enviarle los cupones? Lo que no es tan obvio es cómo responder a esta pregunta. Se podría pensar que aquí podemos utilizar un modelo de Aprendizaje Automático predictivo. OK. Digamos que sí. Digamos que creamos un modelo súper preciso que predice quién se convertirá y quién abandonará. Usamos un montón de características, árboles potenciados, hacemos la validación cruzada correcta y logramos obtener un modelo que predice, con un AUC muy alto, quién realizará la conversión.

Entonces, para cada nuevo cliente, tu modelo proporciona un número que indica quién tiene más probabilidades de realizar una conversión. ¿Ahora qué? Aún no has respondido a la pregunta original: ¿a quién deberías regalar cupones?

¿Debería dárselos a los clientes que probablemente realicen una conversión? Pero, ¿qué pasa si se convierten de todos modos? ¿Por qué gastar dinero dándoles un cupón? ¿Debería entonces dárselos a aquellos con baja propensión a convertirse? Pero, ¿qué pasa si no realizan la conversión de todos modos, ni siquiera con los cupones? ¡Entonces estás desperdiciando dinero otra vez!

Si parece difícil responder a esta pregunta, es porque tu modelo no predice lo que deseas. Tu modelo es muy bueno para distinguir entre quienes lo harán y quienes no. Pero lo que realmente quieres es distinguir entre aquellos cuya conversión aumentará más con un cupón y aquellos cuya conversión aumentará menos.

En otras palabras, no te importan las probabilidades de conversión, te importa cómo cambian con los cupones. Para dejar esto claro, veamos un ejemplo. 

Máquinas de predicción: ¿qué cliente realizaría una conversión?

Digamos que tienes dos tipos de clientes. El primer tipo (verde) tiene una conversión base más alta y no necesita una gran cantidad de cupones para convertir, mientras que el segundo tipo (azul) tiene una conversión base más baja y solo realizará conversiones con más cupones (o cupones de alto valor, dependiendo de cómo plantee el problema). 

Tu modelo predice la conversión, por lo tanto, si lo usas para optimizar tu estrategia de cupones, digamos, entregándolos a aquellos con mayor conversión, se los darás principalmente a clientes que no necesitan una gran cantidad de cupones para realizar conversiones (verde).

¿Qué pasa si se los das a aquellos con menores probabilidades de conversión? En este caso, se dirigirá a aquellos que de hecho necesitan más cupones para realizar la conversión, por lo que estarías haciendo lo correcto.

Pero nota cómo esto es accidental. Aquí, resulta que el tipo con menor conversión base también necesita más cupones para convertir, pero es muy posible que tengas una situación en la que el tipo con menor conversión (azul) también necesite menos cupones para convertir, como en la siguiente imagen. 

En este segundo caso, el tipo con mayor conversión base (verde) también necesita más cupones para mover la aguja, mientras que el tipo con menor conversión (azul) necesita menos cupones para ser feliz. 

La conclusión clave aquí es que la conversión no necesariamente distingue la conversión delta. O, en otras palabras, la conversión no es necesariamente distinguir cuánto responderá cada cliente a más o menos cupones.

Como consecuencia, utilizar predicciones para una tarea de optimización como la anterior puede resultar subóptimo en el mejor de los casos y muy costoso en el peor. Los modelos de predicción son herramientas fascinantes, pero eso no significa que sean adecuados para todas las tareas.

Inferencia causal al rescate.

Afortunadamente, no es necesario que sigas golpeándote el pulgar. Estoy aquí para mostrarles un camino más fructífero. El truco aquí es darse cuenta de que no es necesario estimar la conversión. En lugar de ello, lo que se desea es estimar la derivada de la conversión o la conversión marginal, como la llamarían los economistas.

La conversión marginal te indica cuánto aumentará la conversión dado un pequeño aumento (unitario) en los cupones. Esto es excelente para la optimización porque muestra dónde puedes sacar más provecho de tu inversión. 

Por ejemplo, el punto donde se maximiza la derivada corresponde al punto de la curva donde la conversión es más pronunciada. Allí, un aumento de cupones generará un enorme aumento en la conversión.

Sólo hay un pequeño problema. No es que la gente salga con la sensibilidad tatuada en la frente. Resulta que esta no es una cantidad observable. Si bien SÍ observamos si las personas convirtieron o no recibieron una cantidad de cupón, NO observamos qué tan sensibles son a los cupones. Esto es lo que llamamos el problema fundamental de la inferencia causal.

Nunca podremos ver a la misma persona bajo dos regímenes de tratamiento diferentes (cupones aquí). Como consecuencia, no podemos resolver este problema con un modelo predictivo en el que reemplazamos X como características e Y como resultado, simplemente porque la Y que queremos, es decir, la sensibilidad, no es inobservable. 

Para ello, recurrimos a la inferencia causal, que es precisamente la técnica que podemos utilizar para estimar la sensibilidad (también llamada efecto del tratamiento) y responder preguntas hipotéticas. La inferencia causal aparece en la parte superior de la lista de ideas estadísticas más importantes de los últimos 50 años, lo cual es bien merecido.

Interferencia casual: responder a preguntas hipotéticas

Todos hemos oído que correlación no implica causalidad. La inferencia causal nos ayuda a decir qué lo hace. Es un concepto fundamental en epidemiología y econometría, pero ahora se está generalizando en el campo de la Ciencia de Datos. Supongo que porque resuelve una gran clase de problemas con los que luchaba el Aprendizaje Automático tradicional.

La inferencia causal responde a lo que sucedería si hago esto en lugar de aquello, lo cual es clave para saber en cada acción o pregunta de personalización que debamos responder. 

Aprender a partir de los datos lo que sucedería bajo las diferentes decisiones posibles que deseamos tomar también está presente en todas las unidades de negocios de Nubank, razón por la cual investigamos tanto la inferencia causal. Necesitamos saber cómo cambiará el nivel de gasto de un tipo particular de cliente dado un aumento del límite y si eso compensará el aumento del riesgo asociado.

Necesitamos saber qué tipo de clientes responderán mejor a un correo electrónico de venta cruzada de préstamos que a un correo electrónico de inversión. Nos importa mucho cómo responden los clientes a un cambio en las tasas de interés. Todos esos son problemas causales porque plantean preguntas hipotéticas. 

Descifrarlos es mucho más complicado que lanzar todo a un proceso de aprendizaje automático y obtener predicciones. Necesitamos elaborar ensayos de control aleatorios bien diseñados, controlar los sesgos que nos engañan para encontrar causalidad donde solo hay correlación y aprovechar experimentos naturales. 

La inferencia causal es un tema tan amplio e interesante que no puedo cubrirlo todo en una sola publicación. Pero ten la seguridad. A medida que la inferencia causal se ha vuelto cada vez más relevante para el equipo de ciencia de datos de Nubank, puedes apostar que publicaremos más cosas al respecto. Mientras tanto, si deseas obtener más información al respecto, he seleccionado una lista de listas de recursos interesantes (y obviamente sesgadas hacia la economía). ¡Disfruta!

Descubre las oportunidades