No hace mucho tiempo, las aplicaciones de aprendizaje autom\u00e1tico comenzaron a florecer en varias industrias. Las empresas adaptaron r\u00e1pidamente su infraestructura existente para poder enviar modelos de aprendizaje autom\u00e1tico que generar\u00edan predicciones en lotes.<\/p>\n\n\n\n
Funciona bastante bien. Ahora, parece que todo el mundo habla de c\u00f3mo el aprendizaje autom\u00e1tico en tiempo real es el futuro. \u00bfPero es de verdad? \u00bfRealmente deber\u00edamos hacer el esfuerzo adicional necesario para poner (y mantener) los modelos en tiempo real en producci\u00f3n?<\/p>\n\n\n\n
\u00bfEst\u00e1s interesado en un mini mapa que te ayude a razonar sobre cu\u00e1ndo y c\u00f3mo crear modelos de aprendizaje autom\u00e1tico en tiempo real<\/strong>? \u00a1Sigue leyendo este art\u00edculo!<\/p>\n\n\n\n No existe una definici\u00f3n \u00fanica de lo que es un modelo en tiempo real.<\/p>\n\n\n\n Cuando hablamos de modelos en tiempo real, podr\u00edamos pensar en dos procesos distintos que pueden ocurrir en tiempo real: inferencia o aprendizaje.<\/em><\/p>\n\n\n\n Lo primero que probablemente venga a la mente es que tiempo real significa aprendizaje en tiempo real<\/strong>, donde un modelo recibe continuamente nuevos datos de entrenamiento y actualiza sus par\u00e1metros. Esto es ciertamente emocionante, pero a\u00fan raro de encontrar en la vida real. Sin embargo, en tiempo real tambi\u00e9n significa inferencia en tiempo real<\/strong>, en la que un modelo entrenado puede recibir solicitudes en cualquier momento y devolver predicciones sincr\u00f3nicamente. Esto se encuentra m\u00e1s com\u00fanmente en la vida real.<\/p>\n\n\n\n En este art\u00edculo, presentamos estrategias para construir modelos que hagan predicciones en tiempo real<\/strong>.<\/p>\n\n\n\n A veces, debes usar un modelo en tiempo real simplemente porque el problema que est\u00e1s abordando requiere una toma de decisiones instant\u00e1nea.<\/p>\n\n\n\n Supongamos que se te pide que presentes una soluci\u00f3n basada en Aprendizaje Autom\u00e1tico que ayudar\u00e1 a escalar y mejorar el servicio al usuario. Cada vez que un usuario abre el chat en nuestra aplicaci\u00f3n y escribe un mensaje, debemos identificar autom\u00e1ticamente de qu\u00e9 est\u00e1 hablando y actuar en consecuencia (por ejemplo, redirigirlo a un chat con un especialista humano).<\/p>\n\n\n\n Podr\u00edamos enmarcar este problema como un problema de clasificaci\u00f3n de clases m\u00faltiples, en el que las clases podr\u00edan ser diferentes productos (como tarjetas de cr\u00e9dito, cuentas de ahorro, inversiones, etc.) y construir un clasificador que reciba el texto escrito por el usuario y devuelva el producto del que es m\u00e1s probable que est\u00e9 hablando.<\/p>\n\n\n\n Este caso de uso requiere un modelo en tiempo real porque el modelo se alimenta de datos reci\u00e9n generados y tambi\u00e9n porque el usuario espera una respuesta r\u00e1pida. A partir de ese caso de uso espec\u00edfico, podemos intentar encontrar algunas reglas generales que nos ayuden a decidir cu\u00e1ndo es ideal (o necesario) usar un modelo en tiempo real:<\/p>\n\n\n\n Bien. Hay muchas buenas razones para construir modelos en tiempo real. Ahora solo es cuesti\u00f3n de desplegarlos. Deber\u00eda ser r\u00e1pido y f\u00e1cil, \u00bfverdad? Podr\u00edamos hacer eso en menos de 10 l\u00edneas de c\u00f3digo:<\/p>\n\n\n\n Primer intento de servir un modelo en tiempo real<\/p>\n\n\n\n No tan r\u00e1pido.<\/p>\n\n\n\n Dado que es probable que las limitaciones de la infraestructura afecten las decisiones de modelado, la creaci\u00f3n de un modelo en tiempo real requiere una colaboraci\u00f3n muy estrecha entre el cient\u00edfico de datos y el ingeniero de aprendizaje autom\u00e1tico<\/a>.<\/p>\n\n\n\n Hablaremos de dos requisitos que debemos tener en cuenta desde el inicio del desarrollo de un modelo en tiempo real: canalizaci\u00f3n en tiempo real<\/strong> e inferencia r\u00e1pida<\/strong>.<\/p>\n\n\n\n Una canalizaci\u00f3n en tiempo real debe recopilar y preparar todas las entradas requeridas por el modelo. Los datos pueden obtenerse de diferentes fuentes:<\/p>\n\n\n\n Despu\u00e9s de recopilar los datos, todav\u00eda tenemos que preprocesarlos. Los datos hist\u00f3ricos que provienen del almac\u00e9n de funciones ya est\u00e1n preprocesados, mientras que los datos nuevos que provienen de la carga \u00fatil de la solicitud o de los eventos de transmisi\u00f3n est\u00e1n en su formato m\u00e1s crudo. Ahora, podemos ver claramente que tenemos dos canalizaciones separadas: una canalizaci\u00f3n por lotes y una canalizaci\u00f3n en tiempo real.<\/p>\n\n\n\n Queremos asegurarnos de que la funci\u00f3n de preprocesamiento que se aplic\u00f3 a los datos en la canalizaci\u00f3n por lotes durante el entrenamiento sea exactamente la misma funci\u00f3n que se aplic\u00f3 a los datos en la canalizaci\u00f3n en tiempo real durante la inferencia. No hacer esto se conoce como sesgo de entrenamiento-entrega<\/a>.<\/p>\n\n\n\n \u00bfRecuerdas esa red neuronal s\u00faper vanguardista que construiste y que logr\u00f3 una precisi\u00f3n del 99% para todas las clases? Si intentas medir su tiempo de predicci\u00f3n, te sorprender\u00e1s al descubrir que puede tardar muchos segundos. Aunque suene r\u00e1pido, especialmente para una gran red neuronal, en realidad no lo es.<\/p>\n\n\n\n Una respuesta que se considera r\u00e1pida suele tardar milisegundos. Piensa en cu\u00e1nto tiempo estar\u00eda dispuesto a esperar el usuario antes de volver a intentar una acci\u00f3n o simplemente abandonar la aplicaci\u00f3n.<\/p>\n\n\n\n Los modelos en tiempo real deben ser r\u00e1pidos. B\u00e1sicamente, hay dos formas de hacerlos m\u00e1s r\u00e1pidos: usar hardware m\u00e1s potente o construir modelos m\u00e1s livianos.<\/em><\/p>\n\n\n\n Usar hardware m\u00e1s potente (como GPU) parece una soluci\u00f3n r\u00e1pida y razonable, pero podr\u00eda ser m\u00e1s dif\u00edcil de mantener a largo plazo, ya que probablemente ser\u00eda una soluci\u00f3n no estandarizada y requerir\u00eda un monitoreo m\u00e1s cercano. Adem\u00e1s, el tiempo de respuesta general podr\u00eda no ser lo suficientemente r\u00e1pido. Si tuvi\u00e9ramos un modelo pesado que necesita ejecutar inferencias en la GPU, habr\u00eda una sobrecarga de comunicaci\u00f3n considerable entre la CPU y la GPU.<\/p>\n\n\n\n Por otro lado, construir modelos m\u00e1s livianos es m\u00e1s rentable y m\u00e1s f\u00e1cil de mantener.<\/strong> Si utiliz\u00e1ramos modelos ligeros, podr\u00edamos escalar los servicios de aprendizaje autom\u00e1tico de forma horizontal como los microservicios normales, posiblemente utilizando herramientas internas ya existentes.<\/p>\n\n\n\n Vale la pena se\u00f1alar que la poda y la cuantizaci\u00f3n est\u00e1n disponibles tanto en TensorFlow<\/a> como en PyTorch<\/a>, por lo que deber\u00eda ser r\u00e1pido y f\u00e1cil ejecutar experimentos que combinen diferentes t\u00e9cnicas.<\/p>\n\n\n\n Adem\u00e1s de comprimir modelos, tambi\u00e9n podemos evaluar la efectividad del uso del almacenamiento en cach\u00e9 para almacenar algunas predicciones. En nuestro caso de uso, despu\u00e9s de preprocesar la entrada de texto, podr\u00edamos terminar con una entrada que se repite con frecuencia. En ese caso, llamar\u00edamos al modelo solo la primera vez que se ve esa entrada; luego, en llamadas posteriores, obtendr\u00edamos la predicci\u00f3n directamente del cach\u00e9.<\/p>\n\n\n\n \u00a1Seguro que lo es! La mayor\u00eda de las empresas comienzan sus viajes de aprendizaje autom\u00e1tico experimentando con modelos por lotes, ya que se perciben como un enfoque m\u00e1s f\u00e1cil y seguro. Sin embargo, a medida que los expertos en aprendizaje autom\u00e1tico y las partes interesadas del negocio trabajan juntos para descubrir nuevas \u00e1reas donde el aprendizaje autom\u00e1tico podr\u00eda aplicarse para maximizar el valor, los problemas que requieren modelos en tiempo real (como el modelo de chat del que hemos hablado) surgen inevitablemente.<\/p>\n\n\n\n Miles de empresas ya est\u00e1n enviando modelos de aprendizaje autom\u00e1tico en tiempo real de forma segura y escalable, incluyendo Nubank. Si tienes curiosidad acerca de lo que se puede hacer con los sistemas de aprendizaje autom\u00e1tico en tiempo real, \u00fanete a nosotros.<\/p>\n\n\n\n\u00bfQu\u00e9 son los modelos en tiempo real?<\/h2>\n\n\n\n
\u00bfPor qu\u00e9 utilizar modelos en tiempo real?<\/h2>\n\n\n\n
\n
\u00bfC\u00f3mo construir modelos en tiempo real?<\/h2>\n\n\n\n
Canalizaci\u00f3n en tiempo real<\/h2>\n\n\n\n
\n
Inferencia R\u00e1pida<\/h2>\n\n\n\n
Los modelos pesados se pueden comprimir usando varias t\u00e9cnicas, tales como:<\/h2>\n\n\n\n
\n
Pero\u2026 \u00bfes esto la vida real?<\/h2>\n\n\n\n