En Nubank, desplegar modelos de machine learning en un entorno de producci\u00f3n construido principalmente sobre Clojure presenta desaf\u00edos y oportunidades \u00fanicos. <\/p>\n\n\n\n
Este art\u00edculo explora los temas clave alrededor de este asunto, centr\u00e1ndose en los aspectos t\u00e9cnicos de integrar modelos de machine learning dentro de un entorno centrado en Clojure. <\/p>\n\n\n\n
\u00a1Sigue leyendo y desc\u00fabrelo todo!<\/p>\n\n\n\n
Cuando se despliega software, especialmente en una instituci\u00f3n financiera como Nubank, la definici\u00f3n de software en producci\u00f3n va m\u00e1s all\u00e1 del c\u00f3digo. Involucra un ecosistema integral que incluye:<\/p>\n\n\n\n
Estos elementos son esenciales para crear un entorno de producci\u00f3n robusto, seguro y conforme a las normativas.<\/p>\n\n\n\n
En un entorno a gran escala como Nubank, donde m\u00faltiples equipos despliegan software, estandarizar los componentes de producci\u00f3n es crucial. Esta estandarizaci\u00f3n asegura que todos los equipos puedan centrarse en sus tareas principales sin tener que reinventar la rueda para requisitos comunes como autenticaci\u00f3n, encriptaci\u00f3n y registro de logs.<\/p>\n\n\n\n
Sin embargo, esta estandarizaci\u00f3n tambi\u00e9n plantea desaf\u00edos al integrar modelos de machine learning, especialmente cuando estos modelos se desarrollan en lenguajes como Python, que no son nativos del ecosistema de Clojure.<\/p>\n\n\n\n
Nubank utiliza predominantemente Clojure para su c\u00f3digo de producci\u00f3n, aprovechando sus caracter\u00edsticas robustas y la compatibilidad con la JVM. El desaf\u00edo es que muchos componentes estandarizados en el ecosistema de Nubank est\u00e1n escritos espec\u00edficamente para Clojure, lo que dificulta reutilizar estos componentes directamente con modelos escritos en otros lenguajes, como Python o incluso R.<\/p>\n\n\n\n
Una de las primeras soluciones a este desaf\u00edo fue reescribir componentes esenciales como la autenticaci\u00f3n y la encriptaci\u00f3n en Python para soportar modelos de machine learning. Si bien esto permiti\u00f3 cierta integraci\u00f3n, result\u00f3 en altos costos de ingenier\u00eda y soluciones incompletas, ya que era dif\u00edcil mantener el ritmo del r\u00e1pido desarrollo en el ecosistema de Clojure.<\/p>\n\n\n\n
Para superar las limitaciones del enfoque inicial, Nubank desarroll\u00f3 el patr\u00f3n sidecar. Esta soluci\u00f3n arquitect\u00f3nica implica desplegar un servicio en Clojure (el sidecar) junto al modelo de machine learning.<\/p>\n\n\n\n
El sidecar maneja todas las interacciones con la infraestructura general, mientras que el modelo de machine learning se centra \u00fanicamente en las predicciones. Algunas de las ventajas de esta soluci\u00f3n incluyen:<\/p>\n\n\n\n
El Open Neural Network Exchange (ONNX) es un formato de c\u00f3digo abierto dise\u00f1ado para permitir que los modelos de machine learning se transfieran f\u00e1cilmente entre diferentes marcos. Este formato es particularmente \u00fatil para asegurar la interoperabilidad entre modelos desarrollados en diferentes lenguajes y entornos.<\/p>\n\n\n\n
Nubank explor\u00f3 ONNX como una soluci\u00f3n potencial para integrar modelos de machine learning con la infraestructura existente basada en Clojure. El runtime de ONNX, que soporta m\u00faltiples lenguajes de programaci\u00f3n, podr\u00eda permitir que los modelos de machine learning se desplieguen sin necesidad del entorno original en el que fueron entrenados. Algunos de los beneficios de este formato incluyen:<\/p>\n\n\n\n
Nubank contin\u00faa explorando soluciones innovadoras como ONNX, mientras mantiene la estabilidad y robustez de su entorno centrado en Clojure.<\/p>\n\n\n\n
El patr\u00f3n sidecar sigue siendo una opci\u00f3n estrat\u00e9gica para la integraci\u00f3n de modelos de machine learning, mientras que ONNX se considera para casos de uso espec\u00edficos donde pueda aportar un claro valor empresarial.<\/p>\n\n\n\n
Al equilibrar la estandarizaci\u00f3n, la interoperabilidad y las necesidades del negocio, los empleados de Nubank est\u00e1n encontrando soluciones creativas sin perder de vista la base tecnol\u00f3gica de la compa\u00f1\u00eda. As\u00ed es como vamos a construir el futuro morado. \u00a1As\u00ed es trabajar en Nu!<\/p>\n\n\n\n