Colaboración aumentada humano + máquina: ¿cómo se entrenan, enseñan y testean soluciones de Machine Learning?

Por Melina Nogueira, Directora de Tecnología en Arbusta

Humano + Maquina - Arbusta

Mucho se sigue hablando de Inteligencia Artificial y Machine Learning como una de las principales estrategias de inversión en IT que se aceleraron más por la pandemia del coronavirus. Vemos aplicaciones en el mercado más maduras en e-commerce, salud, finanzas y en educación.

El aprendizaje automático (o machine learning) es una aplicación de la inteligencia artificial (IA) que proporciona a los sistemas la capacidad de aprender y mejorar automáticamente a partir de la experiencia sin ser programados explícitamente. Se centra en el desarrollo de programas informáticos que pueden acceder a los datos y utilizarlos para aprender por sí mismos. Su objetivo principal es permitir que las computadoras aprendan sin intervención o asistencia humana y ajustar las acciones en consecuencia. Es una técnica que, en mayor o menor medida, hoy no puede dejar de aplicar ninguna empresa o negocio innovador. 

Estudios recientes indicaron que el 29% de los desarrolladores globales han trabajado en software de IA / aprendizaje automático (ML) en el último año. Y sugieren que el 25% de las compañías Fortune 500 agregará bloques de construcción de IA (por ejemplo, análisis de texto y aprendizaje automático) a sus esfuerzos de automatización de procesos robóticos (RPA) para crear cientos de nuevos casos de uso de automatización de procesos inteligentes (IPA). Otra consultora anticipa que para 2021, el 15% de las aplicaciones de experiencia del cliente estarán hiperpersonalizadas, combinando continuamente una variedad de datos y nuevos algoritmos de aprendizaje de refuerzo.

Por detrás del machine learning está la confianza en el hecho de que los sistemas tienen la capacidad de aprender de los datos, reconocer patrones y tomar decisiones con una intervención humana marginal. Ahora bien: para aplicar esta técnica hay que arrancar con el entrenamiento de los algoritmos, esto es, con la instancia de machine learning training, que por ejemplo está presente en el desarrollo de los famosos asistentes virtuales o chatbots que hoy son moneda corriente en la mayoría de los sitios de e-commerce de avanzada. Por cierto estos chatbots también usan técnicas de NPL (o de procesamiento del lenguaje natural), que permiten analizar, interpretar y darle un sentido al lenguaje humano y viabilizar los procesos de annotation en chatbots. Y a su vez estas últimas técnicas van de la mano con las de text recognition, que permiten obtener y analizar información de documentos con formato imagen. 

MACHINE LEARNING TRAINING BAJO EL PARADIGMA HITL

Humano+Maquina - Modelo Tunel de Arbusta

En el contexto del machine learning, a los desarrolladores se les suele solicitar la creación de un sistema –o modelo- que responda a una o varias preguntas. Y este modelo se elabora a través de un proceso de “capacitación”. El objetivo de este entrenamiento es crear un modelo preciso que responda las preguntas correctamente la mayor parte del tiempo.  La máquina necesita ser “entrenada”, alimentándola explícitamente con las respuestas correctas adjuntas. Es decir que para entrenar un modelo, hay que recopilar datos. Estos datos de entrenamiento le ayudarán a conectar los patrones que encuentre en los datos con la respuesta correcta. Y eso hará que en el futuro pueda predecir las respuestas en función de la capacitación que recibió.

Así las cosas, lo primero será recopilar los datos que se usarán para alimentar al modelo. Es importante que sean de calidad, aunque la cantidad también cuenta. A fin de juntar los datos de distintas fuentes y de modo automático hoy es frecuente que se usen técnicas de  web scraping.  

Posteriormente habrá que preparar los datos, mezclándolos y asegurándose de que no existan correlaciones que inclinen las respuestas hacia uno u otro lado. El rol humano, nuevamente clave en este proceso.

PERO… ¿QUÉ ES HITL Y POR QUÉ EN ARBUSTA TRABAJAMOS CON ESTE PARADIGMA?

El paradigma Human in the Loop supone incorporar la retroalimentación humana durante la instancia de entrenamiento (modelado y simulación) de los algoritmos de machine learning. Ahora bien, ¿cuáles son los propósitos de HITL? Este enfoque viene ganando terreno como el mejor camino posible para entrenar modelos más precisos, en la medida en que las personas prueban, ajustan y alimentan continuamente los datos, en vivo y de modo constructivo y virtual.

El paradigma Human in the Loop supone incorporar la retroalimentación humana durante la instancia de entrenamiento (modelado y simulación) de los algoritmos de machine learning.

Dado que los sistemas accionados por máquinas todavía no logran los niveles de precisión deseada, se requiere la intervención humana en los circuitos de entrenamiento a fin de crear modelos de aprendizaje automático más exactos. Es decir que HITL describe el proceso que se lleva adelante en los casos en que la máquina o el sistema informático no pueden ofrecer una respuesta a un problema y necesitan una intervención humana. 

TRES FASES DEL MACHINE LEARNING TRAINING

La mayoría de los científicos de datos dividen su data en tres partes: datos de entrenamiento, datos de validación cruzada y datos de pruebas. 

✔ Los datos de entrenamiento se utilizan para asegurarse de que la máquina reconozca los patrones; se emplean para entrenar y para ajustar los parámetros del modelo con el objeto de reducir el sesgo.

✔ Los datos de validación cruzada se utilizan para garantizar una mayor precisión y eficiencia del algoritmo utilizado para entrenar la máquina. Se aplican para la sintonización de hiperparámetros y para mejorar la capacidad de generalización de su modelo.

✔ Los datos de prueba se utilizan para ver qué tan bien la máquina puede predecir nuevas respuestas basadas en su entrenamiento. Proporcionan una evaluación imparcial de un modelo final. Esta instancia permite probar el modelo con datos que nunca se usaron para capacitación, y ver cómo podría funcionar frente a data que aún no ha visto. 

✔ Los datos de validación y de prueba deben provenir de la misma distribución. Para la evaluación no deben utilizarse los mismos datos del entrenamiento, ya que la máquina podría memorizar las “preguntas”. En esta etapa habrá que chequear el grado de precisión del modelo ya capacitado: si ronda el 50%, no tendrá utilidad; si en cambio alcanza o supera el 90%, sus respuestas ofrecerán un alto nivel de confianza. 

AJUSTE FINAL

Si no se consiguen buenos porcentajes de acierto en las predicciones habrá que volver atrás y ajustar o reconfigurar los parámetros (habitualmente referidos como “hiperparámetros”).  No obstante, también es importante definir qué es lo que hace que un modelo sea “lo suficientemente bueno”; de lo contrario, hay riesgo de quedar atascados en el ajuste de los parámetros durante mucho tiempo.

Una vez que se completan las etapas de entrenamiento y evaluación, el modelo estará listo para responder preguntas -esto es, para la predicción o inferencia en contextos reales-. 

Estos procesos naturalmente requieren skills  y hoy existen empresas como Arbusta que ofrecen servicios de machine learning training con diversas especializaciones, desde propuestas generales para e-commerce, para web y aplicaciones hasta otras segmentados por industrias –para bancos o para servicios de salud, por ejemplo-.

¿Ya incorporaron estos desarrollos en tu empresa? Si te interesa que hablemos sobre cómo los equipos de Arbusta pueden contribuir a proyectos de machine learning training para tu iniciativa, escríbenos a [email protected] para que podamos iniciar una conversación. 

MÁS INFORMACIÓN

¿Sabes qué es Arbusta? <

¿Conoces nuestra magia? <