By brezo fison, CUCHILLO

Una vez que el  Cumbre de otoño KNIME, los dinosaurios volvieron a casa… bueno, apagaron sus laptops. Decano Abbott y John elder, expertos en ciencia de datos desde hace mucho tiempo, fueron invitados a la Cumbre de Otoño por Michael para unirme a él en una discusión sobre El futuro de la ciencia de datos: una charla privada con dinosaurios de la industria. El resultado fue una conversación chispeante sobre los desafíos de la ciencia de datos y las nuevas tendencias. Desde que apagué las luces del estudio, Rosaria ha destilado y ampliado algunos de los aspectos más destacados sobre la gestión del cambio, la complejidad, la interpretabilidad y más en el mundo de la ciencia de datos. Veamos a dónde nos trajo.

¿Cuál es su experiencia con la gestión del cambio en IA, cuando la realidad cambia y los modelos deben actualizarse? ¿Qué les hizo COVID a todos nuestros modelos?

 
[Decano] Los algoritmos de aprendizaje automático (ML) asumen coherencia entre el pasado y el futuro. Cuando las cosas cambian, los modelos fallan. COVID ha cambiado nuestros hábitos y, por tanto, nuestros datos. Los modelos anteriores a COVID luchan por hacer frente a la nueva situación.

[Juan] Un ejemplo simple sería la capa Tráfico en Google Maps. Después de que los bloqueos afectaron país tras país en 2020, las estimaciones de tráfico de Google Maps fueron muy inexactas durante un tiempo. Se había construido sobre datos de entrenamiento bastante estables, pero ahora ese sistema estaba completamente fuera de control.

¿Cómo se da cuenta de que el mundo ha cambiado y los modelos ya no funcionan?

 
[Decano] Aquí hay un pequeño truco que uso: particiono mis datos por tiempo y etiqueto los registros como "antes" y "después". Luego construyo un modelo de clasificación para discriminar el "después" del "antes" de las mismas entradas que utiliza el modelo. Si la discriminación es posible, entonces el "después" es diferente del "antes", el mundo ha cambiado, los datos han cambiado y los modelos deben volver a capacitarse.

¿Qué tan complicado es volver a capacitar modelos en proyectos, especialmente después de años de personalización?

 
[Juan] ¡Entrenar modelos suele ser el paso más fácil de todos! La gran mayoría de proyectos exitosos morir en la fase de implementación. La mayor equipo se gasta en la fase de limpieza y preparación de datos. Y lo mas problemas se pierden o se realizan en la fase de comprensión del negocio / definición del proyecto. Entonces, si comprende cuál es la falla y puede obtener nuevos datos y tiene el marco de implementación en su lugar, crear un nuevo modelo es, en comparación, muy sencillo.

Según su experiencia de décadas, ¿qué tan complejo es armar una aplicación de ciencia de datos realmente funcional?

 
[Juan] Puede variar, por supuesto, según la complejidad. La mayoría de nuestros proyectos obtienen prototipos funcionales al menos en unos pocos meses. Pero para todos, no puedo enfatizar lo suficiente la importancia de la retroalimentación: tienes que hablar con la gente mucho más a menudo de lo que quieres. ¡Y escucha! Aprendemos cosas nuevas sobre el problema empresarial, los datos o las limitaciones, cada vez. No todas las personas cuantitativas somos hábiles para hablar con humanos, por lo que a menudo se necesita un equipo. Pero todo el equipo de partes interesadas tiene que aprender a hablar el mismo idioma.

[Decano] Es importante hablar con nuestra contraparte comercial. La gente teme al cambio y no quiere cambiar el estado actual. Un problema clave es realmente psicológico. Los analistas a menudo se ven como una molestia. Por lo tanto, tenemos que generar confianza entre la contraparte empresarial y los expertos en análisis. El inicio de un proyecto siempre debe incluir el siguiente paso: Sincronizar los expertos de dominio / gerentes de proyecto, los analistas y el equipo de TI e infraestructura (DevOps) para que todos tengan claros los objetivos del proyecto y cómo se ejecutará. ¡Los analistas ocupan el puesto 11 en la lista de las 10 personas principales a las que tienen que ver todos los días! Evitemos encarnar la arrogancia de los científicos de datos: “La empresa no puede entendernos a nosotros / nuestras técnicas, pero sabemos qué funciona mejor”. Sin embargo, lo que no entendemos es que los expertos en dominios son en realidad expertos en el dominio en el que estamos trabajando. ¡La traducción de los supuestos y enfoques de la ciencia de datos a un lenguaje que los expertos en el dominio entiendan es clave!

La última tendencia ahora es el aprendizaje profundo, aparentemente puede resolverlo todo. Recientemente, recibí una pregunta de un estudiante que me preguntaba "¿por qué necesitamos aprender otros algoritmos de aprendizaje automático si el aprendizaje profundo es el estado del arte para resolver problemas de ciencia de datos"?

 
[Decano] El aprendizaje profundo absorbió mucho oxígeno de la habitación. ¡Se parece tanto a principios de la década de 1990 cuando las redes neuronales ascendieron con un optimismo similar! El Deep Learning es un conjunto de técnicas poderosas sin duda, pero son difíciles de implementar y optimizar. XGBoost, Conjuntos de árboles, también son poderosos, pero actualmente son más convencionales. La gran mayoría de los problemas que necesitamos resolver mediante análisis avanzados realmente no requieren soluciones complejas, así que comience de manera simple; el aprendizaje profundo es excesivo en estas situaciones. Es mejor utilizar el principio de la navaja de Occam: si dos modelos funcionan igual, adopte el más simple.

Sobre la complejidad. La otra tendencia, opuesta al aprendizaje profundo, es la interpretabilidad del ML. Aquí simplificas mucho (¿excesivamente?) El modelo para poder explicarlo. ¿Es la interpretabilidad tan importante?

 
[Juan] A menudo me encuentro luchando contra la interpretabilidad. Es agradable, claro, pero a menudo tiene un costo demasiado alto de la propiedad más importante del modelo: precisión confiable. Pero muchas partes interesadas creen que la interpretabilidad es esencial, por lo que se convierte en una barrera para la aceptación. Por tanto, es fundamental descubrir qué tipo de interpretabilidad se necesita. ¿Quizás es solo saber cuáles son las variables más importantes? Eso es factible con muchos modelos no lineales. Tal vez, al igual que al explicar a los solicitantes de crédito por qué fueron rechazados, uno solo necesita interpretar los resultados de un caso a la vez. Podemos construir una aproximación lineal para un punto dado. O podemos generar datos a partir de nuestro modelo de caja negra y construir un modelo "interpretable" de cualquier complejidad para ajustar esos datos.

Por último, la investigación ha demostrado que si los usuarios tienen la oportunidad de jugar con un modelo, es decir, pincharlo con valores de prueba de entradas y ver sus salidas, y tal vez visualizarlas, obtienen los mismos sentimientos cálidos de interpretabilidad. En general, la confianza, en las personas y la tecnología detrás del modelo, es necesaria para la aceptación, y esto se ve reforzado por la comunicación regular y al incluir a los posibles usuarios del modelo en las fases de construcción y decisiones del proceso de modelado.

[Decano] Por cierto, KNIME Analytics Platform tiene una gran función para cuantificar la importancia de las variables de entrada en un bosque aleatorio. El Aprendiz de bosque aleatorio El nodo genera las estadísticas de las variables candidatas y de división. Recuerde eso, cuando use el nodo de aprendizaje de bosque aleatorio.

Hay un aumento en las solicitudes de explicaciones sobre lo que hace un modelo. Por ejemplo, para algunas clases de seguridad, la Unión Europea exige la verificación de que el modelo no hace lo que se supone que no debe hacer. Si tenemos que explicarlo todo, quizás el aprendizaje automático no sea el camino a seguir. ¿No más aprendizaje automático?

 
[Decano]  Tal vez la explicabilidad completa sea demasiado difícil de obtener, pero podemos lograr un progreso realizando una búsqueda de cuadrícula en las entradas del modelo para crear algo como una tarjeta de puntuación que describa lo que hace el modelo. Esto es algo así como las pruebas de regresión en el control de calidad de hardware y software. Si no es posible una prueba formal de lo que están haciendo los modelos, ¡probemos y probemos y probemos! Input Shuffling y Target Shuffling pueden ayudar a lograr una representación aproximada del comportamiento del modelo.

[Juan] Hablando de entender lo que hace un modelo, me gustaría plantear el problema de la reproducibilidad en la ciencia. Se cree que una gran proporción de artículos de revistas en todos los campos (entre el 65% y el 90%) son irrepetibles. Esta es una verdadera crisis de la ciencia. Los artículos médicos intentan decirle cómo reproducir sus resultados. Los papeles ML todavía no parecen preocuparse por la reproducibilidad. Un estudio reciente mostró que solo el 15% de los artículos de IA comparten su código.

Hablemos de sesgo de aprendizaje automático. ¿Es posible construir modelos que no discriminen?

 
[Juan] (Para ser un nerd por un segundo, esa palabra es desafortunadamente sobrecargado. Su objetivo es "discriminar" en la palabra del mundo ML: hacer una distinción entre dos clases). Pero para su pregunta real, depende de los datos (y de si el analista es lo suficientemente inteligente como para ajustar las debilidades de los datos ): Los modelos extraerán de los datos la información reflejada en ellos. La computadora no sabe nada sobre el mundo, excepto lo que hay en los datos que tiene delante. Entonces, el analista tiene que curar los datos, asumir la responsabilidad de aquellos casos que reflejen la realidad. Si ciertos tipos de personas, por ejemplo, están subrepresentadas, el modelo les prestará menos atención y no será tan preciso en el futuro. Pregunto: "¿Por qué tuvieron que pasar los datos para llegar aquí?" (para ingresar a este conjunto de datos) para pensar en cómo otros casos podrían haber desaparecido a lo largo del proceso (es decir, el sesgo del sobreviviente). Un científico de datos capacitado puede buscar estos problemas y pensar en formas de ajustarlos o corregirlos.

[Decano] El sesgo no está en los algoritmos. El sesgo está en los datos. Si los datos están sesgados, estamos trabajando con una visión sesgada del mundo. Las matemáticas son solo matemáticas, no están sesgadas.

¡¿La IA se hará cargo de la humanidad ?!

 
[Juan] Creo que la IA es simplemente una buena ingeniería. ¿La IA superará la inteligencia humana? En mi experiencia, cualquier persona menor de 40 cree que sí, esto es inevitable, y la mayoría de más de 40 (como yo, obviamente): ¡no! Los modelos de IA son rápidos, leales y obedientes. Como un buen perro pastor alemán, un modelo de IA irá a buscar esa pelota, pero no sabe nada sobre el mundo más que los datos que se le han mostrado. No tiene sentido común. Es un gran asistente para tareas específicas, pero en realidad es bastante tonto.

[Decano] En esa nota, me gustaría informar dos citas hechas por Marvin Minsky en 1961 y 1970, desde los albores de la IA, que creo que describen bien el futuro de la IA.

"Durante nuestra vida, algunas máquinas pueden superarnos en inteligencia general" (1961)

"En tres a ocho años tendremos una máquina con la inteligencia de un ser humano" (1970)

Estas ideas han existido durante mucho tiempo. Aquí hay una razón por la que la IA no resolverá todos los problemas: ¡Juzgamos su comportamiento basándonos en un número, solo un número! (Error del modelo). Por ejemplo, las predicciones de los precios de las acciones durante los próximos cinco años, pronosticadas mediante la construcción de modelos utilizando el error cuadrático medio como la métrica del error, no pueden mostrar la imagen completa de lo que realmente están haciendo los datos y obstaculizan gravemente el modelo. y su capacidad para descubrir los patrones de forma flexible. Todos sabemos que RMSE es una medida demasiado burda. Los algoritmos de Deep Learning seguirán mejorando, pero también debemos mejorar para juzgar qué tan bueno es realmente un modelo. ¡Entonces no! No creo que la IA se apodere de la humanidad.

Hemos llegado al final de esta entrevista. Nos gustaría agradecer a Dean y John por su tiempo y sus píldoras de conocimiento. ¡Esperemos que nos volvamos a encontrar pronto!

Acerca de Dean Abbott y John Elder

Decano Abbott es cofundador y científico jefe de datos en SmarterHQ. Es un experto e innovador reconocido internacionalmente en ciencia de datos y análisis predictivo, con tres décadas de experiencia en la resolución de problemas en análisis de clientes omnicanal, detección de fraude, modelado de riesgos, minería de textos y análisis de encuestas. Incluido con frecuencia en listas de científicos de datos y científicos de datos pioneros, es un orador principal popular e instructor de talleres en conferencias en todo el mundo, y también forma parte de las juntas asesoras de los programas UC / Irvine Predictive Analytics y UCSD Data Science Certificate. Es autor de Applied Predictive Analytics (Wiley, 2014) y coautor de The IBM SPSS Modeler Cookbook (Packt Publishing, 2013).

John elder fundó Elder Research, la consultora de ciencia de datos más grande y experimentada de Estados Unidos en 1995. Con oficinas en Charlottesville VA, Baltimore MD, Raleigh, NC, Washington DC y Londres, han resuelto cientos de desafíos para clientes comerciales y gubernamentales mediante la extracción de conocimientos prácticos de todo tipo de datos. El Dr. Elder es coautor de tres libros, sobre minería de datos prácticos, conjuntos y minería de texto, dos de los cuales ganaron premios al "libro del año". John ha creado herramientas de minería de datos, fue un descubridor de métodos conjuntos, preside conferencias internacionales y es un popular taller y orador principal.

 
Bio: brezo fison es el editor de blogs de KNIME. Inicialmente en el equipo de eventos, su experiencia es en realidad en traducción y revisión, por lo que al mudarse al blog en 2019, ha regresado a su verdadera pasión por trabajar con textos. PD: Ella siempre está interesada en escuchar sus ideas para nuevos artículos.

Original. Publicado de nuevo con permiso.

Relacionado:

• Dominar el análisis de series de tiempo con la ayuda de los expertos
• Cómo romper un modelo en 20 días: un tutorial sobre análisis de modelos de producción
• Principales desarrollos de 2020 y tendencias clave de 2021 en inteligencia artificial, ciencia de datos y tecnología de aprendizaje automático