En el reciente Estadísticamente hablando sobre cómo desmitificar el aprendizaje automático y la inteligencia artificial, el renombrado autor, estadístico y educador, la sesión plenaria de apertura de David Hand preparó el escenario para una discusión muy interesante con nuestros panelistas expertos: Cameron Willden, estadístico de WL Sangre; Sam Gardner, fundador de Wildstats Consulting; y Jason Wiggins, ingeniero de sistemas sénior de JMP.
En el Publicación anterior , nuestros panelistas respondieron preguntas sobre la experiencia y la capacitación que recibimos durante el evento de transmisión en vivo.En esta publicación, comparten sus pensamientos sobre preguntas sobre datos y modelado.La primera pregunta es acertadamente sobre datos oscuros, que es el nombre del último libro de David Hand, Datos oscuros: por qué importa lo que no sabes (muy recomendable).
Lo contrario de los datos oscuros son los datos brillantes. ¿No es eso una rareza?
Sam: A menudo, en las primeras etapas del viaje de ciencia de datos de una organización, descubren que tienen muchos problemas de datos oscuros.El principal problema a resolver es cómo obtener los datos correctos. Las organizaciones que realmente quieren resolver problemas, y resolverlos bien, tendrán enfoques, estrategias y sistemas que les permitan generar y recopilar datos "brillantes" y buenos.
¿Puede JMP "ajustar" solo los datos que faltan, por ejemplo, con máquinas de vectores de soporte o GenReg? Para usar de alguna manera la estructura de los datos faltantes con los datos existentes para ajustarlos, ¿algo así como un ajuste inverso?Esto sería diferente de "falta informativa".
Jasón: Verificaría la imputación SVD multivariante y la imputación de datos automatizada en la utilidad Explorar valores perdidos y vería si esto hará lo que espera.
Sam: JMP y Pro JMP puede hacer una imputación múltiple que se basa en la estructura de correlación de los datos.Consulte la ayuda en línea para Imputar datos faltantes y Explorar valores perdidos .
¿Qué tipo de modelo de aprendizaje automático podemos usar para abordar datos de etiquetas múltiples que no son mutuamente excluyentes?
cameron: Si te entiendo correctamente, puedes lograrlo simplemente teniendo múltiples respuestas.Por ejemplo, un modelo puede procesar una imagen para clasificar a alguien como viejo o joven, y por separado como hombre y mujer.
¿Cuál es la mejor manera de abordar el modelado predictivo para los resultados de un proceso con alta variabilidad en los datos del proceso?
cameron: La mejor manera de superar la alta variabilidad es con un gran volumen de datos, por ejemplo, el error estándar de una media tiene la raíz cuadrada del tamaño de la muestra en el denominador.
Jasón: Identificar las fuentes de variación del proceso; invertir en medir y recopilar datos de ellos continuamente. ¿Cuántas entradas de proceso críticas se miden en su proceso? ¿Hay suficiente para describir adecuadamente la variación en los resultados? He participado y liderado proyectos destinados a entender problemas como este.Pueden ser complicados, pero son necesarios.Modelar no es magia. Necesita buena información para tener éxito. Invertiría aquí primero antes de sumergirme en modelos esotéricos.
Cuando desee entrenar un nuevo modelo en un pequeño conjunto de datos para obtener las recompensas antes (ahorro de dinero), ¿cuáles son algunos buenos consejos prácticos para hacer esto, incluso si se trata de usar un modelo menos que perfecto, pero que es " suficientemente bueno."
cameron: En el ámbito del aprendizaje profundo, el aprendizaje por transferencia ofrece una forma de hacer mucho más con menos.Los experimentos diseñados son otra forma de obtener más información sobre las relaciones por punto de datos porque planifica los puntos de tal manera que se minimiza la cantidad de información redundante.Es decir, generalmente tiene muy poca correlación entre los factores y, por lo tanto, los factores de inflación de la varianza son iguales o muy cercanos a 1.
Jasón: Las estrategias como "dejar uno fuera" o la validación cruzada de k-fold pueden ser útiles al entrenar un modelo en conjuntos de datos más pequeños para evitar el sobreajuste.He tenido éxito con modelos de regresión penalizados en pequeños conjuntos de datos utilizando ambas estrategias de validación cruzada.Cuando crea un modelo, ¿con qué frecuencia verifica lo real versus lo pronosticado? Si sus predicciones son adecuadas para tomar decisiones comerciales, el modelo puede ser "suficientemente bueno".
Según su experiencia, ¿cuál es el porcentaje de tiempo en el que necesita aplicar un modelo de aprendizaje continuo/iterativo frente a un modelo fuera de línea/único para resolver problemas?¿Cuáles son los pros y los contras de cada uno?
cameron: Eso variará ampliamente según el área de aplicación. Si estoy modelando la demanda de un producto en función de los principales indicadores, debo esperar absolutamente que esas relaciones evolucionen con el tiempo. Tener mi modelo producido evolucionando y adaptándose con el tiempo sería muy ventajoso. Si estoy modelando los resultados de la máquina en función de un conjunto de propiedades físicas, es probable que las relaciones se mantengan estables con el tiempo y no deba preocuparme tanto por el aprendizaje en línea. La excepción podría ser si quiero que las estimaciones de parámetros de mi modelo sean más precisas con el tiempo a medida que ingresan más datos.
Cuando no está allí para investigar/observar el proceso, puede pasar por alto la causa del problema; Además, COVID complica esto. Como investigadores/solucionadores de problemas/científicos de datos, ¿qué hacemos cuando no podemos estar "allí" para recopilar los datos?
cameron: Buena pregunta, y lo único que realmente puedo pensar en decir es averiguar cómo involucrar a las personas que recolectaron los datos con el análisis de los datos. Incluso si no tienen experiencia en análisis, probablemente puedan entender un análisis gráfico lo suficientemente bien como para participar en una discusión y aportar ideas de su experiencia de primera mano para contribuir a la discusión y la interpretación.
Jasón: ¡Esta es una pregunta difícil!¿Existen herramientas virtuales que pueda utilizar para ver el proceso? ¿Quién está ejecutando el proceso? ¿Pueden ser capacitados para hacer observaciones sobre el proceso que puedan explicar los problemas que surgen en los datos?¿Se pueden hacer recorridos de procesos virtuales?
La abundancia de datos puede dar lugar a la falsa seguridad de que los datos son imparciales.¿Cuáles son los pasos de mitigación del uso de una gran cantidad de datos sesgados mientras llegan nuevos datos contrafácticos?
Sam: Pruebe sus modelos.Siempre mire para ver si el modelo que desarrolló todavía predice bien.Asegúrese de que el "soporte" del modelo (el rango de las variables predictoras utilizadas para construir el modelo) se comprenda bien y verifique si las nuevas situaciones que usan el modelo están prediciendo fuera de ese rango de "soporte".Cuando haya recopilado suficientes datos nuevos, los modelos se pueden volver a entrenar, por lo que debe comparar el modelo antiguo con el nuevo modelo para ver si están haciendo predicciones similares o diferentes.
¿Qué tipo de computadora/máquina se necesita para trabajar en modelos AI/ML? ¿Se puede hacer en una computadora portátil con suficiente RAM?
cameron: Realmente depende de lo que estés haciendo. No todo el aprendizaje automático se realiza con grandes conjuntos de datos y modelos que contienen millones de parámetros. Probablemente tenga suficiente potencia de procesamiento en su teléfono inteligente para hacer una gran cantidad de AI/ML. Una vez que comience a trabajar con conjuntos de datos que tienen incluso decenas de gigabytes de tamaño, es posible que comience a encontrarse con las limitaciones de lo que puede hacer en una PC, incluso si está procesando los datos en lotes. Si está realizando un aprendizaje profundo con imágenes o videos, entonces la computación en GPU y en paralelo se vuelven muy importantes; en ese momento, probablemente esté utilizando recursos informáticos compartidos dentro de su organización o utilizando servicios basados en la nube. Google Colaboratory es una forma fácil y gratuita de acceder a la informática GPU para el aprendizaje profundo.También puede pagar por el acceso a niveles más altos de potencia informática de GPU en ese servicio.
Jasón: ¿Qué tipo de modelos de ML quieres usar?¿Cuántos datos tienes? Muchos de los ejercicios de modelado que he realizado han sido en una estación de trabajo portátil: procesador de cuatro núcleos, 32 GB de RAM, etc. Trabajé en un proyecto de detección de defectos donde usamos Redes neuronales convolucionales para identificar defectos de fabricación de las imágenes de la cámara en proceso. Construimos PC para juegos personalizadas de alta gama para abordar este problema y estábamos buscando una implementación de servidor antes de que dejara el proyecto. La mayor diferencia entre la estación de trabajo de mi computadora portátil y la máquina de juegos es la tarjeta gráfica. Si planea realizar análisis de imágenes y/o computación GPU, es posible que una tarjeta gráfica de computadora portátil no sea suficiente. Si la velocidad y la memoria son un problema, es posible que desee utilizar un servidor o investigar la informática distribuida.
¿Cuál es la herramienta/técnica (limpieza, combinación, modelado u otra) que más te ha ayudado a desarrollar en tu carrera?
cameron: La curiosidad, la voluntad de probar cosas difíciles, la tenaz determinación de descubrir formas de superar los obstáculos y aprender haciendo han sido mucho más importantes que cualquier herramienta y técnica específica. Recoges lo que necesitas en el camino.
Jasón: Antes JMP tenía la utilidad Recode, creo que una herramienta que me ayudó fue aprovechar los arreglos y matrices para la limpieza de datos.Es asombroso lo que un poco de matemática matricial, manipulación matricial y/o indexación lógica en un script pueden hacer para encontrar y solucionar problemas en los datos. Regular Expressions es otra herramienta que marcó una gran diferencia en mi carrera con respecto a la limpieza/eliminación de datos de texto. Ahora que tenemos Recode, ¡esta es mi herramienta de limpieza de datos favorita!Admite expresiones regulares para texto y puede encontrar fácilmente problemas en datos numéricos. Dado que puede guardar los resultados como una fórmula, recode realiza automáticamente la mayoría de las secuencias de comandos que solía hacer.Las utilidades Explore Outliers y Explore Patterns también hacen mucho de lo que solía manejar con scripts para la limpieza de datos. ¡Todos son grandes ahorradores de tiempo!Sobre todo, diría que el uso de datos, a saber, en todas las etapas del flujo de trabajo analítico para descubrir la historia detrás de los datos, ha tenido el mayor impacto en mi carrera.
Sam: Honestamente, hacer buenos gráficos de datos es probablemente lo más efectivo que puedo hacer. Si lo pones en una imagen, contará la historia de los datos y el problema. La segunda herramienta más importante es la escritura: comunicar los resultados de un análisis, resumir lo que se aprendió y hacer recomendaciones para acciones futuras. Si no lo escribe, la gente no recordará ni sabrá lo que pasó.
¿Cómo se puede convencer a las industrias químicas o farmacéuticas que basan sus procesos (operación y control) en modelos mecanicistas para que salten a alternativas de caja negra?¿Son los enfoques híbridos el primer paso?
cameron: ¿Los modelos mecanicistas los están frenando de alguna manera? Para mí, un modelo mecanicista siempre es preferible cuando está al alcance de la mano. Al igual que no necesitas educación física para entender lo que sucederá cuando lanzas una pelota, una computadora puede aprender cómo funciona algo al ver muchos ejemplos. Sin embargo, si conoce todos los cálculos físicos y los valores de los parámetros, necesitará pocos o ningún dato para hacer predicciones precisas. Cuanto mejor desgloses una situación en principios básicos, menos datos necesitarás y menos tendrás que preocuparte por la extrapolación.Los modelos basados en datos (lo usaré en lugar de la "caja negra") son increíblemente útiles para solucionar las lagunas de conocimiento o aproximarse a las complejidades. Si obtener una respuesta del 100 % llevaría meses, pero puede usar un modelo basado en datos para obtener una respuesta del 95 % en este momento, ¿qué elegiría? ¿Cuál es el costo de oportunidad con la primera opción (piense en lo que podría hacer con todo ese tiempo extra)?
Teníamos preguntas sobre qué auriculares usaba Sam (un Plantronics 655 DSP) y cómo conseguir su libro.El libro electrónico se puede pedir directamente a Prensa SAS y las copias impresas están disponibles en Amazonas .¡La segunda edición está en progreso y debería estar disponible en 2021!
Puedes ver la versión on-demand de este episodio de Estadísticamente hablando y lee un extracto del capítulo de ciencia de Datos oscuros.Ser capaz de categorizar y manejar mejor todos los datos oscuros hará que sus modelos sean mucho más útiles. ¡Agradecemos a nuestros televidentes por hacer preguntas tan buenas y agradecemos a Cameron, Sam y Jason por compartir más de su experiencia!
