En el reciente Hablando estadísticamente sobre la desmitificación del aprendizaje automático y la inteligencia artificial, el reconocido autor, estadístico y educador, el plenario de apertura de David Hand preparó el escenario para una discusión muy interesante con nuestros panelistas expertos: Cameron Willden, estadístico de WL Sangre; Sam Gardner, fundador de Wildstats Consulting; y Jason Wiggins, ingeniero de sistemas senior de JMP.
En el Publicación anterior , nuestros panelistas respondieron preguntas sobre la experiencia y la capacitación que recibimos durante el evento de transmisión en vivo.En esta publicación, comparten sus pensamientos sobre preguntas sobre datos y modelado.La primera pregunta es acertadamente sobre datos oscuros, que es el nombre del último libro de David Hand, Datos oscuros: por qué importa lo que no sabes (muy recomendable).
Lo opuesto a los datos oscuros son los datos brillantes. ¿No es una rareza?
Sam: A menudo, en las primeras etapas del viaje de ciencia de datos de una organización, descubren que tienen muchos problemas de datos oscuros.El principal problema a resolver es cómo obtener los datos correctos. Las organizaciones que realmente quieran resolver problemas, y resolverlos bien, tendrán enfoques, estrategias y sistemas que les permitan generar y recopilar datos "brillantes" y buenos.
¿Puede JMP "ajustar" sólo los datos faltantes, por ejemplo, con máquinas de vectores de soporte o GenReg? ¿Usar de alguna manera la estructura de los datos faltantes con los datos existentes para ajustarlos, algo así como un ajuste inverso?Esto sería diferente de "falta informativa".
Jason: Verificaría la imputación multivariante de SVD y la imputación de datos automatizada en la utilidad Explore Missing Values y vería si estos hacen lo que espera.
Sam: JMP y JMP Pro puede hacer una imputación múltiple que se basa en la estructura de correlación de los datos.Consulte la ayuda en línea para Imputar datos faltantes y Explore los valores perdidos .
¿Qué tipo de modelo de aprendizaje automático podemos usar para abordar datos de múltiples etiquetas que no son mutuamente excluyentes?
Cameron: Si lo entiendo correctamente, puede lograrlo simplemente teniendo múltiples respuestas.Por ejemplo, un modelo puede procesar una imagen para clasificar a alguien como viejo o joven, y separadamente como hombre y mujer.
¿Cuál es la mejor manera de abordar el modelado predictivo para los resultados de un proceso con alta variabilidad en los datos del proceso?
Cameron: La mejor manera de superar la alta variabilidad es con un gran volumen de datos, por ejemplo, el error estándar de una media tiene la raíz cuadrada del tamaño de la muestra en el denominador.
Jason: Identificar fuentes de variación del proceso; invertir en medir y recopilar datos de ellos de forma continua. ¿Cuántas entradas de proceso críticas se miden en su proceso? ¿Hay suficientes datos para describir adecuadamente la variación en los productos? He participado y liderado proyectos destinados a comprender problemas como este.Pueden ser complicados, pero son necesarios.Modelar no es magia. Necesita buena información para tener éxito. Invertiría aquí primero antes de sumergirme en modelos esotéricos.
Cuando desee entrenar un nuevo modelo en un pequeño conjunto de datos para obtener las recompensas antes (ahorro de dinero), ¿cuáles son algunos buenos consejos prácticos para hacer esto, incluso si se trata de usar un modelo menos que perfecto, pero uno que es " suficientemente bueno."
Cameron: En el ámbito del aprendizaje profundo, el aprendizaje por transferencia ofrece una forma de hacer mucho más con menos.Los experimentos diseñados son otra forma de obtener más información sobre las relaciones por punto de datos porque planifica los puntos de tal manera que se minimiza la cantidad de información redundante.Es decir, generalmente tiene muy poca correlación entre factores y, por lo tanto, la variación de los factores de inflación es igual o muy cercana a 1.
Jason: Las estrategias como "dejar uno fuera" o la validación cruzada de k veces pueden ser útiles cuando se entrena un modelo en conjuntos de datos más pequeños para evitar un ajuste excesivo.He tenido éxito con modelos de regresión penalizados en pequeños conjuntos de datos utilizando ambas estrategias de validación cruzada.Cuando construye un modelo, ¿con qué frecuencia está comprobando lo real frente a lo previsto? Si sus predicciones son adecuadas para tomar decisiones comerciales, el modelo puede ser "suficientemente bueno".
En su experiencia, ¿cuál es el porcentaje de tiempo en el que necesita aplicar un modelo de aprendizaje continuo / iterativo frente al modelo fuera de línea / único para resolver problemas?¿Cuáles son los pros y los contras de cada uno?
Cameron: Eso variará ampliamente según el área de aplicación. Si estoy modelando la demanda de un producto en función de los indicadores principales, debo esperar absolutamente que esas relaciones evolucionen con el tiempo. Hacer que mi modelo producido evolucione y se adapte con el tiempo sería muy ventajoso. Si estoy modelando salidas de máquina basadas en un montón de propiedades físicas, entonces las relaciones probablemente se mantendrán estables con el tiempo y no necesito preocuparme tanto por el aprendizaje en línea. La excepción podría ser si quiero que las estimaciones de los parámetros de mi modelo sean más precisas con el tiempo a medida que ingresan más datos.
Cuando no esté allí para investigar / observar el proceso, es posible que se pierda la causa del problema; Además, COVID complica esto. Como investigadores / solucionadores de problemas / científicos de datos, ¿qué hacemos cuando no podemos estar "allí" para recopilar los datos?
Cameron: Buena pregunta, y lo único que realmente puedo pensar en decir es averiguar cómo involucrar a las personas que recopilaron los datos en el análisis de los datos. Incluso si no tienen experiencia en analítica, probablemente puedan entender un análisis gráfico lo suficientemente bien como para participar en una discusión y aportar ideas de su experiencia de primera mano para contribuir a la discusión e interpretación.
Jason: ¡Esta es una pregunta difícil!¿Existen herramientas virtuales que pueda utilizar para ver el proceso? ¿Quién ejecuta el proceso? ¿Se les puede capacitar para hacer observaciones sobre el proceso que puedan explicar los problemas que surgen en los datos?¿Puedes hacer caminatas de procesos virtuales?
La abundancia de datos puede conducir a la falsa seguridad de que los datos son imparciales.¿Cuáles son los pasos de mitigación del uso de una gran cantidad de datos sesgados mientras llegan nuevos datos hipotéticos?
Sam: Prueba tus modelos.Siempre mire para ver si el modelo que desarrolló todavía predice bien.Asegúrese de que el "soporte" del modelo (el rango de las variables predictoras utilizadas para construir el modelo) se comprenda bien y verifique si las nuevas situaciones que usan el modelo predicen fuera de ese rango de "soporte".Cuando haya recopilado suficientes datos nuevos, los modelos pueden volver a capacitarse, por lo que debe comparar el modelo antiguo con el modelo nuevo para ver si están haciendo predicciones similares o diferentes.
¿Qué tipo de computadora / máquina se necesita para trabajar en modelos AI / ML? ¿Se puede hacer en una computadora portátil con amplia RAM?
Cameron: Realmente depende de lo que estés haciendo. No todo el AA se realiza con grandes conjuntos de datos y modelos que contienen millones de parámetros. Probablemente tenga suficiente potencia de procesamiento en su teléfono inteligente para hacer mucho AI / ML. Una vez que comience a trabajar con conjuntos de datos que tengan incluso decenas de gigabytes de tamaño, es posible que comience a encontrarse con las limitaciones de lo que puede hacer en una PC, incluso si está procesando los datos en lotes. Si está realizando un aprendizaje profundo con imágenes o video, entonces la computación en paralelo y GPU se vuelve muy importante; en ese momento, probablemente esté utilizando recursos informáticos compartidos dentro de su organización o utilizando servicios basados en la nube. Google Colaboratory es una forma fácil y gratuita de acceder a la informática GPU para el aprendizaje profundo.También puede pagar por el acceso a niveles más altos de potencia informática de GPU en ese servicio.
Jason: ¿Qué tipo de modelos de aprendizaje automático desea utilizar?Cuantos datos tienes Muchos de los ejercicios de modelado que he realizado se han realizado en una estación de trabajo portátil: procesador de cuatro núcleos, 32 GB de RAM, etc. Trabajé en un proyecto de detección de defectos donde usamos Redes neuronales convolucionales para identificar defectos de fabricación de la alimentación de la cámara en proceso. Creamos PC de juegos personalizados de alta gama para abordar este problema y estábamos buscando una implementación de servidor antes de dejar el proyecto. La mayor diferencia entre mi estación de trabajo portátil y la máquina de juegos es la tarjeta gráfica. Si planea hacer análisis de imágenes y / o computación GPU, una tarjeta gráfica de computadora portátil puede no ser suficiente. Si la velocidad y la memoria son un problema, es posible que desee utilizar un servidor o investigar la computación distribuida.
¿Cuál es la herramienta / técnica (limpieza, combinación, modelado o de otro tipo) que más te ha ayudado a desarrollarte en tu carrera?
Cameron: La curiosidad, la voluntad de intentar cosas difíciles, la determinación obstinada de encontrar formas de superar los obstáculos y aprender haciendo han sido mucho más importantes que cualquier herramienta y técnica específicas. Recoge lo que necesita en el camino.
Jason: antes de JMP tenía la utilidad Recode, creo que una herramienta que me ayudó fue aprovechar las matrices y las matrices para la limpieza de datos.Es sorprendente lo que puede hacer un poco de matemáticas matriciales, manipulación de matrices y / o indexación lógica en un script para encontrar y solucionar problemas en los datos. Regular Expressions es otra herramienta que ha marcado una gran diferencia en mi carrera con respecto a la limpieza / modificación de datos de texto. Ahora que tenemos Recode, esta es mi herramienta de limpieza de datos favorita.Admite expresiones regulares para texto y puede encontrar fácilmente problemas en datos numéricos. Como puede guardar los resultados como una fórmula, recodificar automáticamente hace la mayoría de las secuencias de comandos que solía hacer.Las utilidades Explore Outliers y Explore Patterns también hacen mucho de lo que solía manejar con scripts para la limpieza de datos. ¡Todos ahorran mucho tiempo!Sobre todo, diría que utilizar la visualización de datos en todas las etapas del flujo de trabajo analítico para descubrir la historia detrás de los datos ha tenido el mayor impacto en mi carrera.
Sam: Honestamente, hacer buenos gráficos de datos es probablemente lo más efectivo que puedo hacer. Si lo pones en una imagen, contará la historia de los datos y el problema. La segunda herramienta más importante es la redacción: comunicar los resultados de un análisis, resumir lo aprendido y hacer recomendaciones para acciones futuras. Si no lo escribe, la gente no recordará ni sabrá lo que sucedió.
¿Cómo se puede convencer a las industrias química o farmacéutica que basan sus procesos (operación y control) en modelos mecanicistas para saltar a alternativas de caja negra?¿Son los enfoques híbridos el primer paso?
Cameron: ¿Los modelos mecanicistas los están frenando de alguna manera? Para mí, un modelo mecanicista siempre es preferible cuando está al alcance de la mano. Al igual que no necesita una educación física para comprender lo que sucederá cuando lance una pelota, una computadora puede aprender cómo funciona algo al ver muchos ejemplos. Sin embargo, si conoce todos los cálculos físicos y los valores de los parámetros, necesitará pocos datos, si es que los necesita, para hacer predicciones precisas. Cuanto mejor descomponga una situación en los primeros principios, menos datos necesitará y menos tendrá que preocuparse también por la extrapolación.Los modelos basados en datos (los usaré en lugar de "caja negra") son increíblemente útiles para solucionar las lagunas de conocimiento o para aproximar las complejidades. Si obtener una respuesta del 100% llevaría meses, pero puede usar un modelo basado en datos para obtener una respuesta del 95% ahora mismo, ¿qué elegiría? ¿Cuál es el costo de oportunidad con la primera opción (piense en lo que podría hacer con todo ese tiempo extra)?
Tuvimos preguntas sobre qué auriculares usaba Sam (un Plantronics 655 DSP) y cómo conseguir su libro.El libro electrónico se puede pedir directamente a Prensa SAS y copias impresas están disponibles en Amazonas .¡La segunda edición está en progreso y debería estar disponible en 2021!
Puedes ver la versión a pedido de este episodio de Hablando estadísticamente y leer un extracto del capítulo de ciencia de Datos oscuros.Ser capaz de categorizar y manejar mejor todos los datos oscuros hará que sus modelos sean mucho más útiles. Agradecemos a nuestros espectadores por hacer tan buenas preguntas, y agradecemos a Cameron, Sam y Jason por compartir más de su experiencia.
