Dark data, experiencia, modelado: cubrimos una variedad de temas en octubre . 1 Estadísticamente hablando . david mano dio un brillante plenario hablar y preparar el escenario para un gran panel de discusión advirtiéndonos recordar que se requiere pensar y ser consciente de todos los datos oscuros allí afuera — el datos que no vemos, pero que necesitamos tener en cuenta . Datos oscuros: por qué lo que no sabes METRO importa es su último libro (ver un entrada en el blog acerca de él ; si no lo has leído , puedes obtener una muestra extracto ).
Los panelistas incluyeron a Cameron Willden , estadístico en WL Gore, que apoya a los ingenieros y científicos de muchas líneas de productos diferentes; Sam Gardner, fundador de Estadísticas salvajes Consultante , con más de 30 años de experiencia haciendo problemas estadísticos resolviendo para gobierno y industria; y JMP Jason Wiggins , un veterano de 20 años de US Synthetic con experiencia en optimización de procesos, análisis de sistemas de medición y modelado predictivo/minería de datos.
Nos quedamos sin tiempo antes de que pudiéramos responder a todas las preguntas de la audiencia de la transmisión en vivo , pero nuestros panelistas han accedido amablemente a proporcionar respuestas a muchas de ellas , compartiendo aún más la sabiduría de sus experiencias colectivas . El preguntas se agrupan por tema — había tantos, estamos haciendo dos publicaciones . En esta primera parte, nos se centrará en todas las preguntas sobre experiencia y formación. Parte T wo cubrirá preguntas sobre modelado y datos.
La ciencia de datos parece estar permitiendo que muchas personas que no están capacitadas analíticamente obtengan trabajos analíticos. ¿Cuáles son sus pensamientos sobre esto?
cameron : Si la gente está haciendo ciencia de datos pero todo lo que saben es, “Pones los datos en este extremo y obtienes la respuesta en este extremo”, las personas que toman decisiones basadas en ese trabajo se encontrarán con un mundo de dolor.No tengo miedo de democratizar todo tipo de análisis, pero la gente aún necesita tener una buena comprensión básica de las estadísticas y las limitaciones de cada herramienta en su caja de herramientas. Más precisamente, deberían poder reconocer de manera confiable cuándo están a punto de entrar en conflicto con esas limitaciones en el mundo real. Llegar a ese punto no requieren un maestría grado en estadística ístico s o metro achine yo ganador (ML ) pero llegar allí a través de una combinación de capacitación formal y aprendizaje informal me parece realista.
Sam: En conjunto , me parece que esto es algo bueno. innovadores (como JMP !) Haber creado realmente maravilloso herramientas de software eso han permitido una "democratización" de la analítica, donde las habilidades primarias requerían un re menos sobre programación y matemáticas, y más sobre resolución de problemas, trabajo en equipo, negocios u organización perspicacia y comunicación. Hay más problemas que resolver eso norte hay gente para resolverlos actualmente, y lo que necesitan las organizaciones son personas que tengan un alto “cociente analítico” (AQ). Los empleados con alto AQ pueden provenir de una variedad de orígenes y tener un conjunto variado de habilidades, pero aún así todos necesitan comprender las ideas fundamentales en la ciencia de datos. .
Creo que existe la noción de que los científicos de datos no necesitan saber estadísticas. Siento que es una tendencia peligrosa. ¿Cuál es tu opinión?
Sam: Aunque, como respondí anteriormente, tener personas con un AQ alto y acceso a buenas herramientas de software puede permitir que una empresa haga ciencia de datos en toda la empresa, aún necesita un grupo de personas con un conocimiento profundo de las ciencias matemáticas. La razón de esto es que son el equipo central que desarrollará mejores herramientas y procesos internos para la ciencia de datos. . A a medida que crece el negocio i t s AQ, los problemas fáciles se resolverán y los problemas restantes a menudo requieren un enfoque más técnico. mi experiencia resolver. Además, los estadísticos suelen tener un agudo sentido de cómo resolver esos problemas difíciles. Entonces sí, i t's bueno para su organización tener acceso a un estadístico, y d no solo asuma que puede hacer crecer su organización ' s AQ sin la ayuda y los servicios de un estadístico .
Jasón: he observado que la gente que es buena analistas tienen una compulsión por entender lo que están haciendo , lo que significa aprender la estadística ístico s. Es aparente en una presentación o informe técnico cuando alguien tiene un conocimiento profundo de qué ellos son comunicado . ¿Saben lo suficiente como para comunicar los resultados y los métodos de forma sencilla y responder a las preguntas difíciles que siguen? No creo que todos los científicos de datos deban tener el conocimiento de una matemática estadístico, pero deben tener una base bastante buena en teoría y aplicación. de las herramientas que utilizan .También creo que hay una distinción entre los científicos de datos que son analistas y los que son arquitectos de datos. En algunas empresas con las que interactúo , estas son diferentes funciones de trabajo con diferentes liderazgo, pero ambos se conocen como científicos de datos . El los arquitectos de datos pueden no necesitar tanta comprensión de la estadística ístico s como los analistas, pero deberían tener suficiente para guiar su trabajo.¡Todos pueden beneficiarse de un mejor conocimiento de las estadísticas! ¿Por qué solo exigirlo a los científicos de datos y estadísticos?
Necesito ayuda en los campos de ML y AI. ¿Necesito contratar a alguien con experiencia en el dominio comercial, o puedo brindárselo simplemente a un científico de datos talentoso con experiencia en ML e IA? Tengo algunas estadísticas básicas y habilidades de ciencia de datos.
cameron: Los científicos de datos a menudo se definen como personas que tienen estadísticas sólidas. ístico s/análisis, programación y dominio pericia , pero afortunadamente, este último generalmente se adquiere en el trabajo y al nivel necesario para ser efectivo. Como estadístico industrial en Gore a partir de el división de telas, tuve que aprender mucho sobre textiles, laminación y manejo web ; pero pude aprender lo suficiente después de unas pocas semanas para comenzar a hacer preguntas a los ingenieros no había pensó en preguntar sobre su proceso. Al asociarse con ellos, pudieron llenar muchos de los vacíos de conocimiento que tenía. para poder nosotros para crear colectivamente una estrategia efectiva para resolver su problema. Pasé por la misma experiencia en nuestro METRO edical PAG división de productos, HORA , y ahora más recientemente , S suministro C hainEs posible que encuentre un candidato que hizo una licenciatura en su dominio pero completó un título de posgrado en estadística ístico s/ML/ciencia de datos. Eso me parece una rara excepción y podrías esperar una eternidad para encontrar a ese candidato.
Jasón: Rara vez tuve el lujo de contratar a alguien con dominio y ciencia de datos o incluso resolución básica de problemas estadísticos. pericia . Busqué personas que son capaz aprendices y tiene demostrado éxito en el aprendizaje de nuevos conceptos . Si un nuevo empleado tiene la aptitud, puede llenar los vacíos en pericia con entrenamiento Creo que tener un sólido en El proceso de embarque con capacitación es fundamental para el éxito de un nuevo empleado. Creo que la mayoría de las empresas tener el conocimiento para entrenar el dominio pericia pero aún puede ser necesario diseñar el plan de estudios y la estructura para entregarlo .Si su empresa no tiene el nivel de habilidad necesario para enseñar ML y habilidades de resolución de problemas estadísticos a alguien con dominio pericia , encuentre buenos consultores con los que asociarse hasta el el nivel general de habilidad alcanza qué es necesarios para enseñar internamente.cada compañia y puede b beneficiarse de tener un profundo po ol de exp ertise en th e estadístico resolución de problemas reino.
Existe un debate en curso sobre si es mejor tener científicos de datos "buenos" con conocimiento del dominio y podría tener un "sesgo" hacia las interpretaciones de datos/resultados en lugar de tener científicos de datos "puros" que puedan colaborar con expertos del dominio. ¿Pensamientos?
cameron: Dominio pericia en mi opinión, siempre superaría las preocupaciones sobre la posibilidad de sesgo . El conocimiento del dominio te ayuda anticipar problemas, entender los matices que tienen un gran impacto e interpretar correctamente los resultados. Sin embargo, lo pienso tiene más sentido contratar en función de las habilidades de análisis y codificación sobre el conocimiento del dominio desde que generalmente se pueden adquirir en el trabajo, apoyándose en otros en su equipo para eso pericia en el intermedio.
Jasón: Me gustaría abordar la segunda parte de la pregunta primero. Si empareja a un científico de datos con expertos en el dominio para resolver problemas comerciales difíciles , ¿No desarrollará el científico de datos un dominio? pericia ? Estoy de acuerdo en que es bueno trabajar en colaboración/de forma cruzada para unir pericia brechas. Necesitamos confiar en nuestros colegas. OMS saber cosas q mi don no . I también pensar él es bueno tener nuevas perspectivas . A al mismo tiempo , Cómo lo sabes cual preguntas para hacer sin conocimiento de dominio? Eso debe venir de alguna parte. ¿Por qué no desarrollar domai? norte experto se en todos , incluido el científico de datos ?Todos los científicos deben ser conscientes del sesgo cognitivo y estar al tanto Estar atento para él personalmente y organizacionalmente. Una buena manera a tratar con Esto es para ser disciplinado en estadística En g objetivos de análisis, hipótesis, suposiciones y brechas potenciales antes de embarcarse en experimentación o análisis. Si usted no , es demasiado fácil para nuestras mentes distorsionar el pensamiento o la intención original para que coincida con lo que es visible actualmente . Distorsiones como esta pueden totalmente mascarilla el eureka ! momentos th en todos anhelamos.
Sam: Por lo general, se necesita un equipo para resolver un problema, y todos los miembros del equipo desempeñan un papel. El científico de datos "puro" puede centrarse en aspectos más técnicos detalles pero necesita poder comunicarse y tener la confianza del resto del equipo. Esa persona también necesita tener buenos negocios. perspicacia , para poder ver el cuadro grande y comprender la política de la situación y la organización. Un buen científico de datos puede también aprender el conocimiento del dominio del negocio para que sean un miembro más eficaz del equipo .
Todos confirmaron que la configuración óptima para el científico de datos/ingeniero de aprendizaje automático es un entorno de equipo. Al buscar un trabajo en esta área, ¿cuáles son las señales de alerta en las descripciones de trabajo?
cameron: La principal señal de alerta es cuando la descripción del trabajo describe un "unicornio" de ciencia de datos y las responsabilidades enumeradas incluyen cosas como ingeniero de datos, ingeniero de aplicaciones, etc. , normalmente lo haría. Busque frases como "funcionalidad cruzada" y "equipo", o descripciones de los tipos de personas con las que estaría trabajando como una indicación de que la organización tiene una función de ciencia de datos madura, o al menos ha considerado cómo son va a crecer esa capacidad.
Incluso cuando la gente habla de IA, ¿siguen utilizando software estadístico como JMP para analizar los datos y crear modelos?
cameron : La IA no siempre requiere una solución personalizada, ¡y ciertamente no siempre son redes neuronales profundas!Hay tantos métodos ML para el aprendizaje supervisado y no supervisado que se pueden hacer muy bien con software de apuntar y hacer clic como JMP .
Sam : Los grandes científicos de datos pueden ser empoderado hacer buen trabajo si tienen las herramientas que les permiten hacer análisis . ¡Sí, muchos científicos de datos tendrán JMP en su caja de herramientas analíticas! Las capacidades de modelado de JMP son diversas y completas, y aunque es posible que no pueda hacer todo lo que necesita hacer en JMP, todavía puede hacer mucho por usted. Combine eso con sus capacidades de visualización y exploración de datos, realmente puede mejorar la velocidad y la calidad del trabajo de IA que se realiza. .
¿Puede recomendar un curso en línea para una introducción al aprendizaje automático?
cameron: Soy un gran admirador del curso de aprendizaje automático de Andrew Ng en Coursera como introducción. Cubre redes neuronales, pero también regresión, regresión logística, máquinas de vectores de soporte, etc. Si quieres aprender más sobre redes neuronales avanzadas, entonces haz la Especialización en Aprendizaje Profundo a través de deeplearning.ai, también en Coursera.El curso de aprendizaje automático de Andrew Ng utiliza un código abierto matlab clon llamado Octave, que probablemente nunca vuelvas a usar. Usarás Python a través de Jupyter Cuadernos para todos los cursos de deeplearning.ai, que es mucho más útil, y también se le presentarán los marcos de ML más populares en Python, como Keras y TensorFlow.
Jasón: He tomado varios módulos de Coursera. Creo que este en Especialización en ciencia de datos es un muy buen lugar para empezar. Hacia la ciencia de datos es un gran recurso , también.
Agradecemos las muchas preguntas de nuestros espectadores. enviado durante la transmisión en vivo de Estadísticamente Hablando, y apreciamos Cameron, Sam y Jason por tomarse el tiempo para compartir sus valioso perspectivas en pericia y entrenamiento.
Tenemos un entrenamiento más sugerencia : Pensamiento estadístico para la resolución de problemas industriales está disponible de JMP así como de Coursera . En la siguiente publicación, nuestros panelistas voluntad a responder preguntas sobre datos y modelado.
Si no tuviste la oportunidad de ver el panel en vivo, puedes ver la grabación de ¿Son suficientes los métodos de Big Data y Machine Learning? en nuestro sitio web.
