Dans le récent Statistiquement parlant sur la démystification de l'apprentissage automatique et de l'intelligence artificielle, l'auteur renommé, statisticien et éducateur, la séance plénière d'ouverture de David Hand a préparé le terrain pour une discussion très intéressante avec nos panélistes experts: Cameron Willden, statisticien chez WL Sang; Sam Gardner, fondateur de Wildstats Consulting; et Jason Wiggins, ingénieur système senior chez JMP.
dans le post précédent , nos panélistes ont répondu aux questions sur l'expertise et la formation que nous avons reçues pendant l'événement en direct.Dans cet article, ils partagent leurs réflexions sur les questions relatives aux données et à la modélisation.La première question porte à juste titre sur les données sombres, qui est le nom du dernier livre de David Hand, Dark Data: pourquoi ce que vous ne savez pas est important (hautement recommandé).
Le contraire des données sombres est des données claires. N'est-ce pas une rareté?
Sam: Souvent, au tout début du parcours de science des données d'une organisation, ils découvrent qu'ils rencontrent de nombreux problèmes de données sombres.Le principal problème à résoudre est de savoir comment obtenir les bonnes données. Les organisations qui veulent vraiment résoudre les problèmes - et les résoudre correctement - auront des approches, des stratégies et des systèmes qui leur permettront de générer et de collecter des données «brillantes» et de bonne qualité.
JMP peut-il "ajuster" uniquement les données manquantes, par exemple avec des machines vectorielles de support ou GenReg? Utiliser d'une manière ou d'une autre la structure des données manquantes avec les données existantes pour les ajuster - un peu comme un ajustement inverse?Ce serait différent de «manquant informatif».
Jason: Je vérifierais l'imputation SVD multivariée et l'imputation automatisée de données dans l'utilitaire Explorer les valeurs manquantes et voir si celles-ci feront ce que vous espérez.
Sam: JMP et JMP Pro peut effectuer une imputation multiple basée sur la structure de corrélation des données.Consultez l'aide en ligne pour Imputer les données manquantes et Explorer les valeurs manquantes .
Quel type de modèle d'apprentissage automatique pouvons-nous utiliser pour traiter des données multi-étiquettes qui ne s'excluent pas mutuellement?
Cameron: Si je vous comprends bien, vous pouvez accomplir cela simplement en ayant plusieurs réponses.Par exemple, un modèle peut traiter et faire une image pour classer quelqu'un comme vieux ou jeune, et séparément comme homme et femme.
Quelle est la meilleure façon d'aborder la modélisation prédictive pour un ou plusieurs extrants de processus avec une variabilité élevée des données de processus?
Cameron: La meilleure façon de surmonter une forte variabilité est d'utiliser un grand volume de données, par exemple, l'erreur standard d'une moyenne a la racine carrée de la taille de l'échantillon dans le dénominateur.
Jason: Identifier les sources de variation de processus; investir dans leur mesure et leur collecte de données en continu. Combien d'entrées de processus critiques sont mesurées dans votre processus? Y en a-t-il suffisamment pour décrire correctement la variation des extrants? J'ai participé et dirigé des projets visant à comprendre des problèmes comme celui-ci.Ils peuvent être délicats, mais ils sont nécessaires.La modélisation n'est pas magique. Vous avez besoin de bonnes informations pour réussir. J'investirais ici avant de me plonger dans les modèles ésotériques.
Lorsque vous souhaitez former un nouveau modèle sur un petit ensemble de données afin d'obtenir les récompenses plus tôt (économie d'argent), quels sont quelques bons conseils pratiques pour le faire - même s'il s'agit d'utiliser un modèle moins que parfait, mais qui est " assez bien."
Cameron: Dans le domaine de l'apprentissage profond, l'apprentissage par transfert offre un moyen de faire beaucoup plus avec moins.Les expériences conçues sont un autre moyen d'obtenir plus d'informations sur les relations par point de données, car vous planifiez les points de manière à minimiser la quantité d'informations redondantes.Autrement dit, vous avez généralement très peu de corrélation entre les facteurs, et donc des facteurs d'inflation de variance égaux ou très proches de 1.
Jason: Des stratégies telles que «laisser un de côté» ou la validation croisée du facteur k peuvent être utiles lors de l'apprentissage d'un modèle sur des ensembles de données plus petits pour éviter le sur-ajustement.J'ai eu du succès avec des modèles de régression pénalisés sur de petits ensembles de données en utilisant les deux stratégies de validation croisée.Lorsque vous créez un modèle, à quelle fréquence vérifiez-vous le réel par rapport aux prévisions? Si vos prédictions permettent de prendre des décisions commerciales, le modèle peut être «assez bon».
D'après votre expérience, quel est le pourcentage de temps pendant lequel vous devez appliquer un modèle d'apprentissage continu / itératif par rapport à un modèle hors ligne / unique pour résoudre des problèmes?Quels sont les avantages et les inconvénients de chacun?
Cameron: Cela variera considérablement selon le domaine d'application. Si je modélise la demande d'un produit sur la base d'indicateurs avancés, je dois absolument m'attendre à ce que ces relations évoluent avec le temps. Faire évoluer et adapter mon modèle en production au fil du temps serait très avantageux. Si je modélise les sorties de la machine en fonction d'un ensemble de propriétés physiques, les relations resteront probablement stables au fil du temps et je n'ai pas besoin de m'inquiéter autant de l'apprentissage en ligne. L'exception pourrait être si je souhaite que les estimations des paramètres de mon modèle deviennent plus précises au fil du temps à mesure que davantage de données arrivent.
Lorsque vous n'êtes pas là pour enquêter / surveiller le processus, vous pouvez manquer la cause du problème; aussi, COVID complique cela. En tant que chercheurs / résolveurs de problèmes / scientifiques des données, que faisons-nous lorsque nous ne pouvons pas être «là» pour collecter les données?
Cameron: Bonne question, et la seule chose que je peux vraiment penser à dire est de savoir comment impliquer les personnes qui ont collecté les données dans l'analyse des données. Même s'ils n'ont aucune expérience en analytique, ils peuvent probablement comprendre suffisamment bien une analyse graphique pour participer à une discussion et faire part de leur expérience de première main pour contribuer à la discussion et à l'interprétation.
Jason: Ceci est une question difficile!Existe-t-il des outils virtuels que vous pouvez utiliser pour voir le processus? Qui dirige le processus? Peuvent-ils être formés pour faire des observations sur le processus qui peuvent expliquer les problèmes qui apparaissent dans les données?Pouvez-vous faire des parcours de processus virtuels?
L'abondance de données peut conduire à la fausse sécurité que les données sont impartiales.Quelles sont les étapes d'atténuation de l'utilisation d'une abondance de données biaisées alors que de nouvelles données contrefactuelles arrivent?
Sam: Testez vos modèles.Regardez toujours pour voir si le modèle que vous avez développé prédit toujours bien.Assurez-vous que le «support» du modèle (la plage des variables prédictives utilisées pour construire le modèle) est bien compris et vérifiez si de nouvelles situations qui utilisent le modèle prédisent en dehors de cette plage de «support».Lorsque vous avez collecté suffisamment de nouvelles données, les modèles peuvent être recyclés, vous devez donc comparer l'ancien modèle avec le nouveau modèle pour voir s'ils font des prédictions similaires ou différentes.
Quel type d'ordinateur / de machine est nécessaire pour travailler sur des modèles AI / ML? Cela peut-il être fait sur un ordinateur portable avec suffisamment de RAM?
Cameron: Cela dépend vraiment de ce que vous faites. Tout le ML ne se fait pas avec d'énormes ensembles de données et des modèles contenant des millions de paramètres. Vous avez probablement suffisamment de puissance de traitement sur votre téléphone intelligent pour faire beaucoup d'IA / ML. Une fois que vous commencez à travailler avec des ensembles de données d'une taille égale à des dizaines de gigaoctets, vous pouvez alors commencer à rencontrer les limites de ce que vous pouvez faire sur un PC, même si vous traitez les données par lots. Si vous effectuez un apprentissage profond avec des images ou des vidéos, le calcul parallèle et GPU devient très important; à ce stade, vous utilisez probablement des ressources informatiques partagées au sein de votre organisation ou des services cloud. Google Colaboratory est un moyen gratuit et facile d'accéder à l'informatique GPU pour un apprentissage en profondeur.Vous pouvez également payer pour accéder à des niveaux supérieurs de puissance de calcul GPU sur ce service.
Jason: Quel type de modèles ML souhaitez-vous utiliser?De combien de données disposez-vous? La plupart des exercices de modélisation que j'ai effectués l'ont été sur une station de travail portable: processeur quad core, 32 Go de RAM, etc. J'ai travaillé sur un projet de détection de défauts où nous avons utilisé Réseaux de neurones convolutifs pour identifier les défauts de fabrication des alimentations des caméras en cours Nous avons construit des PC de jeu personnalisés haut de gamme pour résoudre ce problème et nous recherchions un déploiement de serveur avant de quitter le projet. La plus grande différence entre mon ordinateur portable et la machine de jeu est la carte graphique. Si vous envisagez de faire de l'analyse d'image et / ou du calcul GPU, une carte graphique d'ordinateur portable peut ne pas suffire. Si la vitesse et la mémoire sont un problème, vous pouvez utiliser un serveur ou étudier l'informatique distribuée.
Quel est l'outil / la technique (nettoyage, combinaison, modelage ou autre) qui vous a le plus aidé à évoluer dans votre carrière?
Cameron: La curiosité, la volonté d'essayer des choses difficiles, la détermination acharnée à trouver des moyens de surmonter les obstacles et l'apprentissage par la pratique ont été bien plus importants que les outils et techniques spécifiques. Vous récupérez ce dont vous avez besoin en cours de route.
Jason: Avant JMP avait l'utilitaire Recode, je pense qu'un outil qui m'a aidé était de tirer parti des tableaux et des matrices pour le nettoyage des données.C'est incroyable ce qu'un peu de maths matricielles, de manipulation de matrices et / ou d'indexation logique dans un script peuvent faire pour trouver et résoudre des problèmes dans les données. Les expressions régulières sont un autre outil qui a fait une grande différence dans ma carrière en ce qui concerne le nettoyage / la fusion de données textuelles. Maintenant que nous avons Recode, c'est mon outil de nettoyage de données préféré!Il prend en charge les expressions régulières pour le texte et peut facilement trouver des problèmes dans les données numériques. Comme vous pouvez enregistrer les résultats sous forme de formule, recode effectue automatiquement la plupart des scripts que j'avais l'habitude de faire.Les utilitaires Explore Outliers et Explore Patterns font également beaucoup de ce que j'avais l'habitude de gérer avec des scripts pour le nettoyage des données. Tous sont de gros gains de temps!Par-dessus tout, je dirais que l'utilisation de données à travers toutes les étapes du flux de travail analytique pour débloquer l'histoire derrière les données a eu le plus grand impact sur ma carrière.
Sam: Honnêtement, faire de bons graphiques de données est probablement la chose la plus efficace que je puisse faire. Si vous le mettez dans une image, il racontera l'histoire des données et du problème. Le deuxième outil le plus important est la rédaction: communiquer les résultats d'une analyse, résumer ce qui a été appris et faire des recommandations pour de nouvelles actions. Si vous ne l'écrivez pas, les gens ne se souviendront pas ou ne sauront pas ce qui s'est passé.
Comment convaincre les industries chimiques ou pharmaceutiques qui basent leurs processus (fonctionnement et contrôle) sur des modèles mécanistes de se lancer dans des alternatives de type boîte noire?Les approches hybrides sont-elles la première étape?
Cameron: Les modèles mécanistes les retiennent-ils d'une manière ou d'une autre? Pour moi, un modèle mécaniste est toujours préférable lorsqu'il est bien à portée de main. Tout comme vous n'avez pas besoin d'une formation en physique pour comprendre ce qui se passe lorsque vous lancez une balle, un ordinateur peut apprendre comment quelque chose fonctionne en voyant de nombreux exemples. Cependant, si vous connaissez tous les calculs physiques et les valeurs des paramètres, vous n'avez besoin que de peu de données, voire aucune, pour faire des prédictions précises. Mieux vous décomposez une situation en principes de base, moins vous avez besoin de données et moins vous devez vous soucier de l'extrapolation.Les modèles basés sur les données (j'utiliserai cela plutôt que la «boîte noire») sont incroyablement utiles pour contourner les lacunes dans les connaissances ou pour se rapprocher des complexités. Si obtenir une réponse à 100% prendrait des mois, mais que vous pouvez utiliser un modèle basé sur les données pour obtenir une réponse à 95% dès maintenant, que choisiriez-vous? Quel est le coût d'opportunité avec la première option (pensez à ce que vous pourriez faire avec tout ce temps supplémentaire)?
Nous avions des questions sur le casque utilisé par Sam (un Plantronics 655 DSP) et sur la façon d'obtenir son livre.Le livre électronique peut être commandé directement auprès de Presse SAS et des copies papier sont disponibles sur Amazone .La deuxième édition est en cours et devrait être disponible en 2021!
Vous pouvez regarder la version à la demande de cet épisode de Statistiquement parlant et lisez un extrait du chapitre scientifique de Données sombres.Être capable de catégoriser et de mieux gérer toutes les données sombres rendra vos modèles beaucoup plus utiles. Nous remercions nos téléspectateurs d'avoir posé de si bonnes questions, et nous remercions Cameron, Sam et Jason d'avoir partagé davantage de leur expertise!
