Dans le récent Statistiquement parlant sur la démystification de l'apprentissage automatique et de l'intelligence artificielle, la plénière d'ouverture de l'auteur, statisticien et éducateur de renom, David Hand, a ouvert la voie à une discussion très intéressante avec nos panélistes experts : Cameron Willden, statisticien chez WL Sang; Sam Gardner, fondateur de Wildstats Consulting ; et Jason Wiggins, ingénieur système senior chez JMP.
Dans le post précédent , nos panélistes ont répondu aux questions sur l'expertise et la formation que nous avons reçues lors de l'événement en direct.Dans cet article, ils partagent leurs réflexions sur des questions concernant les données et la modélisation.La première question porte justement sur les données sombres, qui est le nom du dernier livre de David Hand, Données obscures : pourquoi ce que vous ne savez pas est important (hautement recommandé).
Le contraire des données sombres est des données lumineuses. N'est-ce pas une rareté ?
Sam : Souvent, dans les premières étapes du parcours scientifique des données d'une organisation, ils découvrent qu'ils ont de nombreux problèmes de données sombres.Le principal problème à résoudre est de savoir comment obtenir les bonnes données. Les organisations qui veulent vraiment résoudre les problèmes – et bien les résoudre – auront des approches, des stratégies et des systèmes qui leur permettront de générer et de collecter des données « brillantes » et de bonne qualité.
JMP peut-il "adapter" uniquement les données manquantes, par exemple, avec des machines à vecteurs de support ou GenReg ? Pour utiliser d'une manière ou d'une autre la structure des données manquantes avec les données existantes pour l'ajuster - un peu comme un ajustement inverse ?Ce serait différent de "information manquante".
Jason : Je voudrais vérifier l'imputation SVD multivariée et l'imputation automatisée des données dans l'utilitaire Explorer les valeurs manquantes et voir si elles feront ce que vous espérez.
Sam : JMP et JMPPro peut effectuer une imputation multiple basée sur la structure de corrélation des données.Voir l'aide en ligne pour Imputer les données manquantes et Explorer les valeurs manquantes .
Quel type de modèle d'apprentissage automatique pouvons-nous utiliser pour traiter des données multilabels qui ne s'excluent pas mutuellement ?
Cameron: Si je vous comprends bien, vous pouvez y parvenir simplement en ayant plusieurs réponses.Par exemple, un modèle peut traiter et imager pour classer quelqu'un comme vieux ou jeune, et séparément comme homme et femme.
Quelle est la meilleure façon d'aborder la modélisation prédictive pour une ou plusieurs sorties de processus avec une forte variabilité dans les données de processus ?
Cameron: La meilleure façon de surmonter une variabilité élevée consiste à utiliser un grand volume de données, par exemple, l'erreur type d'une moyenne a la racine carrée de la taille de l'échantillon dans le dénominateur.
Jason : Identifier les sources de variation de processus ; investir dans la mesure et la collecte de données auprès d'eux en continu. Combien d'entrées de processus critiques sont mesurées dans votre processus ? Y en a-t-il suffisamment pour décrire adéquatement la variation des extrants ? J'ai participé et dirigé des projets visant à comprendre des problèmes comme celui-ci.Ils peuvent être délicats, mais ils sont nécessaires.Le mannequinat n'est pas magique. Vous avez besoin de bonnes informations pour réussir. J'investirais d'abord ici avant de plonger dans des modèles ésotériques.
Lorsque vous souhaitez former un nouveau modèle sur un petit ensemble de données afin d'obtenir les récompenses plus tôt (économie d'argent), quels sont les bons conseils pratiques pour le faire - même s'il s'agit d'utiliser un modèle moins que parfait, mais qui est " assez bien."
Cameron: Dans le domaine de l'apprentissage en profondeur, l'apprentissage par transfert offre un moyen de faire beaucoup plus avec moins.Les expériences conçues sont un autre moyen d'obtenir plus d'informations sur les relations par point de données, car vous planifiez les points de manière à minimiser la quantité d'informations redondantes.Autrement dit, vous avez généralement très peu de corrélation entre les facteurs, et donc des facteurs d'inflation de la variance égaux ou très proches de 1.
Jason : Des stratégies telles que "en omettre un" ou la validation croisée k-fold peuvent être utiles lors de la formation d'un modèle sur des ensembles de données plus petits pour éviter un ajustement excessif.J'ai eu du succès avec des modèles de régression pénalisés sur de petits ensembles de données en utilisant les deux stratégies de validation croisée.Lorsque vous créez un modèle, à quelle fréquence vérifiez-vous les résultats réels par rapport aux prévisions ? Si vos prédictions sont appropriées pour prendre des décisions commerciales, le modèle peut être « assez bon ».
D'après votre expérience, quel est le pourcentage de temps où vous devez appliquer un modèle d'apprentissage continu/itératif par rapport à un modèle hors ligne/ponctuel pour résoudre des problèmes ?Quels sont les avantages et les inconvénients de chacun ?
Cameron: Cela va varier considérablement selon le domaine d'application. Si je modélise la demande d'un produit sur la base d'indicateurs avancés, je dois absolument m'attendre à ce que ces relations évoluent avec le temps. Faire évoluer et adapter mon modèle de production au fil du temps serait très avantageux. Si je modélise les sorties de la machine en fonction d'un ensemble de propriétés physiques, les relations resteront probablement stables dans le temps et je n'ai pas à me soucier autant de l'apprentissage en ligne. L'exception peut être si je veux que les estimations des paramètres de mon modèle deviennent plus précises au fil du temps à mesure que davantage de données arrivent.
Lorsque vous n'êtes pas là pour enquêter/observer le processus, vous risquez de manquer la cause du problème ; aussi, COVID complique cela. En tant que chercheurs/résolveurs de problèmes/scientifiques des données, que faisons-nous lorsque nous ne pouvons pas être « là » pour collecter les données ?
Cameron: Bonne question, et la seule chose que je peux vraiment penser à dire est de comprendre comment impliquer les personnes qui ont collecté les données dans l'analyse des données. Même s'ils n'ont aucune expérience en analyse, ils peuvent probablement comprendre suffisamment bien une analyse graphique pour participer à une discussion et apporter des idées de leur expérience de première main pour contribuer à la discussion et à l'interprétation.
Jason : Ceci est une question difficile!Existe-t-il des outils virtuels que vous pouvez utiliser pour voir le processus ? Qui dirige le processus ? Peuvent-ils être formés pour faire des observations sur le processus qui peuvent expliquer les problèmes qui surviennent dans les données ?Pouvez-vous faire des parcours de processus virtuels ?
L'abondance de données peut conduire à la fausse sécurité que les données sont impartiales.Quelles sont les étapes d'atténuation de l'utilisation d'une abondance de données biaisées alors que de nouvelles données contrefactuelles arrivent ?
Sam : Testez vos modèles.Vérifiez toujours si le modèle que vous avez développé prédit toujours bien.Assurez-vous que le « support » du modèle (la plage des variables prédictives utilisées pour construire le modèle) est bien compris et vérifié pour voir si de nouvelles situations qui utilisent le modèle prédisent en dehors de cette plage de « support ».Lorsque vous avez collecté suffisamment de nouvelles données, les modèles peuvent être recyclés, vous devez donc comparer l'ancien modèle avec le nouveau modèle pour voir s'ils font des prédictions similaires ou différentes.
Quel type d'ordinateur/machine est nécessaire pour travailler sur des modèles AI/ML ? Est-ce que cela peut être fait sur un ordinateur portable avec suffisamment de RAM?
Cameron: Cela dépend vraiment de ce que vous faites. Tout le ML ne se fait pas avec d'énormes ensembles de données et des modèles contenant des millions de paramètres. Vous avez probablement assez de puissance de traitement sur votre smartphone pour faire beaucoup d'IA/ML. Une fois que vous commencez à travailler avec des ensembles de données d'une taille égale à des dizaines de gigaoctets, vous pouvez commencer à rencontrer les limites de ce que vous pouvez faire sur un PC, même si vous traitez les données par lots. Si vous faites du deep learning avec des images ou des vidéos, alors le calcul parallèle et GPU devient très important ; à ce stade, vous utilisez probablement des ressources informatiques partagées au sein de votre organisation ou des services basés sur le cloud. Google Colaboratory est un moyen simple et gratuit d'accéder au calcul GPU pour l'apprentissage en profondeur.Vous pouvez également payer pour accéder à des niveaux supérieurs de puissance de calcul GPU sur ce service.
Jason : Quel type de modèles de ML souhaitez-vous utiliser ?Combien de données avez-vous ? La plupart des exercices de modélisation que j'ai effectués l'ont été sur une station de travail portable : processeur quadricœur, 32 Go de RAM, etc. J'ai travaillé sur un projet de détection de défauts où nous avons utilisé Réseaux de neurones convolutifs pour identifier les défauts de fabrication des flux de caméra en cours de traitement. Nous avons construit des PC de jeu personnalisés haut de gamme pour résoudre ce problème et envisageons un déploiement de serveur avant de quitter le projet. La plus grande différence entre mon ordinateur portable et la machine de jeu est la carte graphique. Si vous envisagez de faire de l'analyse d'images et/ou du calcul GPU, une carte graphique pour ordinateur portable peut ne pas suffire. Si la vitesse et la mémoire sont un problème, vous pouvez utiliser un serveur ou étudier l'informatique distribuée.
Quel est l'outil/la technique (nettoyage, combinaison, modelage ou autre) qui vous a le plus aidé à évoluer dans votre carrière ?
Cameron: La curiosité, la volonté d'essayer des choses difficiles, la détermination obstinée à trouver des moyens de surmonter les obstacles et l'apprentissage par la pratique ont été bien plus importants que tous les outils et techniques spécifiques. Vous ramassez ce dont vous avez besoin en cours de route.
Jason : Avant de JMP avait l'utilitaire Recode, je pense qu'un outil qui m'a aidé était de tirer parti des tableaux et des matrices pour le nettoyage des données.C'est incroyable ce qu'un peu de calcul matriciel, de manipulation matricielle et/ou d'indexation logique dans un script peut faire pour trouver et résoudre des problèmes dans les données. Les expressions régulières sont un autre outil qui a fait une grande différence dans ma carrière en ce qui concerne le nettoyage/l'élimination des données textuelles. Maintenant que nous avons Recode, c'est mon outil de nettoyage de données préféré !Il prend en charge les expressions régulières pour le texte et peut facilement trouver des problèmes dans les données numériques. Comme vous pouvez enregistrer les résultats sous forme de formule, recode effectue automatiquement la plupart des scripts que j'avais l'habitude de faire.Les utilitaires Explorer les valeurs aberrantes et Explorer les modèles font également beaucoup de ce que j'avais l'habitude de gérer avec des scripts pour le nettoyage des données. Tous sont de grands gains de temps!Par-dessus tout, je dirais que l'utilisation de la visualisation des données à toutes les étapes du flux de travail analytique pour révéler l'histoire derrière les données a eu le plus grand impact sur ma carrière.
Sam : Honnêtement, faire de bons graphiques de données est probablement la chose la plus efficace que je puisse faire. Si vous le mettez dans une image, il racontera l'histoire des données et du problème. Le deuxième outil le plus important est l'écriture : communiquer les résultats d'une analyse, résumer ce qui a été appris et faire des recommandations pour d'autres actions. Si vous ne l'écrivez pas, les gens ne se souviendront pas ou ne sauront pas ce qui s'est passé.
Comment convaincre les industries chimiques ou pharmaceutiques qui fondent leurs procédés (exploitation et contrôle) sur des modèles mécanistes de se lancer dans des alternatives boîte noire ?Les approches hybrides sont-elles la première étape ?
Cameron: Les modèles mécanistes les freinent-ils d'une manière ou d'une autre ? Pour moi, un modèle mécaniste est toujours préférable lorsqu'il est à portée de main. Tout comme vous n'avez pas besoin d'une formation en physique pour comprendre ce qui se passe lorsque vous lancez une balle, un ordinateur peut apprendre comment quelque chose fonctionne en voyant de nombreux exemples. Cependant, si vous connaissez tous les calculs physiques et les valeurs des paramètres, vous n'avez besoin que de peu de données, voire d'aucune, pour faire des prédictions précises. Mieux vous décomposez une situation en principes de base, moins vous avez besoin de données et moins vous devez également vous soucier de l'extrapolation.Les modèles basés sur les données (j'utiliserai cela plutôt que la «boîte noire») sont incroyablement utiles pour contourner les lacunes dans les connaissances ou se rapprocher des complexités. Si obtenir une réponse à 100 % prenait des mois, mais que vous pouvez utiliser un modèle basé sur les données pour obtenir une réponse à 95 % dès maintenant, que choisiriez-vous ? Quel est le coût d'opportunité avec la première option (pensez à ce que vous pourriez faire avec tout ce temps supplémentaire) ?
Nous avions des questions sur le casque utilisé par Sam (un DSP Plantronics 655) et sur la manière d'obtenir son livre.Le livre électronique peut être commandé directement auprès de Presse SAS et des copies papier sont disponibles sur Amazone .La deuxième édition est en cours et devrait être disponible en 2021 !
Vous pouvez regarder la version à la demande de cet épisode de Statistiquement parlant et lire un extrait du chapitre scientifique de Données sombres.Être capable de catégoriser et de mieux gérer toutes les données sombres rendra vos modèles beaucoup plus utiles. Nous remercions nos téléspectateurs d'avoir posé de si bonnes questions, et nous remercions Cameron, Sam et Jason d'avoir partagé davantage leur expertise !
