Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Des données virtuelles, éparses, manquantes ou factices - ce sont des données fantômes. Ne soyez pas effrayé par cela, dit John Sall. Apprenez à vous en occuper.
Les données sont partout et la vitesse, le volume et la variété présentent des défis croissants pour le scientifique ou l'ingénieur qui essaie de faire des découvertes statistiques.
Mais il existe un tout autre type de données qui Jean Sall , vice-président exécutif et co-fondateur de SAS, pense que les explorateurs de données doivent être conscients : données fantômes – des données qui n'existent pas.
Les données fantômes étaient le sujet du discours d'ouverture de John à Sommet Découverte 2017 à St. Louis, MO. John dirige l'équipe de développement de JMP et reste le principal architecte du logiciel de découverte statistique de bureau .
Il dit que les scientifiques et les ingénieurs traitent souvent quatre types de données fantômes. Voici ce qu'ils sont et ce qu'il faut en faire.
1. Données virtuelles
Les données virtuelles sont des données qui ne sont pas là jusqu'à ce que vous les recherchiez ou que vous en ayez besoin. Ce type de données fantômes est utile car il n'encombre pas votre table de données. Deux exemples sont les colonnes de transformation et les jointures virtuelles dans JMP . Les colonnes de transformation vous permettent de matérialiser une version transformée d'une colonne (par exemple, en prenant une transformation logarithmique ou un rapport de deux colonnes) juste à temps pour produire un graphique sans avoir à produire la nouvelle colonne. Cela maintient la table de données propre et économise également de la mémoire.
Les jointures virtuelles vous permettent de lier des tables par des clés, ce qui vous permet d'accéder aux colonnes d'une table auxiliaire à partir d'une table principale sans effectuer la jointure. Cela facilite la maintenabilité de la table et l'utilisation de la mémoire, en particulier lorsque la jointure physique implique un cas de table de données large par hauteur ou hauteur par largeur.
2. Données rares
Les données éparses sont une situation où l'absence d'existence d'un point de données implique un zéro. Il s'agit également d'un type de données fantômes qui, lorsqu'elles sont exploitées efficacement, peuvent être ignorées par des algorithmes pour accélérer considérablement les calculs. Un exemple de données éparses est la matrice de termes de document (DTM) dans l'analyse de texte. Le DTM est clairsemé car les mots individuels sont très rarement utilisés dans un corpus de documents. (J'ai l'impression qu'il y a une blague ici à propos d'un corpus de données fantômes.)
Les méthodes multivariées telles que l'analyse en composantes principales (ACP) peuvent tirer parti de cette parcimonie, et lorsque la méthode parcimonieuse est choisie au sein de la plate-forme PCA dans JMP, l'exécution de l'analyse sur un DTM de 2 000 mots passe de 10 minutes à environ 1 seconde. Les méthodes dispersées sont présentes dans JMP, notamment l'ACP, l'analyse discriminante, l'explorateur de texte et les modèles mixtes.
3. Données manquantes
De nombreux scientifiques et ingénieurs déclarent traiter régulièrement des données manquantes. Ce type de données fantômes sont des données que nous ne connaissons pas ou qui n'existent pas. Il existe de nombreuses raisons pour lesquelles des données peuvent manquer - les capteurs échouent, les réseaux tombent en panne ou les sujets refusent de répondre aux questions de l'enquête. Mais ce n'est pas parce que des données manquent qu'elles ne peuvent pas être utiles. De nombreuses plates-formes de modélisation dans JMP peuvent tirer parti de ce « manque » pour créer de meilleurs modèles au lieu de simplement rejeter l'observation. La plate-forme Partition, Fit Model et Neural, par exemple, peuvent toutes utiliser le manque comme prédicteur en tirant parti de ce que l'on appelle le manque informatif. En plus d'utiliser les informations manquantes dans votre modélisation, vous pouvez également tirer parti de deux utilitaires de modélisation : Explorer les valeurs aberrantes et les valeurs manquantes. Avec ceux-ci, vous pouvez changer les valeurs qui sont dans les données mais qui devraient être considérées comme manquantes (comme les codes d'erreur machine) en manquantes afin qu'elles n'affectent pas les prédictions du modèle. Ou vous pouvez même imputer les valeurs manquantes pour faire des estimations de ce que pourraient être les valeurs. En triant et en traitant les valeurs manquantes de manière appropriée, vous ne passez pas à côté d'informations clés.
4. Faire semblant de données
Le dernier type de données fantômes sont les données que nous inventons. Des données factices ou simulées peuvent être utilisées pour tester des hypothèses, déterminer si une conception d'expérience a suffisamment de puissance pour détecter une réponse ou aider à rendre un processus robuste à la variation des facteurs. Des outils de simulation permettant de créer des données pour répondre à des questions clés se trouvent à divers endroits dans JMP. Le Profiler intègre une simulation de Monte Carlo. Vous pouvez utiliser l'option de simulation de réponses dans les plates-formes DOE de JMP ainsi que la taille d'effet attendue et l'estimation de l'erreur pour voir si vous avez suffisamment d'exécutions dans votre expérience pour détecter un effet. Vous pouvez utiliser les fonctions de simulation du clic droit dans JMPPro pour approfondir cette analyse de puissance ou MCMC dans Hierarchical Bayes pour examiner chaque sujet individuel et comment ils diffèrent des autres individus en fonction de leur structure de préférences.
Pour les scientifiques et les ingénieurs qui explorent les données, John a ces conseils : « Nous sommes des détectives dans le monde des données. Nous devons apprendre à bien travailler avec ce qui n'existe pas, les données fantômes. Si nous ne le faisons pas, nous risquons d'être inefficaces, nous risquons d'arriver à de mauvaises conclusions ou de manquer des découvertes.
Vous pouvez regarder un enregistrement du discours de John ici dans la communauté d'utilisateurs JMP.
