John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explique pourquoi nous ne devons pas avoir peur des données fantômes.
Données quantitatives et qualitatives. Données numériques et caractères. Données d’expression et de texte non structurées. Ce sont tous des types de données que vous connaissez peut-être déjà et que vous savez comment gérer.
Mais il existe une autre catégorie de données dont vous n’avez peut-être pas encore entendu parler : données fantômes . Et non, ce n'est pas quelque chose que j'ai inventé pour Halloween.
John Sall, co-fondateur et vice-président exécutif de SAS, a réfléchi aux données fantômes, c'est-à-dire aux données qui n'existent pas réellement. Il dit que nous devrions comprendre et apprécier les données fantômes.
Dans son rôle de responsable de la division JMP de SAS, il s'entretient avec les clients et participe au développement du logiciel. Il lit et réfléchit également beaucoup sur les données, les statistiques et la technologie. Vous avez peut-être lu son articles de blog à propos pourquoi les statistiques sont essentielles et pourquoi l'ordinateur de bureau n'est pas mort . Il est membre de l'American Statistical Association et de l'American Association for the Advancement of Science.Et il est un conférencier d'honneur à Sommet Découverte 2017 à Saint-Louis , où il parlera des données fantômes.Lisez la suite pour ses réponses à mes questions sur les données fantômes (y compris une question idiote).
Parlez-moi des données fantômes.
Les données fantômes sont toutes les données qui n'existent pas, et il en existe de nombreux types. Par exemple, il existe des données virtuelles qui n’existent pas tant que vous ne les regardez pas. Cela semble assez réel en surface, mais il ne se matérialise que lorsque cela est nécessaire. Il existe des données rares, dont l'absence implique un zéro. La parcimonie est un outil informatique clé dans plusieurs types d’analyse. Il manque également des données. Ces données ont un emplacement pour contenir une valeur, mais cette valeur est inconnue, donc l'emplacement est vide. Un autre type de données fantômes sont les données factices, qui sont des données inventées. Ce type de données est important pour la simulation, pour répondre « Et si ? ». Il existe d'autres types de données fantômes, mais ces quatre types sont importants pour l'analyse des données dans JMP .
Faut-il avoir peur des données fantômes ?
Il n'y a pas lieu d'avoir peur des données fantômes. Ce sont juste des données qui n'existent pas. C’est aussi naturel que des données réelles. Tout comme nous apprécions les données dont nous disposons, nous avons également besoin d’apprécier les données qui n’existent pas. Nous devons savoir comment le gérer, savoir comment modéliser avec lui et le mettre en œuvre. Il est très important de gérer correctement les données fantômes.
Quelle est la façon de gérer les données fantômes ?
Regardons les données manquantes. Dans le passé, nous avions l'habitude de sauter les lignes où l'une des variables d'analyse manquait. Le problème est que cette méthode introduit des biais dans les résultats si les valeurs manquantes n’étaient pas complètement aléatoires. Désormais, nous intégrons les valeurs manquantes directement dans le modèle, en supposant que les valeurs manquantes sont prédictives. C’est ce qu’on appelle des « informations manquantes ». Les données hypothécaires des années précédant la crise financière de 2008 sont un bon exemple de manque d’informations. Lors de la modélisation de la probabilité d’un défaut de paiement hypothécaire, les résultats sont biaisés si toutes les lignes comportant des valeurs manquantes pour des variables telles que « revenu » et « ratio dette/revenu » ont été supprimées. Souvent, le demandeur du prêt savait que fournir ces valeurs entraînerait l’incapacité à bénéficier du prêt, c’est pourquoi les valeurs ont été omises. Dans le tableau de données que nous fournissons avec nos exemples de données, l’absence du ratio dette/revenu est le prédicteur le plus important de défaut de paiement hypothécaire.
Si vous vouliez incarner des données fantômes pour Halloween, à quoi ressemblerait votre costume ?
Soit l'Homme Invisible, soit Harry Potter utilisant la cape d'invisibilité, soit une version métamatérielle de celui-ci.
Génial – j'adore la référence à la crise de 2008 !
@jon_stallings Bien qu'il existe de nombreuses stratégies au sein du DOE pour gérer les données fantômes... Je considère le blocage comme un moyen de gérer une source d'un facteur caché dans la conduite d'une expérience... les absences sont également constatées APRÈS l'exécution des expériences conçues. ...combien de fois voyons-nous des valeurs de réponse manquantes en raison de toutes sortes de causes dans le DOE ?
Merci pour ton commentaire, Jon!
C'est pourquoi chaque analyste de données a besoin d'une formation en conception d'expériences. L’intérêt de la randomisation est d’atténuer l’impact des données fantômes.
