Peut-être… mais les données en désordre sont une affaire plus importante.
Les grandes données ont touché le courant dominant au cours de la dernière année. Je le sais parce que la bbc a produit plusieurs programmes la couvrant. Ce que j'ai entendu dire, c'est qu'il n'y a pas de définition claire de ce qu'est le big data et de son importance. Quand je demande aux gens s'ils ont des données volumineuses, ils écrasent «oui», s'ils ont mille ou plusieurs millions de lignes de données ou d'observations. Alors qui a raison? Ça dépend.
Aujourd'hui, logiciel statistique , y compris ceux conçus pour maximiser la puissance du bureau comme JMP Pro , peut facilement gérer des ensembles de données contenant des millions de lignes. Ce qui est plus important, c'est le nombre de colonnes. Très grand et des ensembles de données très larges sont vraiment volumineux. Celles-ci peuvent nécessiter des méthodes statistiques standard telles que l'échantillonnage pour créer des modèles utiles, ce qui permet de créer des modèles à la puissance d'un ordinateur de bureau.
Ainsi, si le big data est facilement gérable, quels sont les véritables défis des analystes, ingénieurs et scientifiques d’aujourd’hui? Nous avons interrogé les délégués lors des deux séminaires de construction de modèles qui se sont tenus récemment à Marlow et à Édimbourg et avons découvert une conclusion intéressante: tous les délégués avaient des données en désordre.
Tirez le meilleur parti des données en désordre
Vous avez des données en désordre s'il vous manque des données, des cellules vides, des valeurs éloignées ou des entrées erronées. Les méthodes statistiques traditionnelles, telles que la régression logistique et linéaire, suppriment les lignes dans lesquelles des cellules manquent, ce qui aboutit à un modèle plus pauvre. Les valeurs aberrantes rejettent également le modèle, le rendant moins utile.
John Sall discuté d’une nouvelle façon de traiter les données confuses appelées "informations manquantes" dans son blog . Cela ramène l'utilisation des données manquantes au-delà de l'imputation à un nouveau domaine: les données manquantes peuvent en réalité vous informer de quelque chose d'important et doivent donc être incluses dans votre modèle. Un exemple serait un demandeur de prêt laissant une partie de sa demande en blanc afin de masquer un historique de crédit médiocre; Ce serait un résultat essentiel pour un analyste de crédit à modéliser. Si vous travaillez dans un paramètre de fabrication, des données peuvent être manquantes car le résultat est littéralement hors échelle, ce qui peut être une information utile à capturer dans le modèle. Si vous modélisez l'activité des substances en fonction de leurs propriétés chimiques, vous risquez de manquer de données concernant, par exemple, la température de décomposition, si vous ne voyez pas la matière se décomposer dans la plage de température mesurée; ainsi, si vous incluez cette information dans le modèle, vous obtiendrez de meilleures prévisions d'activité.
Il existe une nouvelle classe de techniques de modélisation appelées méthodes de réduction conçues pour vous fournir un modèle qui prédit bien et a le plus petit nombre de variables, même lorsque vous avez de fortes corrélations entre les variables d'entrée. le Régression généralisée personnalité vous permet d'utiliser ces méthodes à partir de la plateforme Fit Model. Utilisé avec Informative Missing, il présente l'avantage supplémentaire d'utiliser toutes les lignes de données lors de la création du modèle, même avec des données en désordre.
Méthodes basées sur un arbre de décision sont utiles pour faire face aux valeurs aberrantes, car le point où se produit la scission n’est pas biaisé. Les utilisateurs de JMP Pro nous disent qu'ils construisent des modèles utiles sans avoir à nettoyer leurs données pour cette raison et Informatif manquant : Avec des techniques de modélisation robustes, vous pourrez peut-être ignorer le nettoyage des données et toujours produire un bon modèle. Maintenant c'est vraiment révolutionnaire. Les arbres de décision ont également l'avantage d'être visuels, ce qui vous permet d'expliquer vos résultats aux dirigeants.
Que dois-je faire si j'ai des données en désordre?
JMP Pro est la logiciel conçu pour traiter vos données en désordre.
Nous organiserons un atelier pratique exclusif au Royaume-Uni pour les nouveaux utilisateurs de ce logiciel sur 12 juin alors si vous souhaitez nous rejoindre à Marlow, faites le moi savoir .
Si vous souhaitez que vos responsables voient comment JMP Pro traite ces problèmes, vous pouvez leur demander de rejoindre le webcast sur 3 avril quand nous montrerons deux études de cas.
Bernard McKeown a écrit:
Tu as raison Phil. L'enquête auprès des délégués au séminaire le confirme également. C'est pourquoi ces techniques sont si utiles.
Phil Kay a écrit:
Y a-t-il quelqu'un qui n'a JAMAIS de données en désordre?
De ma propre expérience, des essais à petite échelle et la conception d’expériences produiront généralement des jeux de données complets sans trop de problèmes. Cependant, pour entrer dans le domaine de l'exploration de données et de la modélisation prédictive ... il y a TOUJOURS un aspect désordonné dans les données.
Volker Kraft a écrit:
Bonjour Mike, à supposer que vous soyez au Royaume-Uni, j'ai une bonne nouvelle: nous explorons actuellement les possibilités de soutenir les classes liées aux STEM dans les lycées avec des packages JMP pour l'enseignement. Je vous serais reconnaissant de prendre contact avec nous (volker.kraft@jmp.com) pour vous tenir au courant et en savoir plus sur vos exigences en matière d’enseignement secondaire.
Bernard McKeown a écrit:
Bonjour Mike, de nombreuses écoles utilisent maintenant JMP Pro car il s’agit d’un produit essentiel de JMP Academic Suite. Vous pouvez trouver plus d'informations à: http://www.jmp.com/uk/academic/ . Je pense que vous êtes aux États-Unis, n'est-ce pas? Si c'est le cas, Curt Hinrichs peut vous aider. Si en Europe, Volker Kraft est la bonne personne. Les détails de Volker sont disponibles sur: http://www.jmp.com/uk/software/buy-jmp-academic.shtml .
Mike Clayton a écrit:
Merci beaucoup.
Les étudiants doivent apprendre ces méthodes plus avancées, mais les écoles ne prennent pas en charge JMP Pro. Quelles sont donc les chances que les webinaires gratuits présentent de nouveaux concepts de manière à ce que les classes STEM du secondaire puissent en bénéficier?
