Explorer les corrélations dans un grand ensemble de données<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />J'utilise JMP Pro et je travaille avec un vaste ensemble de données de variables de processus d'usine dont je souhaite explorer la manière dont elles pourraient affecter la production ou certains autres paramètres de performances de l'usine. Existe-t-il des guides ou des ressources sur la façon dont je peux commencer ? J'ai parcouru des vidéos JMP sur YouTube, mais elles ne approfondissent pas l'analyse. S o loin, J'ai seulement compris que je devrais « filtrer les prédicteurs » pour réduire le nombre de facteurs que j'examine. Je ne sais pas si la prochaine étape serait adaptée aux modèles de régression ou à une exploration plus approfondie des données avec PCA, corrélations par paires... etc. ou si j'en ai besoin prudent si mes données ne sont pas des données normales ou comportent beaucoup de zéros avant de choisir la bonne analyse.
De plus, j'ai vu de jolis tracés utilisant l'analyse des correspondances canoniques (CCA) pour explorer les corrélations avec des données comme les miennes dans R. Existe-t-il quelque chose de similaire/meilleur dans JMP ?
Je suis nouveau dans ce genre d'analyse, donc des idées tu as sur la façon de commencer vous aidera. Merci.
Re : Explorer les corrélations dans un grand ensemble de donnéeshttps://community.jmp.com/docs/DOC-9923
Le complément ci-dessus est une autre option pour examiner la corrélation x par y. Je l'ai utilisé récemment sur un projet de données de processus.
Re : Explorer les corrélations dans un grand ensemble de donnéesIl existe un formidable complément JMP disponible appelé Scagnostics.Je l'utilise souvent pour aider à voir la structure des corrélations au sein de grands ensembles de données.
Re : Explorer les corrélations dans un grand ensemble de donnéesJe suppose que vous avez hérité de ces données d'une sorte d'entrepôt de données/système d'historien et que vous avez beaucoup de colonnes et/ou peut-être beaucoup de lignes. Combien de temps avez-vous passé à examiner la qualité des données sous ces angles :
1. Des valeurs aberrantes ? Un bon endroit pour examiner ce problème se trouve dans le chemin Cols -> Modeling Utilities -> Explore Outliers.
2. Valeurs manquantes ? Un bon endroit pour examiner ce problème se trouve dans le chemin Cols -> Modeling Utilities -> Explore Missing Values.
3. Si vous avez des valeurs absurdes, des choses comme les codes « 9999 »... pensez à utiliser Cols -> Utilities -> Recode path de JMP pour les corriger/réparer.
4. Comme dernier acte en matière de qualité des données, et si vous pensez procéder à la création de modèles prédictifs, assurez-vous d'utiliser la plateforme Cols -> Modeling Utilities -> Make Validation Column de JMP Pro pour créer une colonne de validation contenant, le cas échéant, une construction de formation, de validation et de test.
Une fois la qualité et le nettoyage des données terminés, il existe plusieurs plates-formes JMP Pro qui pourraient vous être utiles. Chacun a sa place au soleil. Analyse des composantes principales avec clustering, modèle d'ajustement -> moindres carrés partiels, modèle d'ajustement -> régression généralisée (puis choisissez votre sous-personnalité en fonction des spécificités de chaque situation), si vous construisez et évaluez des modèles, assurez-vous d'invoquer l'imputation de la valeur manquante (si nécessaires et appropriées) et exploitez la colonne Validation que vous avez créée. D'autres plates-formes de modélisation JMP pourraient également être utiles... Je me concentre uniquement sur les idées de JMP Pro dans cet article.
Re : Explorer les corrélations dans un grand ensemble de données1. La transformation des données doit être traitée colonne par colonne.Lorsque les analyses sont effectuées sur des données transformées, c'est pour permettre aux statistiques de pouvoir calculer correctement les paramètres.On ne rapporte pas les données en utilisant les valeurs transformées.
2. Je trouve que le meilleur moyen de déterminer la transformation correcte est d'utiliser la plateforme de distribution dans JMP et de demander sous le triangle rouge,
Ajustement continu ==> Tout
Il vous donnera les résultats de la distribution de vos données, et à partir de là, vous pourrez sauvegarder vos données dans un état transformé.Si la distribution qu'il découvre comme étant la meilleure description de vos données ne dispose pas de transformation disponible, vous souhaiterez peut-être voir si la transformation GLog (Generalized Log) vous aide.
3. Si vous disposez d'une variable de réponse ciblée, j'ai utilisé Bootstrap Forrest et Boosted Tree pour trouver les colonnes à utiliser pour associer les données. Ils ne nécessitent pas de données distribuées normales.
Re : Explorer les corrélations dans un grand ensemble de donnéesMerci à tous pour ces précieuses informations. J'ai quelques questions complémentaires concernant la transformation des données :
1. D'après ce que j'ai compris, vous transformez certaines colonnes mais pas d'autres ? Toutes les données ne devraient-elles pas être transformées de la même manière pour une analyse en aval ?
2. J'ai des colonnes avec de nombreux zéros. Les transformations de journaux semblent en normaliser certaines mais convertissent les zéros en données manquantes. Je ne sais pas s'il existe un moyen simple de le faire ou des guides sur la façon de gérer cela dans JMP.
3. Si la normalisation des données n'est pas possible ou n'est pas essentielle, existe-t-il une ou plusieurs méthodes à éviter (ACP ?) pour analyser plus en profondeur ces données ?
Je suppose que l'étape suivant les transformations et la sélection consisterait à utiliser les contributeurs les plus puissants de la plate-forme « ajuster le modèle » et à comparer les modèles ?
Re : Explorer les corrélations dans un grand ensemble de donnéesSalut karen@boulderstats .
Domaine (expert en processus) + méthode (expert analytique) est un excellent partenariat.
J'ai apprécié et j'ai beaucoup appris de votre Épisode analytiquement parlant la semaine dernière !
J'apprends également beaucoup des experts de la communauté JMP, qui savent parfaitement me guider.
Très appréciée.
- Randy, débutant JMP
Re : Explorer les corrélations dans un grand ensemble de donnéesJim a proposé un certain nombre de bonnes étapes à considérer. Vous pouvez également utiliser le générateur de cartes de contrôle (avec de telles données, j'utiliserais le sélecteur de colonnes pour que vous puissiez parcourir vos variables). La raison pour laquelle il faut examiner les cartes de contrôle est que les données de processus comportent un élément temporel.Traiter les données est très amusant mais n'est pas toujours facile (les données elles-mêmes sont complexes compte tenu des décalages temporels, des données manquantes, etc., etc.). Je trouve que pour de telles données, la valeur est créée lorsque vous travaillez en équipe comprenant au minimum un expert analytique (c'est-à-dire une personne ayant une formation en statistique) et un expert en processus (quelqu'un qui connaît vraiment le processus).
Re : Explorer les corrélations dans un grand ensemble de donnéesJ'adopte généralement l'approche suivante pour filtrer des données volumineuses :
1. J'exécute la plate-forme de distribution sur toutes les données en recherchant la quantité de mes données qui est fortement asymétrique.Si j'ai un grand nombre de lignes, j'aurai tendance à supprimer les valeurs aberrantes pour tenter de normaliser les données.D'autres fois ou en complément, je transformerai les colonnes gênantes.J'utilise des scripts pour alléger la pénibilité de cela.
2. L'étape suivante consiste à filtrer les colonnes redondantes.J'utilise généralement 3 plates-formes différentes pour cela.
un. La PCA est idéale si les données sont ou ont été transformées sous une forme normale très approximative.
b. Response Screening fournit un excellent tableau de données de sortie qui me permet vraiment d'avoir une idée des données
c. Le partitionnement Bootstrap Forrest montre quelles colonnes sont les contributeurs potentiels les plus importants pour mon analyse détaillée que je vais faire.
