dois-je utiliser l'analyse en composantes principales ou l'analyse par grappes k-means ?Salut - J'essaie de décider de la meilleure méthode d'analyse par grappes (par exemple, analyse en composantes principales, k-means, etc.) à utiliser pour la situation suivante.J'ai un ensemble de données cartographié avec 12 928 enregistrements, chacun correspondant à un puits avec des résultats d'échantillon.Chaque ligne de données (chaque emplacement sur ma carte) a un nom de puits, la latitude, la longitude et les résultats du composé A, du composé B, du composé C, du composé D, du composé E, etc. (8 composés chimiques en tout).Ces puits ont été contaminés par l'une des trois sources suivantes : 1) dépôt atmosphérique, 2) déchets de traitement ou 3) une combinaison des deux (mixte).Et chaque source est associée à une signature de source unique (par exemple, la source de dépôt d'air a tendance à avoir un composé X élevé et un composé Y faible, tandis que l'eau de traitement a tendance à avoir un composé Y et Z élevé et un composé X faible).Ainsi, chaque ligne (c'est-à-dire l'emplacement du puits) de mon jeu de données est associée à l'une des trois sources de contamination. Mon objectif est d'identifier la source la plus probable pour chaque enregistrement (c'est-à-dire l'emplacement du puits) dans mon ensemble de données.
Il est important de noter qu'un sous-ensemble d'environ 800 enregistrements de mon ensemble de données est connu pour être associé à la signature de la source de dépôt atmosphérique.En tant que tel, ce sous-ensemble de données peut être utilisé comme ensemble d'apprentissage pour la signature de dépôt dans l'air.Je peux également créer un sous-ensemble d'environ 50 enregistrements représentatifs de la signature de la source de déchets de processus.
Toute approche suggérée dans JMP ou JMP Pro serait grandement appréciée.Merci d'avance!
Modélisation statistique avancéeAnalyse et modélisation des données de baseExploration et visualisation des donnéesModélisation prédictive et apprentissage automatiqueRe : dois-je utiliser l'analyse en composantes principales ou l'analyse par grappes k-means ?Voir la feuille de calcul Excel ci-jointe pour un échantillon des données.
Re : dois-je utiliser l'analyse en composantes principales ou l'analyse par grappes k-means ?Je n'ai pas regardé la feuille de calcul Excel, mais je ne suis pas sûr que les méthodes d'analyse de données exploratoires telles que les méthodes de regroupement ou de réduction de la dimensionnalité telles que l'ACP conviendraient le mieux à votre application de problème pratique. Mon interprétation de votre message original est basée en grande partie sur la dernière phrase de votre premier paragraphe. "Mon objectif est d'identifier quelle source est la plus probable pour chaque enregistrement...". Pour moi, cela ressemble à un problème de modélisation de classification où la source de contamination est la variable dépendante et les composés sont vos variables prédictives. Si je suis sur la bonne voie, il existe un certain nombre de méthodes de modélisation dans JMP et JMP Pro adaptées aux problèmes de classification. Vous pouvez commencer par la régression logistique nominale, essayer un certain nombre de méthodes d'arborescence, ou peut-être la plate-forme d'analyse discriminante PLS dans JMP Pro, pour n'en nommer que quelques-unes. Si vous avez JMP Pro et que vos données prennent en charge les méthodes de validation croisée, je vous recommande d'inclure également ces méthodes dans votre flux de travail... vous y faites allusion avec l'une des sources, il semble donc que vous soyez également favorable à ces méthodes ?
Re : dois-je utiliser l'analyse en composantes principales ou l'analyse par grappes k-means ?Salut P_Bartell - merci beaucoup pour votre réponse.Je vais essayer de clarifier mon objectif.Chaque enregistrement représente un échantillon de puits cartographié montrant les résultats (concentrations) de nombreux composés PFAS différents (chaque composé est un champ différent).Trois sources de contamination sont possibles dans ma zone d'étude : (1) une source de dépôt atmosphérique, qui est vraisemblablement associée principalement au composé "PMPA", (2) une source de déchets de procédé, qui est vraisemblablement associée au "PFMOAA", et ( 3) un mélange de dépôt dans l'air et de déchets de procédé.Bien sûr, le monde n'est pas si propre et bien rangé, donc ces deux composés (PMPA et PFMOAA) se produiront dans presque tous les puits, quelle que soit leur proximité avec l'une ou l'autre source, ainsi que d'autres composés bien sûr.C'est le concentrations relatives des composés qui permettront d'identifier si le puits est impacté par une source ou les autres.Et, il se peut que d'autres composés soient de meilleurs substituts ou indicateurs ?... à déterminer.
Mon objectif est de décider quelles zones (c'est-à-dire les puits) sont contaminées par quelle source.(La feuille de calcul que j'ai jointe n'est qu'un échantillon des données mais vous donne une idée de mon format de données.) Il est important de noter que les puits plus éloignés d'une source auront naturellement des concentrations décroissantes des différents composés qui composent ce puits, mais les rapports relatifs et les composés associés à cette source devraient continuer à tenir.Ainsi, l'emplacement d'un puits fait partie de l'histoire (c'est-à-dire que l'emplacement d'un puits peut affecter sa composition composée).
Donc, compte tenu de ce qui précède, si vous pensez toujours que l'analyse discriminante (DA), par exemple, est une bonne voie à suivre, j'ai quelques questions.(1) Mes échantillons (résultats de puits) ne sont-ils pas censés être indépendants ?Et d'après ma description ci-dessus, serait ils sont?Il semble qu'ils ne soient pas vraiment indépendants car ceux proches d'un type de source ressembleraient davantage à ceux situés à proximité d'une source différente.Pensées? (2) Les concentrations de chacun de mes composés PFAS (variables indépendantes) sont supposées être normalement distribuées.Étant donné qu'il s'agit de données sur les contaminants environnementaux, cette hypothèse n'est souvent pas satisfaite, parfois même avec une normalisation logarithmique.Est-ce un problème? (3) Il semble que mes variables prédictives (composés PFAS) seraient naturellement colinéaires.En d'autres termes, une source donnée serait associée à quelques composés qui montent et descendent ensemble, selon la proximité de cette source.Est-ce un problème?Merci d'avance!
Re : dois-je utiliser l'analyse en composantes principales ou l'analyse par grappes k-means ?Je ferai de mon mieux pour répondre à chacune de vos questions. (1) Pas nécessairement. "l'indépendance" est l'un de ces grands mythes de réponse aux exigences urbaines, comme la normalité (voir mes commentaires à venir) qui n'est pas obligé d'utiliser une multitude de méthodes de modélisation. (2) Dit qui ? Les données réelles ne sont souvent pas distribuées normalement par rapport aux variables indépendantes... qui s'en soucie ? (3) C'est là qu'une méthode telle que PLS - Discriminant Analysis brille. Au risque de trop simplifier un peu ... ce qui se passe en arrière-plan de toutes les méthodes basées sur PLS (qui brillent avec des variables prédictives colinéaires) est grâce à des mathématiques très élégantes, ces variables prédictives colinéaires sont transformées en ce qu'on appelle des ' variables latentes ' qui ont de très belles propriétés ... c'est très analogue à faire une analyse en composantes principales sur les prédicteurs AVANT la modélisation. Il y a longtemps, alors que j'étais encore ingénieur système senior chez JMP (je suis aujourd'hui à la retraite), j'ai organisé un webinaire Mastering JMP qui est toujours disponible. Il s'intitule "Utilisation des moindres carrés partiels". Quand la régression des moindres carrés ordinaires ne fonctionnera tout simplement pas." Vous voudrez peut-être le regarder? Voici un lien : P Bartell - PLS Je couvre en fait un problème de type classification pas trop différent du vôtre à la toute fin de l'événement. Il utilise les données du génome humain (qui ne sont normalement distribuées par aucun tronçon) pour classer le statut des récepteurs aux œstrogènes des femmes (une réponse binaire... mais facilement extensible à votre situation avec 3 classificateurs possibles). Enfin, si vous avez JMP Pro, j'examinerais également sérieusement les différentes méthodes d'arborescence. Conservez ensuite tous les modèles dans le Formula Depot et comparez leurs performances. Je pense que mon webinaire a été réalisé avec JMP Pro v 13 ? Donc, les choses ont peut-être un peu changé par rapport aux capacités et aux fonctionnalités que je montre... car il semble que vous exécutiez la version 17, mais les idées de base tiennent toujours la route. Bonne chance!
Re : dois-je utiliser l'analyse en composantes principales ou l'analyse par grappes k-means ?Merci P_Bartell !Je vais vérifier votre lien et faire un peu de devoirs.J'apprécie vos réponses détaillées!
Re : dois-je utiliser l'analyse en composantes principales ou l'analyse par grappes k-means ?J'ai regardé vos vidéos - très utiles!En supposant que j'utilise l'analyse discriminante dans JMP, mes covariables Y sont évidemment tous mes nombreux champs composés PFAS. Mais on ne sait pas comment mon champ X, catégorie/classe - "source" - est censé fonctionner.Je dis cela parce que je ne sais pas quelle est la source de la grande majorité de mon ensemble de données (c'est pourquoi je fais cette analyse).
Rappelons que mon jeu de données ressemble à ceci :
Je peux ajouter un champ source à mon jeu de données et le remplir pour environ 10 % de mes lignes (~ 1300 lignes) en raison des attributs uniques de ma zone d'étude.Cependant, je ne peux le remplir que pour la source "dépôt dans l'air".Les deux autres sources ("déchets de processus" et "mixtes") ne sont pas faciles à discerner... d'où mon besoin d'analyser mon jeu de données (PLS par exemple).Si vous appuyez dessus, je pourrais probablement également remplir la source "déchets de processus", mais seulement pour environ 30 lignes, pas plus.Le champ source des 11 000 autres lignes est inconnu.
Est-ce que j'interprète mal le flux de travail ici ?
Re : dois-je utiliser l'analyse en composantes principales ou l'analyse par grappes k-means ?Non, vous n'interprétez pas mal le flux de travail ... si vous ne pouvez pas remplir la table de données dans la colonne Loc avec les trois niveaux possibles de cette variable, vous ne pouvez pas créer de modèle, PLS ou toute autre méthode d'ailleurs. Je vais donc vous suggérer de revenir à vos réflexions initiales sur les outils d'analyse de données exploratoires multivariées comme le clustering ou l'analyse en composantes principales sur les variables composées... au mieux si certains clusters apparaissent ou si un nombre relativement faible de composants principaux émergent vous ' vous pourrez les voir parmi les variables composées.
Re : dois-je utiliser l'analyse en composantes principales ou l'analyse par grappes k-means ?Je vais empiler sur mon vieil ami @P_Bartell la réponse.À mon avis uniquement, le clustering semble être un excellent point de départ pour vos besoins analytiques.K-Means ou Hierarchical clustering devrait bien fonctionner et puisque vous avez 3 sources possibles de contamination, vous devez limiter votre K-Means ou Hierarchical clustering à 3 clusters.Lorsque vous êtes satisfait des résultats, enregistrez les clusters dans la table de données et cette colonne peut ensuite être utilisée dans le cadre de toute autre modélisation que vous effectuez.Vous pouvez également enregistrer la formule de cluster dans le tableau de données et lorsque vous entrez de nouvelles données dans le tableau, vous obtiendrez une prédiction immédiate du cluster (source) de la contamination.
Re : dois-je utiliser l'analyse en composantes principales ou l'analyse par grappes k-means ?Une réflexion supplémentaire et peut-être une idée farfelue... s'il s'agit d'un problème réel sur lequel vous travaillez et non d'un exercice académique inventé une fois que vous avez identifié des clusters et les emplacements géographiques associés à chaque puits, utilisez la cartographie Graph Builder des outils pour produire des cartes de densité des puits. Ensuite, avec un peu d'espionnage, je parie que vous pourrez peut-être deviner raisonnablement la voie source des composés. Comme par hasard, et attention, je suis loin d'être qualifié / formé / éduqué en tant qu'ingénieur géologue environnemental, je viens de terminer la lecture d'un livre sur l'affaire Love Canal (Niagara Falls NY). Je parierais que tout puits là-bas ou tout panache à proximité aurait des profils de contamination similaires... et la source est assez évidente... des déchets de traitement qui ont été enterrés et laissés à percoler pendant des années. Ah, redevenir ingénieur système JMP... J'ai toujours aimé travailler sur ce genre de problèmes "désordonnés" avec mes clients.
Re : dois-je utiliser l'analyse en composantes principales ou l'analyse par grappes k-means ?Merci à vous deux.Je vais commencer par là (analyse de cluster) et voir où cela mène.J'apprécie la contribution !
