Méthode d'estimation PCA pour les valeurs manquantes (log transformé)<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Salut,
Je suis débutant en statistiques et également avec JMP, j'espère donc que quelqu'un pourra m'aider avec ma question ci-dessous. J'essaie d'utiliser le module de covariance PCA de JMP sur un ensemble de données environnementales relativement petit de 80 lignes x 10 colonnes (800 valeurs). Mon objectif est de réduire l'ensemble de données afin de pouvoir prédire si les 10 variables (dans les colonnes) varient sur 80 emplacements (80 lignes). Les variables ont toutes les mêmes unités et j'ai transformé les données en log10.
Mon problème est qu'il me manque des valeurs pour certaines cellules (c'est-à-dire les emplacements où la variable n'a pas été détectée au LOD). Lorsque j'utilise la méthode d'estimation par défaut (REML), j'obtiens environ 80 % de la variance expliquée par PC1. Mais lorsque j'utilise les données exactes avec la méthode Row-Wise, cette valeur tombe à 60 %. J'aimerais comprendre pourquoi. Je comprends que REML utilise toutes mes données et que la méthode Row-Wise omet apparemment les valeurs manquantes. Mais que signifie omettre à cet égard, utiliser zéro à la place et diminuer ainsi la variance calculée ? La question générale pour moi est la suivante : quelle méthode est la plus conservatrice pour interpréter les données lorsque les valeurs manquantes sont dues à des non-détections dans l'ensemble de données ?
De plus, j'ai essayé d'ajouter +1 à l'ensemble de données transformées en log10 pour éviter le problème de valeur manquante (astuce d'un autre forum), mais JMP ne me permet pas d'ajouter +1 aux cellules vides transformées en log10. J'utilise JMPPro 12.
Merci beaucoup pour votre aide! Sacha
Re : Méthode d'estimation PCA pour les valeurs manquantes (log transformé)Merci DanO, je vais essayer d'utiliser cette déclaration avec mes données !
Re : Méthode d'estimation PCA pour les valeurs manquantes (log transformé)Super, merci beaucoup, Jiancao ! Cela aide beaucoup !
Re : Méthode d'estimation PCA pour les valeurs manquantes (log transformé)jiancao a répondu à la question de modélisation, mais vous avez déclaré que JMP ne vous permettrait pas de remplacer par 1 les valeurs manquantes lors de la transformation du journal. En fait, c'est possible, mais il vous suffit d'ajouter une instruction conditionnelle comme celle-ci :
Re : Méthode d'estimation PCA pour les valeurs manquantes (log transformé)Le REML suppose un modèle normal multivarié linéaire, ce qui implique que chaque variable est linéairement liée à toutes les autres variables et que chaque variable est normalement distribuée. Ce que vous avez fait est légitime. Assurez-vous simplement que vos variables ne sont pas très asymétriques en raison de valeurs aberrantes extrêmes, etc.
Re : Méthode d'estimation PCA pour les valeurs manquantes (log transformé)Merci beaucoup, Jiancao!
REML était également mon intuition puisque les non-détections ne sont pas complètement aléatoires (par exemple, certaines variables n'ont pas été détectées dans un certain groupe de mes 80 emplacements).
Vous avez mentionné que je devrais être conscient de la distribution normale multivariée que je supposerais, en utilisant REML. Que voulez-vous dire exactement par cela et comment puis-je vérifier cette distribution normale de mes données ? Ce que j'ai fait jusqu'à présent, c'est vérifier la distribution de chaque variable à l'aide du tracé quantile de distribution normale dans JMP. Rien qu’à l’œil nu, je peux voir que tous les points de chaque variable suivent un modèle linéaire dans les intervalles de confiance. Est-ce une façon légitime de le faire ?
Merci encore,
Sacha
Re : Méthode d'estimation PCA pour les valeurs manquantes (log transformé)La méthode par lignes exclut ENTIÈREMENT les lignes de l'estimation lorsqu'il y a au moins une seule cellule manquante ; cela ne remplace pas un 0. REML utilise toutes les cellules non manquantes dans son estimation, en d'autres termes, seules les cellules manquantes de cette ligne ne sont pas utilisées. Ainsi, les données réelles utilisées par Row-wise sont inférieures à celles de REML lorsqu'il manque des données.
Il est difficile de dire avec certitude quelle méthode est la plus conservatrice ou la meilleure – cela dépend de la nature des disparitions. Ces non-détections sont-elles complètement aléatoires ?Si tel est le cas, la méthode par lignes peut être acceptable. Sinon, utilisez REML car il s'agit essentiellement d'une méthode d'imputation de données manquantes en ajustant un modèle mixte, mais soyez simplement conscient de la distribution normale multivariée supposée. Personnellement, j'opterais pour REML.
