Moindres carrés partielsBonjour à tous,
J'essaie d'effectuer des moindres carrés partiels multivariés sur mon ensemble de données dans JMP. Cet ensemble de données se compose de 10 lignes et 59 740 colonnes (données FT-IR, qui contiennent plusieurs milliers de mesures « discrètes » pour créer une courbe continue). J'obtiens l'erreur suivante lorsque j'essaie d'exécuter le PLS, en définissant 59 738 colonnes sur les facteurs X et deux colonnes sur la réponse Y.
Cet ensemble de données est structuré de la même manière que l'échantillon de données de la Baltique, mais avec beaucoup plus de mesures.
Est-ce que quelqu'un sait comment résoudre ce problème ? Cela fonctionne si je sélectionne seulement un petit nombre de réponses X et pas toutes les 59 738. Ai-je dépassé la capacité de données que JMP peut gérer ?
Merci
Re : Moindres carrés partielsJe réalise maintenant que je peux le faire en exécutant le PLS, puis en créant un modèle à l'aide de VIP. Cependant, j'obtiens des résultats étranges lorsque je fais cela sur mon ensemble de données réduit en X. Il décide que le nombre de facteurs pour minimiser PRESS est de 0 et je ne peux donc extraire aucune information significative. Ceci est contraire au PLS initial, qui décide de sept facteurs et a un pouvoir prédictif raisonnablement fort pour X (97,7 %) et Y (99,9 %). Il semble que la suppression des facteurs X non importants aggrave le modèle, ce qui ne me semble pas logique. Peut-être ai-je mal compris ce résultat ?Re : Moindres carrés partielsOK... les zéros sont des données numériques réelles. Je me demande, en fonction du message d'erreur, si quelque part dans la longue liste de plus de 50 000 variables prédictives, vous avez d'une manière ou d'une autre une ou plusieurs colonnes avec des valeurs manquantes entières ? Si j'interprète correctement le message d'erreur, le calcul de la moyenne des valeurs manquantes est la méthode de choix pour les valeurs manquantes. Avez-vous exécuté l'une des plates-formes d'exploration des valeurs manquantes pour voir si c'est en fait la cause première de l'erreur ? Si vous aviez une colonne de valeurs manquantes complètes, la moyenne ne peut pas être créée. Si les valeurs manquantes ne sont pas le problème... alors je suis perdu et je réfléchis avec @ian_jmp et @Bill_Worley contacter le support technique de JMP pourrait être le meilleur recours.
J'ai (au cours de mon mandat d'ingénieur système JMP) eu un jour un client qui rencontrait un message de type « erreur » similaire et la cause première était des valeurs manquantes dispersées dans la table de données, ce qui rendait impossible l'exécution de la plate-forme d'analyse qu'elle essayait d'utiliser. .
Re : Moindres carrés partielsMerci d'avoir souligné cela, ce sont de véritables valeurs numériques nulles et non des points de données manquants.Re : Moindres carrés partielsSalut Ian, merci pour la réponse. J'enverrai un e-mail au support JMP. J'ai tracé les données, et toutes les régions ne font pas de distinction entre les réponses. Je peux faire fonctionner le PLS en éliminant manuellement les facteurs X qui ne répondent pas (ce qui réduit en fait le nombre de colonnes à prendre en compte de quelque 59 738 à près de 8 000). Cependant, ce n'est pas idéal et je préférerais de loin pouvoir trouver une méthode systématique/calculée pour éliminer les facteurs X non réactifs plutôt que de le faire moi-même (ce qui, par définition, est sujet au surajustement et peut modéliser du bruit spectral). ).
D'une manière ou d'une autre, j'aimerais utiliser des coefficients de modèle mis à l'échelle et centrés pour décider des plages de nombres d'onde utiles ((critères par exemple coefficient >= 5 % du maximum ?). Je ne sais pas comment faire, et si vous aviez des idées, ce serait grandement apprécié.Re : Moindres carrés partielsUne autre question pour vous... les réponses « zéro » sont-elles vraiment numériquement nulles, ou simplement des espaces réservés pour peut-être une « valeur manquante » ? Les zéros me semblent étranges dans le contexte des autres valeurs de chaque colonne. JMP a besoin de savoir s'ils sont vraiment nuls (ce qui semble être la façon dont ils seront traités par votre analyse jusqu'à présent) ou s'ils sont manquants, alors comment aimeriez-vous gérer le « caractère manquant » ?
Re : Moindres carrés partielsJe suis d'accord avec Ian pour contacter l'assistance, mais il existe quelques autres options que vous pouvez essayer en cours de route.
Il semble que vous utilisiez JMP Pro.Avez-vous essayé la régression généralisée ?Vous pouvez limiter le nombre d'intensités importantes en utilisant une approche de régression pénalisée comme Elastic Net.
Un bon moyen d'examiner les données spectrales consiste également à utiliser Functional Data Explorer en utilisant des lignes comme fonctions.L'utilisation de vos sorties de concentrations d'imines et d'amines comme « Z supplémentaire » vous permettra d'utiliser la fonctionnalité DOE fonctionnelle (JMP Pro 15) pour obtenir un modèle de régression généralisée de vos données.Assurez-vous de mettre la colonne d'identification de votre échantillon pour l'adapter aux courbes individuelles et d'utiliser une P-Spline pour ajuster le modèle.Cela peut prendre un peu de temps avec 59 740 colonnes, mais je pense que cela vaut le coup.
HTH
Facture
Re : Moindres carrés partielsIl est probablement préférable d'envoyer un e-mail support@jmp.com faisant référence à ce fil.
D'un point de vue méthodologique, avez-vous tracé les données ? Vous attendez-vous à ce que toutes les régions de longueur d’onde/fréquence fassent la distinction entre les réponses ?
