Teilweise kleinste QuadrateHallo alle,
Ich versuche, eine multivariate partielle Methode der kleinsten Quadrate für meinen Datensatz in JMP durchzuführen. Dieser Datensatz besteht aus 10 Zeilen und 59740 Spalten (FT-IR-Daten, die viele tausend „diskrete“ Messungen umfassen, um eine kontinuierliche Kurve zu erstellen). Ich erhalte die folgende Fehlermeldung, wenn ich versuche, PLS auszuführen und dabei 59738 Spalten auf die X-Faktoren und zwei Spalten auf die Y-Antwort festlege.
Dieser Datensatz ist genauso aufgebaut wie der baltische Beispieldatensatz, enthält jedoch viel mehr Messungen.
Weiß jemand, wie man das lösen kann? Es funktioniert, wenn ich nur eine kleine Anzahl der X-Antworten auswähle und nicht alle 59738. Habe ich die Datenkapazität überschritten, die JMP verarbeiten kann?
Danke
Betreff: Teilweise kleinste QuadrateMir ist jetzt klar, dass ich dies tun kann, indem ich PLS ausführe und dann mit VIP ein Modell erstelle. Allerdings erhalte ich einige seltsame Ergebnisse, wenn ich dies mit meinem X-reduzierten Datensatz mache. Es wird entschieden, dass die Anzahl der Faktoren zur Minimierung von PRESS 0 beträgt und ich daher keine aussagekräftigen Informationen extrahieren kann. Dies steht im Gegensatz zum anfänglichen PLS, das über sieben Faktoren entscheidet und über eine relativ starke Vorhersagekraft für X (97,7 %) und Y (99,9 %) verfügt. Es scheint, dass das Entfernen nicht wichtiger X-Faktoren das Modell verschlechtert, was für mich keinen Sinn ergibt. Vielleicht verstehe ich dieses Ergebnis falsch?Betreff: Teilweise kleinste QuadrateOK...die Nullen sind tatsächliche numerische Daten. Aufgrund der Fehlermeldung frage ich mich, ob irgendwo in der langen Liste von über 50.000 Prädiktorvariablen eine oder mehrere Spalten mit vollständig fehlenden Werten vorhanden sind. Wenn ich die Fehlermeldung richtig interpretiere, ist die Berechnung des Mittelwerts für fehlende Werte die Methode der Wahl für fehlende Werte. Haben Sie eine der Plattformen zur Erkundung fehlender Werte ausgeführt, um festzustellen, ob dies tatsächlich die Ursache des Fehlers ist? Wenn Sie eine Spalte mit vollständig fehlenden Werten haben, kann der Mittelwert nicht erstellt werden. Wenn fehlende Werte nicht das Problem sind ... dann bin ich ratlos und denke mit @ian_jmp Und @Bill_Worley Die Kontaktaufnahme mit dem technischen Support von JMP könnte die beste Lösung sein.
Ich (während meiner Tätigkeit als JMP-Systemingenieur) hatte einmal einen Kunden, der auf eine ähnliche Meldung vom Typ „Fehler“ stieß und deren Ursache fehlende Werte in der Datentabelle waren, die die Ausführung der Analyseplattform, die sie verwenden wollte, unmöglich machten .
Betreff: Teilweise kleinste QuadrateVielen Dank für den Hinweis, es handelt sich um echte numerische Nullwerte und nicht um fehlende Datenpunkte.Betreff: Teilweise kleinste QuadrateHey Ian, danke für die Antwort. Ich werde dem JMP-Support eine E-Mail senden. Ich habe die Daten grafisch dargestellt, und nicht alle Regionen unterscheiden zwischen den Antworten. Ich kann das PLS zum Laufen bringen, indem ich die nicht reagierenden X-Faktoren manuell eliminiere (wodurch sich die Anzahl der zu berücksichtigenden Spalten tatsächlich von etwa 59.738 auf fast 8.000 verringert). Dies ist jedoch nicht ideal, und ich würde viel lieber eine systematische/berechnete Methode zur Eliminierung nicht reagierender ).
Irgendwie möchte ich skalierte und zentrierte Modellkoeffizienten verwenden, um über nützliche Wellenzahlbereiche zu entscheiden ((Kriterien, z. B. Koeffizient >= 5 % des Maximums?). Ich weiß nicht, wie ich das machen soll, und wenn Sie Ideen hätten, wären wir Ihnen sehr dankbar.Betreff: Teilweise kleinste QuadrateNoch eine Frage an Sie: Sind die „Null“-Antworten wirklich numerisch Null oder nur Platzhalter für möglicherweise einen „fehlenden Wert“? Nullen sehen für mich im Kontext der anderen Werte in jeder Spalte einfach seltsam aus. JMP muss wissen, ob sie wirklich Null sind (und es sieht so aus, als würden sie bisher in Ihrer Analyse so behandelt) oder ob sie fehlen. Wie möchten Sie dann mit dem „Fehlen“ umgehen?
Betreff: Teilweise kleinste QuadrateIch stimme Ian darin zu, den Support zu kontaktieren, aber es gibt noch einige andere Optionen, die Sie nebenbei ausprobieren können.
Es sieht so aus, als ob Sie JMP Pro verwenden.Haben Sie die generalisierte Regression ausprobiert?Sie können die Anzahl wichtiger Intensitäten mithilfe eines bestraften Regressionsansatzes wie Elastic Net begrenzen.
Eine weitere gute Möglichkeit, Spektraldaten anzuzeigen, ist die Verwendung des Functional Data Explorers mit Zeilen als Funktionen.Wenn Sie Ihre Ergebnisse der Konzentrationen von Iminen und Aminen als „Z-Ergänzung“ verwenden, können Sie die Functional DOE-Funktion (JMP Pro 15) nutzen, um ein verallgemeinertes Regressionsmodell Ihrer Daten zu erhalten.Stellen Sie sicher, dass Sie Ihre Proben-ID-Spalte so einfügen, dass sie zu den einzelnen Kurven passt, und verwenden Sie einen P-Spline, um das Modell anzupassen.Bei 59.740 Spalten kann das etwas dauern, aber ich glaube, es ist einen Versuch wert.
HTH
Rechnung
Betreff: Teilweise kleinste QuadrateWahrscheinlich am besten per E-Mail support@jmp.com Verweise auf diesen Thread.
Haben Sie die Daten aus methodischer Sicht grafisch dargestellt? Erwarten Sie, dass alle Wellenlängen-/Frequenzbereiche zwischen den Reaktionen unterscheiden?
