Betreff: Datenanalyse, wenn viel mehr Spalten als Zeilen vorhanden sindHallo @Steph_Georges ,
Es gibt viele Optionen, je nachdem, ob Sie JMP oder JMP Pro verwenden.
Bevor ich direkt zur Analyse gehe, würde ich die Korrelationen zwischen Prozessparametern und zwischen Prozessparametern und Antwort (Defaults) visualisieren, da dies einen Hinweis auf korrelierte Variablen und einflussreiche Eingaben für die Analyse von Defaults geben könnte (Plattform „Multivariate“ in Analysieren -> Multivariate Methoden).
Dann einige Optionen, die Sie in Betracht ziehen sollten:
-JMP:
- Ein erster Ansatz könnte darin bestehen, eine Hauptkomponentenanalyse (PCA) durchzuführen und dann zu versuchen, die Standardantwort mit diesen PCA-Parametern zu modellieren. Bei diesem Ansatz verlieren Sie jedoch die Erklärbarkeit darüber, welche Faktoren die Standardwerte beeinflussen, da sie in PCA-Variablen kombiniert werden.
- Eine weitere Option wäre Partial Least Squares (PLS), ein sehr effizienter Ansatz, wenn Sie mit vielen korrelierten Variablen und sehr wenigen Beobachtungen zu tun haben. Es wird beispielsweise in der Spektralanalyse verwendet, wo Sie wenige Beobachtungen, aber viele Eingabedaten haben (z. B. Transmission/Intensität für jede Wellenlänge).
- Was auch interessant sein kann, ist das Predictor Screening auszuprobieren, um einen Überblick darüber zu erhalten, welche Faktoren am wichtigsten sind.
- JMP Pro:
- Anstelle des Predictor-Screenings können Sie "Random Forest" ausprobieren, wo Sie viel mehr Informationen zum Modell und die Möglichkeit zum Speichern von Formeln erhalten. Da RF Feature Bagging für jeden Baum verwendet, können Sie sicher sein, dass selbst im Falle von Multikollinearität und mehr Parametern als Beobachtungen jeder Parameter die gleiche Wahrscheinlichkeit hat, in einem Baum ausgewählt zu werden, sodass Sie einen guten Überblick darüber haben, welche Faktoren die Voreinstellungen beeinflussen.
- Sie können sich auch generalisierte Regressionsmodelle mit penalisierten Schätzmethoden wie Lasso, Ridge oder Elastic Net ansehen.
Dies sind die Modelle/Techniken, die ich zuerst ausprobieren würde, bevor ich komplexere Methoden ausprobiere.
Ich lasse Experten in dieser Community meine Antworten vervollständigen 
Ich hoffe, dies wird dir helfen,
Betreff: Datenanalyse, wenn viel mehr Spalten als Zeilen vorhanden sindVielen Dank, Victor, für deine äußerst schnelle und vollständige Antwort.
Da ich noch JMP Pro habe, kann ich alle von Ihnen genannten Hinweise testen.
Betreff: Datenanalyse, wenn viel mehr Spalten als Zeilen vorhanden sindPerfekt, dann haben Sie viele Möglichkeiten zum Ausprobieren!
Es kann interessant sein, die einfachsten Modelle auszuprobieren, bevor Sie in die JMP Pro-Modelle eintauchen, und die verschiedenen verwendeten Modelle zu vergleichen, nicht nur im Hinblick auf Leistung/Bedeutung, sondern auch mit Ihrem Fachwissen: Ist dieser Prozessparameter sinnvoll? ist in der Standardantwort (zum Beispiel) so wichtig?
Die Kombination der unterschiedlichen Erkenntnisse aus den verschiedenen Modellen mit Ihrer Fachkompetenz sollte Sie in die richtige Richtung führen.
Einen schönen Tag wünsche ich dir, Stéphane,
Betreff: Datenanalyse, wenn viel mehr Spalten als Zeilen vorhanden sindBetreiben Sie nur Data-Mining?
Ich habe folgende Gedanken:
1. Ich würde mit einer sorgfältigen Betrachtung der Spalten beginnen und rationale Hypothesen entwickeln, warum sie sich auf die Anzahl der Fehler oder die Fehlerrate auswirken oder nicht. Verwenden Sie diese Hypothesen als Leitfaden für die Iteration Ihres Modells.
2. Ich wäre vorsichtig mit der Verwendung von Defekten. Defekte können das Ergebnis unterschiedlicher Ausfallmechanismen sein und daher unterschiedliche ursächliche Strukturen aufweisen. Dies kann in der Gesamtheit der Defektdichte verloren gehen. Gibt es bessere Maßnahmen? Je kontinuierlicher die Maßnahmen, desto effektiver und effizienter ist die Studie.
3. Beim Data Mining stimme ich Victor bei der Beurteilung der Multikollinearität der Spaltenfaktoren zu. Streudiagramme eignen sich hierfür hervorragend.
4. Die Regression wäre ein Ausgangspunkt für die Untersuchung der Beziehungen zwischen Faktoren und Defekten. Auch hier kann die Art der Antwortvariablen die Verwendungsmöglichkeiten einschränken. Normalerweise würde ich mit linearen Effekten beginnen und einen additiven Ansatz zur Modellbildung wählen (Begriffe wie Interaktionen und nichtlineare Iterationen hinzufügen). Verfahren wie schrittweise und PLS können nützlich sein, sind aber immer in der Lage, die Beziehungen mit der Rationalisierung des Themas zu rechtfertigen . (Das ist bei PCA sehr schwierig)
5. Sie haben im gesamten Datensatz Messfehler und wahrscheinlich sogar bei der Klassifizierung von Fehlern. Es wird kaum eine Chance geben, dies anhand Ihres Datensatzes abzuschätzen.
6. Der Kontext ist wichtig. Wie Victor erwähnt, haben Sie möglicherweise verzögerte Variableneffekte und versteckte Variablen. Denken Sie daran, dass Sie Data Mining durchführen, um Ihre nächste Iteration effektiver zu gestalten (gezielte Stichproben oder Experimente) und NICHT, um Schlussfolgerungen zu ziehen.
Datenanalyse, wenn viel mehr Spalten als Zeilen vorhanden sindHallo zusammen
Ich möchte Sie um Hilfe bitten, da ich einen Datensatz habe mit:
- in Spalten Prozessparameter einer Produktionslinie für verzinkten Stahl
- reihenweise Coils, die auf dieser Produktionslinie verarbeitet wurden
Das Ziel besteht darin, eine Menge an Fehlern, die auf einem Coil auftreten, mit einem oder mehreren Prozessparametern zu korrelieren.
Leider habe ich einen Datensatz mit viel mehr Spalten (407) als Zeilen (63).
Haben Sie einen Rat für das weitere Vorgehen?
Erweiterte statistische ModellierungMassenanpassungQualitäts- und Verfahrenstechnik
