Identifizieren der Spalten, die am besten mit einer einzelnen Spalte korrelieren<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Hallo,
Ich habe eine Tabelle mit einer „Ergebnis“-Spalte und etwa 100 Prozessvariablenspalten. Ich möchte wissen, welche Prozessvariable mein Ergebnis am meisten beeinflusst.
Eine einfache Möglichkeit besteht darin, jede Prozessvariable vs. Ergebnis und schauen Sie sich die Boxplots für Korrelationen an. Aber die visuelle Inspektion von 100 Säulen ist ziemlich schwierig.
Gibt es eine Möglichkeit, diesen Prozess zu automatisieren?
Ich freue mich über Ihre Antwort.
Seshadri
Betreff: Identifizieren der Spalten, die am besten mit einer einzelnen Spalte korrelierenAuch ich versuche dieses Problem zu lösen. Können Sie mir, wenn möglich, Ihr Makro zusenden?
Meine E-Mail-Adresse: ndongariane20@gmail.com
Ich werde dir dankbar sein.
Betreff: Identifizieren der Spalten, die am besten mit einer einzelnen Spalte korrelierenHallo Seshadri,
Kannst du das Makro mit mir teilen? Ich versuche schon seit einiger Zeit, so etwas zu schaffen.
Meine E-Mail lautet: swami.kunal@yahoo.com
Ich habe auch eine Sammlung von Hilfsmakros
Ich weiß nicht, ob sie für Sie von Nutzen wären, aber ich würde sie gerne weitergeben.
DankeBetreff: Identifizieren der Spalten, die am besten mit einer einzelnen Spalte korrelierenIch stehe vor einer ähnlichen, wiederkehrenden Herausforderung – außer dass meine nicht immer in Bezug auf eine „Ergebnis“-Spalte gestellt wird.Die Frage, die mir häufig gestellt wird, lautet: „Welche Spaltenkombinationen [Variablen, Attribute, wie auch immer Sie sie nennen möchten] kommen in den Daten am häufigsten vor?“Ich habe die folgenden Techniken in Betracht gezogen: Entscheidungsbäume, Clusteranalyse und regressionsartige Methoden.Alle erfordern ein „Ziel“ oder eine abhängige Variable.Mich interessiert, wie die Daten auf eine Vielzahl von Variablen verteilt sind – bei welcher Kombination dieser Variablen ist die Dichte (Anzahl der Fälle) am größten?
Ich helfe dir wahrscheinlich nicht, Seshadri, aber ich brauche auch Rat zu diesem ähnlichen Thema.Ich werde die bereits vorgeschlagenen Beiträge lesen – aber wenn jemand weitere Ideen hat, posten Sie sie bitte!
Danke.
Betreff: Identifizieren der Spalten, die am besten mit einer einzelnen Spalte korrelierenIch habe ein Makro, %BESTCORR, das den Satz von Variablen berechnet, die stark mit einer abhängigen Variable (Antwortvariable), aber nur minimal miteinander korreliert sind. Das Makro ist parametrisiert, sodass Sie die Definition (Mindestkorrelation für Multikollinearität), den unteren Schwellenwert für Korrelationen für berücksichtigte Variablen und die Anzahl der zu meldenden Variablen angeben können.
Wenn Sie den Code möchten, ist er kostenlos. Schicken Sie mir einfach eine Nachricht und ich werde das Makro per E-Mail an Sie senden (und an alle anderen, die es möglicherweise nützlich finden).
Betreff: Identifizieren der Spalten, die am besten mit einer einzelnen Spalte korrelierenSeshardi schreibt: „Ich möchte wissen, welche Prozessvariable mein Ergebnis am meisten beeinflusst.“ Dabei handelt es sich nicht um ein Korrelationsproblem, sondern um das Problem der besten Variablen: Durchsuchen einer großen Anzahl von Variablen, um eine kurze Liste der einflussreichsten Faktoren für die Verwendung in einem Modell zu ermitteln. Es gibt verschiedene Methoden, diese Frage zu beantworten. Ich finde einen Bootstrap Forest für diesen Zweck sehr hilfreich. George Hurley präsentierte auf der NESUG-Konferenz 2012 einen Artikel über Bootstrap Forest in JMP – hier ist der Link zu Lex Jansen: http://www.lexjansen.com/mwsug/2012/JM/MWSUG-2012-JM04.pdf . Ich habe auf der NESUG eine Präsentation über Bootstrap Forest in Base SAS gehalten, aber ich habe gehört, dass Sie in JMP arbeiten. Meine NESUG-Präsentation war nur ein Sub, den ich über Nacht geschrieben habe, um einen Autor zu vertreten, der leider absagen musste; Ich glaube nicht, dass es in der Tagungsband ist, aber ich werde in den nächsten Tagen eine Diashow darüber veröffentlichen.
Wenn Sie ein bestimmtes Ergebnis vorhersagen möchten, das einer Regressionsanalyse zugänglich ist, sollten Sie das XCSTAT-Makro von Raimi und Lund in Betracht ziehen: http://www.mwsug.org/proceedings/2011/stats/MWSUG-2011-SA03.pdf . Derzeit ist es nur in SAS verfügbar, nicht in JMP.
Betreff: Identifizieren der Spalten, die am besten mit einer einzelnen Spalte korrelierenWas ich mache, ist, die Option für paarweise Korrelationen zu verwenden und dann das Tablet zu sortieren. Sie können nach Pvlue oder nach der Korrelation selbst sortieren, um herauszufinden, was für Sie am nützlichsten ist.
Um die paarweise Korrelation zu erhalten, können Sie auf das rote Dreieck klicken und es aus dem Menü auswählen. Wenn Sie es dauerhaft wünschen, gehen Sie zu Datei >> Einstellungen >> Plattformen >> Multivariat und aktivieren Sie das Kontrollkästchen für „paarweise Korrelationen“.
Um die Tabelle zu sortieren, müssen Sie lediglich mit der rechten Maustaste auf die paarweise Korrelationstabelle selbst klicken und „Nach Spalte sortieren“ wählen.
Leider kenne ich keine Möglichkeit, die Tabelle standardmäßig zu sortieren oder die Sortierung per Skript durchzuführen. Dies ist auch eine Änderung, die nach Abschluss nicht im Skript aufgezeichnet wird, wenn Sie „Skript in Datentabelle speichern“.
Betreff: Identifizieren der Spalten, die am besten mit einer einzelnen Spalte korrelierenWenn Sie die höchste Korrelation wünschen, ist dies mit PROC CORR einfach zu erreichen. Geben Sie die Korrelationen in einen Datensatz aus, nehmen Sie den Absolutwert der Korrelationen und sortieren Sie sie dann.
Allerdings arbeite ich schon seit einiger Zeit mit Daten aus Fertigungsprozessen. Ich möchte Sie dringend bitten, das Ziel zu ändern. Oft gibt es mehrere Variablen mit ähnlichen Korrelationen, und die Variable mit der höchsten Korrelation kann sich hinsichtlich der Korrelation „statistisch nicht von der Variablen unterscheiden, die an zweiter oder dritter Stelle steht.“ Und es könnte sich herausstellen, dass sich die drei Korrelationen alle auf ein einziges Phänomen beziehen oder dass basierend auf dem Wissen des ersten Prinzips die dritte Variable höchstwahrscheinlich mit der wahren „Ursache“ zusammenhängt. Bei Auswahl der höchsten Korrelation werden diese Informationen möglicherweise nicht angezeigt.
Während es also verlockend ist, sich die „höchste Korrelation“ anzusehen, möchten Sie vielleicht wirklich die verschiedenen höchsten Korrelationen betrachten. Möglicherweise möchten Sie eine Modellierungstechnik verwenden, die diese Ideen wirklich berücksichtigt, z. B. Partial Least Squares (PROC PLS), die Ihnen einen Vektor liefert, der angibt, welche Variablen am stärksten mit der Antwort korrelieren, und ein Balkendiagramm der Ladungen liefert Sie erhalten eine visuelle Darstellung, welche Prozessvariablen (Plural) in hohem Maße mit Ihrer Reaktion korrelieren. Der Einsatz von PLS auf Variablen von Fertigungsprozessen ist ein großes Forschungsgebiet, über das zahlreiche Fachzeitschriftenartikel und viele, viele erfolgreiche Anwendungen geschrieben wurden.
Das andere Problem besteht darin, dass das Vorhandensein eines oder mehrerer Ausreißer die Korrelationen stark verzerren kann. Wie findet man Ausreißer in einem großen Datensatz wie diesem? Das ist ein ganz anderes Thema, aber eines, das Sie im Hinterkopf haben sollten.
UPDATE: Okay, ich habe die Antwort für SAS gegeben. Ich sehe, dass Sie JMP verwenden, aber es gelten die gleichen Ideen.
