Identifizieren von Spalten, die am besten mit einer einzelnen Spalte korrelieren<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Hi,
Ich habe eine Tabelle mit einer "Ergebnis" -Spalte und ungefähr 100 Prozessvariablenspalten. Ich möchte wissen, welche Prozessvariable mein Ergebnis am meisten beeinflusst.
Eine einfache Möglichkeit besteht darin, jede Prozessvariable vs. Ergebnis und werfen Sie einen Blick auf die Boxplots für Korrelationen. Aber die visuelle Inspektion von 100 Säulen ist ziemlich schwierig.
Gibt es eine Möglichkeit, diesen Prozess zu automatisieren.
Ich schätze Ihre Antwort.
Seshadri
Betreff: Identifizieren von Spalten, die am besten mit einer einzelnen Spalte korrelierenAuch ich versuche dieses Problem zu lösen. Kannst du mir wenn möglich dein Makro schicken.
Meine E-Mail-Adresse: ndongariane20@gmail.com
Ich werde dir dankbar sein.
Betreff: Identifizieren von Spalten, die am besten mit einer einzelnen Spalte korrelierenHallo Seshadri,
Kannst du das Makro mit mir teilen? Ich habe eine Weile versucht, so etwas zu erstellen.
Meine E-Mail lautet: swami.kunal@yahoo.com
Ich habe auch eine Sammlung von Utility-Makros
Ich weiß nicht, ob sie dir irgendeinen Zweck erfüllen würden, aber ich würde sie gerne teilen.
Vielen DankBetreff: Identifizieren von Spalten, die am besten mit einer einzelnen Spalte korrelierenIch habe eine ähnliche wiederkehrende Herausforderung - außer dass meine nicht immer in Bezug auf eine "Ergebnis" -Spalte gestellt wird.Die Frage, die mir häufig gestellt wird, lautet: „Welche Kombination von Spalten [Variablen, Attribute, wie auch immer Sie sie nennen möchten] sind in den Daten am häufigsten?“Ich habe die folgenden Techniken in Betracht gezogen: Entscheidungsbäume, Clusteranalyse und Regressionsmethoden.Alle erfordern ein "Ziel" oder eine abhängige Variable irgendeiner Art.Mich interessiert, wie die Daten auf eine Vielzahl von Variablen verteilt sind - für welche Kombination dieser Variablen ist die Dichte (Anzahl der Fälle) am größten?
Ich helfe dir wahrscheinlich nicht, Seshadri, aber ich brauche auch Anleitung zu diesem ähnlichen Thema.Ich werde die bereits vorgeschlagenen Beiträge lesen - aber wenn jemand zusätzliche Ideen hat, postet sie bitte!
Vielen Dank.
Betreff: Identifizieren von Spalten, die am besten mit einer einzelnen Spalte korrelierenIch habe ein Makro, %BESTCORR, das den Satz von Variablen berechnet, die stark mit einer abhängigen (Antwort-)Variablen, aber minimal miteinander korreliert sind. Das Makro ist parametrisiert, sodass Sie die Definition (Mindestkorrelation für Multikollinearität), den unteren Schwellenwert für Korrelationen für berücksichtigte Variablen und die Anzahl der zu meldenden Variablen angeben können.
Wenn Sie den Code möchten, ist er kostenlos. Senden Sie mir einfach eine Nachricht und ich schicke Ihnen (und allen anderen, die es nützlich finden könnten) das Makro per E-Mail.
Betreff: Identifizieren von Spalten, die am besten mit einer einzelnen Spalte korrelierenSeshardi schreibt: „Ich möchte wissen, welche Prozessvariable mein Ergebnis am meisten beeinflusst“. Dies ist kein Korrelationsproblem – dies ist das Problem der besten Variablen: Durchsuchen einer großen Anzahl von Variablen, um eine kurze Liste der einflussreichsten Faktoren zu ermitteln, die in einem Modell verwendet werden sollen. Es gibt mehrere Methoden, um diese Frage zu beantworten. Ich finde einen Bootstrap Forest für diesen Zweck sehr hilfreich. George Hurley präsentierte auf der NESUG-Konferenz 2012 ein Papier über Bootstrap Forest in JMP - hier ist der Link zu Lex Jansen: http://www.lexjansen.com/mwsug/2012/JM/MWSUG-2012-JM04.pdf . Ich habe eine Präsentation über Bootstrap Forest in Base SAS bei NESUG gehalten, aber ich habe gehört, dass Sie in JMP arbeiten. Meine NESUG-Präsentation war nur ein Untertitel, den ich über Nacht geschrieben habe, um ihn für einen Autor zu ersetzen, der leider absagen musste; Ich glaube nicht, dass es in den Verfahren steht, aber ich werde in den nächsten Tagen eine Diashow darüber veröffentlichen.
Wenn Sie ein bestimmtes Ergebnis vorhersagen möchten, das für eine Regressionsanalyse geeignet ist, sollten Sie das XCSTAT-Makro von Raimi und Lund in Betracht ziehen: http://www.mwsug.org/proceedings/2011/stats/MWSUG-2011-SA03.pdf . Es ist derzeit nur in SAS verfügbar, nicht in JMP.
Betreff: Identifizieren von Spalten, die am besten mit einer einzelnen Spalte korrelierenWas ich tue, ist die Option paarweise Korrelationen zu verwenden und dann das Tablet zu sortieren. Sie können nach pvlue oder nach der Korrelation selbst sortieren, um zu sehen, was für Sie am nützlichsten ist.
Um die paarweise Korrelation zu erhalten, können Sie auf das rote Dreieck klicken und es aus dem Menü auswählen. Wenn Sie es dauerhaft möchten, gehen Sie zu Datei>>Einstellungen>>Plattformen>>Multivariat und aktivieren Sie das Kontrollkästchen für "paarweise Korrelationen.
Um die Tabelle zu sortieren, müssen Sie nur mit der rechten Maustaste auf die paarweise Korrelationstabelle selbst klicken und "Nach Spalte sortieren" auswählen.
Leider kenne ich keine Möglichkeit, die Tabelle standardmäßig zu sortieren oder die Sortierung zu scripten. Dies ist auch eine Änderung, die nach Abschluss nicht im Skript aufgezeichnet wird, wenn Sie "Skript in Datentabelle speichern".
Betreff: Identifizieren von Spalten, die am besten mit einer einzelnen Spalte korrelierenWenn Sie die höchste Korrelation wünschen, können Sie dies ganz einfach mit PROC CORR erreichen. Geben Sie die Korrelationen in einen Datensatz aus, nehmen Sie den Absolutwert der Korrelationen und sortieren Sie dann.
Ich arbeite jedoch schon seit geraumer Zeit mit Fertigungsprozessdaten. Lassen Sie mich Sie dringend bitten, das Ziel zu ändern. Oft haben Sie mehrere Variablen mit ähnlichen Korrelationen, und diejenige mit der höchsten Korrelation könnte korrelationsmäßig „statistisch nicht unterschiedlich“ von derjenigen sein, die auf dem zweiten oder dritten Platz steht. Und es kann sich herausstellen, dass sich die drei Korrelationen alle auf ein einziges Phänomen beziehen oder dass die dritte Variable basierend auf dem Wissen des ersten Prinzips höchstwahrscheinlich mit der wahren "Ursache" zusammenhängt. Wenn Sie also die höchste Korrelation auswählen, werden diese Informationen möglicherweise nicht angezeigt.
Während es also verlockend ist, sich die „höchste Korrelation“ anzusehen, sollten Sie sich vielleicht wirklich die mehreren höchsten Korrelationen ansehen. Möglicherweise möchten Sie eine Modellierungstechnik verwenden, die diese Ideen wirklich berücksichtigt, wie z. B. Partial Least Squares (PROC PLS), die Ihnen einen Vektor liefert, der angibt, welche Variablen am stärksten mit der Antwort korrelieren, und ein Balkendiagramm der Ladungen liefert Sie mit einem Bild davon, welche Prozessvariablen (Plural) stark mit Ihrer Reaktion korrelieren. Die Verwendung von PLS auf Variablen des Fertigungsprozesses ist ein großes Studiengebiet, mit vielen darüber geschriebenen Zeitschriftenartikeln und vielen, vielen erfolgreichen Anwendungen.
Das andere Problem dabei ist, dass das Vorhandensein eines oder mehrerer Ausreißer die Korrelationen stark verzerren kann. Wie findet man Ausreißer in einem so großen Datensatz? Das ist ein ganz anderes Thema, aber eines, das Sie im Hinterkopf haben sollten.
UPDATE: Okay, ich habe die Antwort für SAS gegeben, wie ich sehe, verwenden Sie JMP, aber es gelten dieselben Ideen.
