Metriken für die DiskriminanzanalyseIch habe eine Diskriminanzanalyse, die ich verwende, um einige Materialien zu klassifizieren.Funktioniert ziemlich gut und ich werde es in Kürze in die Produktion bringen.Einige Artikel werden natürlich zu Grenzfällen, in denen geringfügige Abweichungen sie von einer Klassifizierung zur nächsten verschieben können.So wird beispielsweise Probe A-1 (erste Abtastung von Stream A) als Gamma-Objekt klassifiziert, während Probe A-2 (zweite Abtastung von Stream A) aufgrund kleiner Abweichungen in ihrer Natur als Theta-Objekt klassifiziert wird .
Alternativ habe ich Fälle, in denen das Material einfach nicht gut in eine der Klassen passt, aber einer zugewiesen wird.
Was ich suche, ist der beste Weg, um eine Bewertungsmetrik dafür zu normalisieren, wie gut etwas zu ihrer zugewiesenen Klasse passt.Soweit ich das beurteilen kann, verwendet die Wahrscheinlichkeitsfunktion eine Logit-Funktion, sodass sie zu viel exponentielle Bewegung in ihrer Natur hat, um dort viel Wert zu haben (im Grunde zeigt der A1- und A2-Flip oben 99% für beide Kategorien, basierend auf winzigen Störungen).
Alternativ habe ich versucht, den SQDIST-Parameter zu betrachten.Das Problem dabei ist, dass es nicht normalisiert ist, sodass Sie sehr kleine SQDISTs für einen engen Cluster und sehr große SQDISTS für einen anderen großen Cluster sehen können.Ich habe versucht, jeden SQDIST auf den Median des Clusters zu normalisieren, das hat geholfen, aber immer noch nicht das gewünschte Ergebnis geliefert.Vielleicht Z-Score sie?
Wie auch immer, ich frage mich nur, ob es dafür bereits einen guten Standardparameter gibt?Hier sind die Details dessen, was ich möchte
1) Normalisierte Metrik dafür, wie gut die Daten in ihren besten Bucket passen
2) Normalisierte Metrik dafür, wie gut die Daten in ihren zweitbesten Bucket passen.
3) Genügend Linearität in diesen haben, um leicht interpretierbar zu sein (kein exponentielles Abklingen/Wachstum)
Die Normalisierung ist wirklich der Schlüssel.Letztendlich wäre mein Ziel, eine Kontrollkarte mit neuen Daten zu entwickeln, während sie von der LDA verarbeitet werden, um Ausreißer zu erkennen, sobald sie eingehen, und um den Gesamtzustand der LDA-Klassen zu messen.
AnalytikRe: Metriken für die DiskriminanzanalyseÜbrigens ist die Praxis des „Zentrierens und Skalierens“ von Daten sehr verbreitet. Diese Praxis impliziert oder nimmt nicht notwendigerweise eine Normalverteilung an.
Re: Metriken für die DiskriminanzanalyseEine Abkürzungslösung, die ich gefunden habe (danke Di!), bestand also darin, die Col Standardize-Funktion mit einer Bygroup-Variablen zu verwenden.Dies standardisiert die Daten um die Normalverteilung herum, denke ich, was nicht 100% funktioniert, da die Daten stark verzerrt sind, aber es ist immer noch verdammt effektiv und war sehr einfach zu implementieren.
Re: Metriken für die DiskriminanzanalyseHallo, Evan_Morris!
Eine unbequeme Antwort auf Ihre Frage ist, dass es keine perfekte Metrik gibt, um die Leistung Ihres Klassifizierungsproblems zu messen.Eine schnelle Websuche kann 30-50 verschiedene Metriken identifizieren, die versuchen, die Ergebnisse einer Konfusionsmatrix zusammenzufassen, und das ist ein blinkendes Zeichen dafür, dass es unter verschiedenen Bedingungen Probleme mit ihnen gibt.Diese Bedingungen herauszufinden, ist eine Übung, die normalerweise dem Leser überlassen wird. 
Eine Frage: Statistiker verwenden das Wort „normalisiert“ tendenziell anders als andere Berufe.Was meinen Sie, wenn Sie sagen: "Die Normalisierung ist wirklich der Schlüssel."?Was bedeutet Normalisierung für Sie?Bedeutet „Normalisierung“ = „Korrektur für Klassenungleichgewicht“?
Eine Möglichkeit, dies zu tun, wäre ein Erwünschtheitsansatz für die Fläche unter der Kurve der Empfängerbetriebskurve (ROC-Kurve), die unter dem kleinen umgekehrten roten Dreieck (LIRT) von JMP neben der Diskriminanzanalyse -> Score-Optionen -> ROC-Kurve verfügbar ist .Klicken Sie mit der rechten Maustaste auf die AUC-Tabelle und wählen Sie Make Into Data Table.Setzen Sie die individuellen Erwünschtheiten jeder Klasse auf 1 bei 1 und null bei 0,5–0, und berechnen Sie ein geometrisches Mittel der individuellen Erwünschtheiten, gewichtet mit der Stichprobengröße in jeder Klasse.Verwenden Sie diese zusammengefasste Erwünschtheit als Gütezahl.
Ein anderer Weg: Es gibt Referenzen, die behaupten, dass der Matthew-Korrelationskoeffizient einigen anderen gängigen Leistungsmetriken für die binäre Klassifizierung überlegen ist, insbesondere im Fall von Klassenungleichgewichten, teilweise weil er explizit jede Zelle in der Konfusionsmatrix verwendet.Das MCC wurde verallgemeinert auf den Fall mit mehreren Klassen (von dem ich annehme, dass Sie es haben) genannt Rk .
Ich bin mit Ihrer Anwendung nicht vertraut und kann keinen der beiden Ansätze mit Zuversicht empfehlen.Es scheint mir jedoch klar zu sein, dass beide Ansätze ein JSL-Skript erfordern würden, und jeder würde viel Aufwand und Tests erfordern.
Ich hoffe, jemand hat eine effizientere und effektivere Antwort auf Ihre Frage als ich.
Viel Glück!
