Metriken für die DiskriminanzanalyseIch habe eine Diskriminanzanalyse, die ich verwende, um einige Materialien zu klassifizieren.Funktioniert ziemlich gut und ich werde es in Kürze zur Produktion bringen.Einige Elemente enden natürlich als "Randfälle", bei denen geringfügige Variationen sie von einer Klassifizierung zur nächsten verschieben können.So wird beispielsweise Probe A-1 (erste Probenahme von Strom A) als Gamma-Objekt klassifiziert, während Probe A-2 (zweite Probe von Strom A) aufgrund kleiner Variationen in ihrer Natur als Theta-Objekt klassifiziert wird .
Alternativ habe ich Fälle, in denen das Material einfach nicht gut in eine der Klassen passt, sondern einer zugewiesen wird.
Was ich suche, ist der beste Weg, um eine Bewertungsmetrik dafür zu normalisieren, wie gut etwas zu ihrer zugewiesenen Klasse passt.Soweit ich das beurteilen kann, verwendet die Wahrscheinlichkeitsfunktion eine Logit-Funktion, so dass sie ihrer Natur nach zu viel exponentielle Bewegung hat, um dort viel Wert zu haben (im Grunde zeigt der A1- und A2-Flip oben 99% für jede Kategorie basierend auf Minutenstörungen).
Alternativ habe ich versucht, den SQDIST-Parameter zu betrachten.Das Problem bei diesem ist, dass es nicht normalisiert ist, sodass Sie sehr kleine SQDISTs für einen engen Cluster und sehr große SQDISTS für einen anderen großen Cluster sehen können.Ich habe versucht, jeden SQDIST auf den Median des Clusters zu normalisieren, was half, aber immer noch nicht das gewünschte Ergebnis lieferte.Vielleicht Z-Score sie?
Wie auch immer, ich frage mich nur, ob es dafür bereits einen guten Standardparameter gab?Hier sind die Details von dem, was ich möchte
1) normalisierte Metrik dafür, wie gut die Daten in ihren besten Bucket passen
2) normalisierte Metrik dafür, wie gut die Daten in ihren zweitbesten Bucket passen.
3) Diese haben genügend Linearität, um leicht interpretierbar zu sein (kein exponentielles Zerfall / Wachstum)
Die Normalisierung ist wirklich der Schlüssel.Mein Ziel wäre es letztendlich, eine Kontrollkarte mit neuen Daten zu entwickeln, die von der LDA verarbeitet werden, um Ausreißer zu erkennen, sobald sie eintreffen, und um den Gesamtzustand der LDA-Klassen zu messen.
AnalytikBetreff: Metriken für die DiskriminanzanalyseHallo Evan_Morris!
Eine unbequeme Antwort auf Ihre Frage ist, dass es keine perfekte Metrik gibt, um die Leistung Ihres Klassifizierungsproblems zu messen.Eine schnelle Websuche kann 30-50 verschiedene Metriken identifizieren, die versuchen, die Ergebnisse einer Verwirrungsmatrix zusammenzufassen, und das ist ein blinkendes Zeichen dafür, dass es bei allen unter verschiedenen Bedingungen Probleme gibt.Diese Bedingungen herauszufinden, ist eine Übung, die normalerweise dem Leser überlassen wird. 
Eine Frage: Statistiker verwenden das Wort "normalisiert" tendenziell anders als andere Berufe.Was meinen Sie, wenn Sie sagen "Die Normalisierung ist wirklich der Schlüssel."?Was bedeutet Normalisierung für Sie?Bedeutet "Normalisierung" = "Korrektur für Klassenungleichgewicht"?
Eine Möglichkeit, dies zu tun, wäre, einen Erwünschtheitsansatz für die Fläche unter der Kurve der Empfängerbetriebskurve (ROC-Kurve) zu verwenden, die unter dem kleinen invertierten roten Dreieck (LIRT) von JMP neben der Diskriminanzanalyse -> Bewertungsoptionen -> ROC-Kurve verfügbar ist .Klicken Sie mit der rechten Maustaste auf die AUC-Tabelle und wählen Sie Make Into Data Table.Setzen Sie die individuellen Erwünschtheiten jeder Klasse auf 1 bei 1 und Null bei 0,5-0, und berechnen Sie ein geometrisches Mittel der einzelnen Erwünschtheiten, gewichtet nach der Stichprobengröße in jeder Klasse.Verwenden Sie diese zusammengefasste Erwünschtheit als Wertmaßstab.
Eine andere Möglichkeit: Es gibt Referenzen, die behaupten, dass der Korrelationskoeffizient von Matthäus einigen anderen populären Leistungsmetriken für binäre Klassifikationen überlegen ist, insbesondere im Fall von Klassenungleichgewichten, teilweise weil er jede Zelle in der Verwirrungsmatrix explizit verwendet.Das MCC wurde auf den Fall mit mehreren Klassen verallgemeinert (von dem ich annehme, dass Sie ihn haben), genannt Rk .
Ihre Anwendung ist mir nicht bekannt und ich kann keine der beiden Vorgehensweisen mit Überzeugung empfehlen.Es scheint mir jedoch klar zu sein, dass jeder Ansatz ein JSL-Skript erfordern würde, und jeder würde viel Aufwand und Tests erfordern.
Ich hoffe, jemand hat eine effizientere und effektivere Antwort auf Ihre Frage als ich.
Viel Glück!
Betreff: Metriken für die DiskriminanzanalyseEine Abkürzungslösung, die ich gefunden habe (danke Di!), bestand darin, die Funktion Col Standardize mit einer bygroup-Variablen zu verwenden.Dies standardisiert die Daten um die Normalverteilung, denke ich, was nicht zu 100% funktioniert, da die Daten stark verzerrt sind, aber es ist immer noch verdammt effektiv und sehr einfach einzurichten.
