Metriche per l'analisi discriminanteHo un'analisi discriminante che sto usando per classificare alcuni materiali.Funziona abbastanza bene e lo porterò in produzione a breve.Alcuni elementi, naturalmente, finiscono per essere "casi limite" in cui lievi variazioni in essi possono spostarli da una classificazione all'altra.Quindi, ad esempio, il campione A-1 (primo campionamento del flusso A) finisce per essere classificato come oggetto Gamma, mentre il campione A-2 (secondo campionamento del flusso A) è classificato come oggetto Theta a causa di piccole variazioni nella loro natura .
In alternativa, ho casi in cui il materiale non si adatta perfettamente a nessuna delle classi ma è assegnato a una.
Quello che sto cercando è il modo migliore per normalizzare una metrica di punteggio per quanto bene qualcosa si adatta alla classe assegnata.Per quanto ne so, la funzione di probabilità sta utilizzando una funzione Logit, quindi ha troppo movimento esponenziale per sua natura per avere molto valore lì (in pratica il capovolgimento A1 e A2 sopra mostrerà il 99% di entrambe le categorie in base a perturbazioni minime).
In alternativa ho provato a guardare il parametro SQDIST.Il problema con questo è che non è normalizzato, quindi puoi vedere SQDISTs molto piccoli per un cluster stretto e SQDISTS molto grandi per un altro cluster grande.Ho provato a normalizzare ogni SQDIST alla mediana del cluster, che ha aiutato ma non ha ancora dato il risultato che volevo.Forse z-score loro?
Ad ogni modo, mi chiedevo solo se esistesse già un buon parametro standard per questo?Ecco i dettagli di quello che vorrei
1) metrica normalizzata per quanto bene i dati si adattano al miglior bucket
2) metrica normalizzata per quanto bene i dati si adattano al secondo miglior segmento.
3) Avere abbastanza linearità in questi per essere facilmente interpretabili (nessun decadimento/crescita esponenziale)
La normalizzazione è davvero la chiave.Il mio obiettivo, in definitiva, sarebbe quello di sviluppare una tabella di controllo dei nuovi dati elaborati dall'ADL per rilevare i valori anomali quando entrano e per valutare lo stato di salute generale delle classi dell'ADL.
AnalisiRe: Metriche per l'analisi discriminanteCiao, Evan_Morris!
Una risposta scomoda alla tua domanda è che non esiste una metrica perfetta per misurare le prestazioni del tuo problema di classificazione.Una rapida ricerca sul Web può identificare 30-50 metriche diverse che cercano di riassumere i risultati di una matrice di confusione, e questo è un segno lampeggiante che ci sono problemi con tutte in condizioni diverse.Capire queste condizioni è un esercizio solitamente lasciato al lettore. 
Una domanda: gli statistici tendono a usare la parola "normalizzato" in modo diverso rispetto ad altre professioni.Cosa intendi quando dici "La normalizzazione è davvero la chiave"?Cosa significa per te normalizzazione?Fa "normalizzazione" = "correzione per squilibrio di classe"?
Un modo per farlo sarebbe quello di adottare un approccio di desiderabilità all'area sotto la curva della curva operativa del ricevitore (curva ROC) che è disponibile sotto il piccolo triangolo rosso invertito (LIRT) di JMP accanto all'analisi discriminante -> Opzioni punteggio -> Curva ROC .Fare clic con il tasto destro sulla tabella AUC e scegliere Trasforma in tabella dati.Imposta le desiderabilità individuali di ciascuna classe su 1 a 1 e zero su 0,5-0 e calcola una media geometrica delle desiderabilità individuali ponderata per la dimensione del campione in ciascuna classe.Usa questa desiderabilità riassunta come una figura di merito.
Un altro modo: ci sono riferimenti che affermano che il coefficiente di correlazione di Matthew è superiore ad alcune altre metriche di prestazioni di classificazione binaria popolari, specialmente nel caso di squilibrio di classe, in parte perché utilizza esplicitamente ogni cella nella matrice di confusione.L'MCC è stato generalizzato al caso multiclasse (che presumo tu abbia), chiamato Rk .
Non ho familiarità con la tua applicazione e non posso raccomandare con sicurezza nessuno dei due approcci rispetto all'altro.Tuttavia, mi sembra chiaro che entrambi gli approcci richiederebbero uno script JSL e ciascuno richiederebbe molti sforzi e test.
Spero che qualcuno abbia una risposta più efficiente ed efficace per la tua domanda di me.
In bocca al lupo!
Re: Metriche per l'analisi discriminanteQuindi una soluzione di scelta rapida che ho trovato (grazie Di!) È stata quella di utilizzare la funzione Col Standardize con una variabile per gruppo.Questo standardizza i dati attorno alla distribuzione normale, penso, che non funziona al 100% poiché i dati sono molto distorti, ma è comunque dannatamente efficace ed è stato molto facile da mettere in atto.
