Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Mi piace il fatto che JMP stampi una matrice di confusione e un ROC per la regressione logistica (generalizzata), ma alcuni parametri importanti sembrano mancare dai risultati: precisione E Punteggio F1 .C'è un modo per includerli automaticamente nell'output? Oppure, viene calcolato nel modo più "automatico" possibile quando rieseguo un nuovo modello di classificazione.Sto cercando di evitare di ricalcolarli manualmente con ogni nuovo modello.
AGGIORNAMENTO: si prega di pubblicare solo le risposte alle domande. Non sto cercando un'opinione sull'uso o meno di Precision e F1. Sto cercando con sicurezza un modo per calcolarli automaticamente in JMP. Se non sei a conoscenza di tale tecnica, non c'è motivo di considerare se ciò sia fattibile o meno, o di pubblicare qualcosa di seguito. Grazie 
Ricerche sui consumatori e sul mercatoEsplorazione e visualizzazione dei datiModellazione predittiva e machine learningCondivisione e comunicazione dei risultatiRi: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Grazie Jim. Un esempio concreto come questo è quello che stavo cercando. Sono già tornato a Python, ma proverò il tuo esempio JSL più tardi.
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Gli esempi sono disponibili in Scambio file, gli esempi di script installati quando si installa JMP, direttamente nella guida allo scripting, installati anche quando si installa JMP, ecc. E oltre a ciò, ecco uno script di esempio che legge da un output e lo visualizza in una forma diversa come parte di un output.
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA\Big Class.jmp" );
// Run the Fit Y by X to get the XY plot
Biv = dt << Bivariate( Y( :height ), X( :weight ) );
// Run the distributions to get the stats
Dis = dt << Distribution( Continuous Distribution( Column( :height ) ), Continuous Distribution( Column( :weight ) ) );
// Extract the stats
heightMean = Report( dis )["Height"]["Summary Statistics"][Number Col Box( 1 )][1];
weightMean = Report( dis )["Weight"]["Summary Statistics"][Number Col Box( 1 )][1];
// Create the new display object
hlb = H List Box(
Text Box( "Mean of Height = " ),
Number Edit Box( heightMean ),
Spacer Box( size( 30, 0 ) ),
Text Box( "Mean of Weight = " ),
Number Edit Box( weightMean )
);
// Add the new object to the plot
Report(Biv)[Outline Box(1)] << Append( hlb );
Dis << close window;
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Kevin, grazie per l'esempio.
Non ho problemi a eseguire un modello e a calcolare manualmente i punteggi F1 e Precision. Ma esiste un esempio per calcolarli automaticamente in JMP (che è quello che ho chiesto originariamente)?
Nel frattempo, ho codificato questi Python, il che ha richiesto meno tempo che pubblicare una domanda. Se qualcuno mi darà una risposta in futuro, farò volentieri un altro tentativo.
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Ciao, Oleg!
Non credo di aver interpretato male la tua domanda originale... ma questa è solo la mia opinione...
Ecco un esempio da provare:
Prendi Big Class.jmp. Esegui un'analisi della rete neurale ridicolmente sovradimensionata con il sesso come risposta e l'età, l'altezza e il peso come fattori. Considera la donna come il caso positivo.
Ho una tabella di contingenza simile a questa:
Scegli Trasforma in tabella dati.
PT= 16. FP=2. FN=2.
F1 può essere calcolato da 2*TP/(2*TP+FP+FN). Ottengo F1=0,89.
Questa è una cosa molto semplice da scrivere (secondo me , e puoi anche includere automaticamente questa metrica (e qualsiasi altra) su qualsiasi tuo output con uno script. Provaci e cercherò di aiutarti a ottenerlo se fallisci.
Buona fortuna.
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Ciao Kevin.
Se questo thread "Discussione" è simile a StackOverflow, mi aspetterei risposte chiare a domande chiare. Se sbaglio, sentiti libero di guidarmi verso le linee guida per pubblicare nelle discussioni. Posso leggere le opinioni degli altri sui giornali. Tuttavia, nel contesto della scienza e nello spirito del “get it done”, le risposte chiare e concise hanno un valore aggiunto.
A proposito, hai appena ammesso che ho ricevuto opinioni sulla mia domanda? LOL.
Ad ogni modo, sarebbe più efficace chiederti aiuto su questo.
Ti sei imbattuto in qualche esempio JSL che mi aiuterebbe a scrivere F1 e Precision e, preferibilmente, ad aggiungerlo alla pagina di output della regressione?
Saluti!
O.
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Ciao, Oleg!
Forse è una scarsa familiarità con la lingua, ma la parola Discussions (il nome di questo sito nella Community) significa molto di più che semplici domande e risposte. Può giustamente includere opinioni, ammonizioni, suppliche, invettive e molte altre forme di dialogo, indipendentemente dai tuoi desideri.
Una delle tante cose che amo della statistica (e di JMP!) è che il lavoro veramente eccezionale e creativo sembra svolgersi nell'interfaccia tra la scienza delle applicazioni e l'arte. Vedere? La mia opinione.
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Kevin, potresti aver letto male la mia domanda originale. speravo un calcolo integrato sia di F1 che di precisione.JSL è un'alternativa ragionevole.
Hai un esempio che posso seguire?
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Grazie Jim.
1. Sono d'accordo
2. Il supporto chiede di utilizzare il gruppo di discussione, che è ciò che sto provando.
3. Certo, JSL è una buona direzione. Speravo che qualcuno lo avesse già implementato e potesse dare un esempio.
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Ciao Kevin. Apprezzo l'aiuto di Jim e gli ho fatto i miei complimenti e ho accettato le sue soluzioni ogni volta che era appropriato. Tuttavia non devo essere d’accordo con lui su ogni punto. In questo thread mi aspetto risposte alle domande poste, non opinioni su ciò che è di moda nel mondo ML.
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Ciao, Oleg!
Ecco il quadro generale: Jim Nelson ha risolto molti, molti problemi in questa comunità. Per favore, non imporgli le tue opinioni.
Ed ecco la mia opinione: potresti ottenere più aiuto con il tuo scripting se ti comporti come se avessi provato e chiedi aiuto con un po' meno arroganza.
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Jim, ecco come si svolge una discussione generando "buone ragioni" per aggiungere nuove funzionalità a JMP.
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?La mia risposta precedente doveva essere molto più semplice di quanto sembri tu l'abbia interpretata.
1. JMP non è perfetto, ma è piuttosto buono e gli sviluppatori tengono davvero il passo con le aree su cui stanno lavorando, quindi ciò che presentano merita una buona occhiata.
2. Il modo migliore per assicurarsi che la richiesta di miglioramento sia arrivata a JMP è inviarla a
support@jmp.com
3. La richiesta per F1 è già stata trattata in una recente traccia di discussione, quindi presumo che non ci sia un utente con una soluzione già pronta.Pertanto, il mio incoraggiamento è che sia ancora possibile farlo in JMP, dove è possibile codificare la soluzione utilizzando JSL
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Ciao Kevin, grazie per la risposta. Non capisco in che modo la preferenza degli altri per l'uso del punteggio F1 influenzerà la mia necessità in questa discussione? Ogni metrica ha un pregiudizio.Ci sono migliaia di pubblicazioni (più recenti). elogiando il valore di F1 e la precisione metrica.
In conclusione, in questa discussione cerco assistenza nell'auto-calcolo F1 e nei punteggi di precisione. Sì, può essere scritto; e apprezzerei molto l'aiuto di qualcuno che lo ha già implementato, in modo che questa ruota non venga reinventata.
Effettivamente sto già usando ROC, ma ho bisogno anche di F1 e precisione. Per lo meno, la risposta (se scoperta) alla domanda che ho posto aiuterà gli altri a calcolare automaticamente non solo F1 o il punteggio di precisione, ma qualsiasi metrica. Per favore, tieni a mente il quadro più ampio
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Ciao Jim, la tua risposta implica che JMP è perfetto e contiene proprio ciò di cui ha bisogno (fino a una buona ragione). Ciò significa che tutto ciò che manca in JMP non ha una buona ragione per essere presente in JMP. Un'affermazione interessante 
Le discussioni stesse generano numerose "buone ragioni" per le nuove funzionalità di JMP. È stata pubblicata una domanda sulla F1 (non sulla precisione) e rimane ancora senza risposta, tuttavia queste misure sono ampiamente discusse e utilizzate nelle pubblicazioni scientifiche.
Mi piace il tuo suggerimento di inviare un'e-mail al supporto, ma chiedono di avviare una discussione. La mia speranza è che la comunità dia la risposta, anche se non subito.
Se ritieni che la mia domanda possa essere migliorata, accolgo con favore i tuoi suggerimenti.
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Ciao, Oleg!
I punteggi F1 (e altre "importanti" misure di precisione popolari) sono stati deprecati in alcuni angoli della comunità del Machine Learning per le loro prestazioni sotto bias. Si prega di fare riferimento al file allegato, che suggerisce l'utilità delle curve operative del ricevitore e alcune altre misure.
E come nota Jim, puoi scrivere tutto ciò che il tuo cuore desidera.
Ri: Come posso calcolare automaticamente la precisione e il punteggio F1 per i modelli su dati sbilanciati?Secondo la mia esperienza, se JMP non fornisce una statistica specifica desiderata per una determinata analisi, gli sviluppatori di JMP hanno una buona ragione per non averla inclusa. Questo gruppo di discussione, sebbene monitorato da JMP, non è il modo migliore per includere le statistiche in una versione futura. È necessario inviare una richiesta di miglioramento a
support@jmp.com
Hanno un sistema di tracciamento formale per tali articoli.
Ma ora passiamo alla bellezza di JMP.Molte volte, la comunità di discussione avrà una soluzione a ciò di cui hai bisogno.Ma, poiché questo argomento è stato discusso in precedenza, senza risposta su F1 ecc.Presumo che la soluzione non sia disponibile.Tuttavia, molte di queste richieste, se non la maggior parte, possono essere aggiunte all'analisi tramite JSL. Quindi, in risposta alla tua domanda, sono sicuro che potresti scrivere uno script per aggiungerli alla tua analisi.
