Posso controllare il punteggio F 1 in JMPCIAO! Mi chiedo se posso controllare il punteggio F1 in JMP Pro quando confronto diversi modelli?
JMP fornisce inoltre precisione o valore di richiamo per i modelli?
Grazie molto!!
Re: Posso controllare il punteggio F 1 in JMPF1 è riportato nella sezione Soglia decisionale sotto Confronto modelli.Per utilizzarlo, è necessario salvare la formula di previsione nella tabella dati e quindi eseguirla Analizza > Modellazione predittiva > Confronto modelli .Quindi scegli Soglia decisionale sotto il triangolino rosso.
Ri: Posso controllare il punteggio F 1 in JMPCiao @Oleg ,
@Jenny ha scritto:
...non ha riscontrato precisione e richiamo nel confronto dei modelli. Mi chiedo se JMP abbia questi valori.
JMP non dispone di questi valori in modo nativo nella maggior parte delle piattaforme (a partire dal rilascio di JMP 16.2) e come @Duane_Hayes hanno risposto nel 2017, ma possono essere calcolati a partire dai risultati attualmente forniti.
@Jenny ha scritto:
Da quanto ho capito, a volte potremmo preoccuparci di più precisione o ricordo rispetto al tasso di classificazione errata in diverse situazioni, giusto? .
Sì, questa è la mia comprensione.
A tal fine,
Allego un esempio con calcoli nelle formule di colonna in JMP in cui vengono calcolati Precisione, Punteggio F1, Precisione e Richiamo, utilizzando le formule che sono riuscito a trovare facilmente. Quelli per Precisione e Richiamo sono coerenti con cosa @Jenny fornito (vedere anche p. 144 di "The StatQuest Illustrated Guide to Machine Learning!!!" di Josh Starmer, Ph.D, © 2022).Le formule per la precisione e il punteggio F1 possono essere trovate qui, tra gli altri posti (Wikipedia): https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc .Questo esempio è tratto dal file di dati di esempio VSSTeamData.jmp disponibile come parte del corso gratuito online di statistica applicata di JMP. PUNTI . I calcoli sono coerenti con quanto riportato da JMP nell'output della matrice di confusione associato al modello di partizione generato e salvato qui come script della tabella dati salvata.
Fare clic sul pulsante di riproduzione verde accanto al nome dello script per rigenerare il modello dopo aver aperto la tabella dati .jmp.
Spero che queste informazioni siano utili!-Patrizio Giuliano ( @Supporto tecnico JMP)
Re: Posso controllare il punteggio F 1 in JMPCiao Ian, hai chiesto una formula.Jenny ne ha fornito uno.Ancora nessuna soluzione, ma la discussione è stata vista più di 500 volte. Quindi la questione ha un peso.
Ri: Posso controllare il punteggio F 1 in JMPQualcuno può fornire una risposta chiara e concisa alla risposta di Jenny, invece di scaricare un'opinione in questa discussione? Questo non è un blog. Domanda posta, domanda risposta. Grazie in anticipo.
Ri: Posso controllare il punteggio F 1 in JMPI punteggi F1 (e altre misure di precisione popolari) sono stati deprecati in alcuni angoli della comunità del Machine Learning per le loro prestazioni sotto bias. Si prega di fare riferimento al file allegato, che suggerisce l'utilità delle curve operative del ricevitore e di altre misure.
JMP include ROC (e curve di sollevamento) in alcune piattaforme.
Re: Posso controllare il punteggio F 1 in JMPÈ possibile indirizzare questo tipo di domanda Supporto tecnico JMP così possiamo essere coinvolti.
Per quanto riguarda la domanda, JMP fornisce misure di sensibilità e specificità 1 nella tabella ROC quando è selezionata la voce di menu "Curva ROC", insieme a veri positivi, veri negativi, falsi positivi e falsi negativi.F1 non è specificatamente elencato, ma dalla descrizione è calcolabile con queste misure.
Re: Posso controllare il punteggio F 1 in JMPUn uomo saggio una volta disse che "l'unica merce scarsa è il tempo", e penso che sia chiaro che la Comunità fa affidamento sulla conoscenza in crowdsourcing (da parte degli utenti e dello staff JMP) e non potrebbe funzionare in modo efficace se dipendesse da un piccolo gruppo.
Oltre alla Comunità c'è anche la canale di supporto ufficiale , che può essere utilizzato da chiunque abbia concesso in licenza un prodotto SAS. Una differenza fondamentale è che esistono accordi sul livello di servizio per i tempi di risposta e processi interni per l'escalation al fine di raggiungere una soluzione soddisfacente. Questo è sicuramente il meccanismo migliore per far emergere bug sospetti, ma anche per effettuare richieste di nuove funzionalità. Inoltre, "Come faccio?" Verrà data risposta anche alle domande "Sono abituato al software X ma non riesco a fare la stessa cosa con JMP", ma all'interno di questo quadro più rigoroso e prevedibile.
Quindi, per bug e funzionalità, o se la community sembra non rispondere, prenderei sicuramente in considerazione anche questo canale. E, forse per essere ovvio, non deve essere necessariamente "l'uno o l'altro". Molti thread della community hanno portato a percorsi di supporto.
Ri: Posso controllare il punteggio F 1 in JMPCiao Ian,
Sono un po' sorpreso dalla tua risposta. Non è uno sforzo eccessivo (soprattutto per un esperto JMP) cercare sul web "punteggio F1", autoeducarsi e rispondere all'utente con una risposta significativa. Inoltre, il richiedente ha fornito informazioni aggiuntive, ma non ha mai ricevuto un supporto significativo. Anche questo sorprende.
Tu o qualcun altro con le competenze adeguate aiutereste la comunità JMP con questa domanda. Punteggio F1 è una misura chiave nella regressione logistica (o qualsiasi modello con risposta nominale) e nei livelli di risposta sbilanciati (significativamente più veri negativi che veri positivi). Molto apprezzato. Come notato, Wikipedia descrive questi concetti in dettaglio.
Il collegamento al confronto dei modelli che hai fornito è elaborato, ma sembra che manchi il calcolo del punteggio F1. Sono sicuro che questo possa essere fatto manualmente, ma, se manca in JMP, dovrebbe essere fortemente considerato come una funzionalità. Grazie in anticipo.
Ri: Posso controllare il punteggio F 1 in JMPCIAO! Grazie mille per la tua risposta Il punteggio F1 è una misura dell'accuratezza del test. Ecco il link di Wilipedia sul punteggio F1. https://en.wikipedia.org/wiki/F1_score
E per la seconda domanda sì, sto pensando ai valori previsti.
Precisione =Veri Positivi/(Veri Positivi + Falsi Positivi)
e ricorda= Veri positivi /( Veri positivi +falsi negativi)
Non ho trovato precisione e richiamo nel confronto dei modelli. Mi chiedo se JMP abbia questi valori. Da quanto ho capito, a volte potremmo preoccuparci più della precisione o del ricordo che del tasso di classificazione errata in diverse situazioni, giusto?
Ri: Posso controllare il punteggio F 1 in JMPPresumo che tu abbia guardato il Confronto dei modelli piattaforma in JMP Pro. Sfortunatamente, non ho familiarità con il "punteggio F1", quindi puoi fornire ulteriori dettagli o un collegamento, per favore? Per quanto riguarda la seconda domanda, stai pensando ai valori previsti e alle incertezze in essi contenuti?
