Piattaforma di screening del modello: opzione "Ricorda impostazioni" in Profiler soglia di decisioneMi piace molto la nuova opzione della piattaforma di screening del modello in JMP in Analizza> Modellazione predittiva> Screening del modello, come indicato in: https://community.jmp.com/t5/JMP-Blog/Model-Screening-in-JMP-Pro-16/bc-p/384039#M4078 .
Una caratteristica che penso sarebbe particolarmente utile per me - nel contesto di questo esempio o in altro modo - sarebbe un'opzione simile a Prediction Profiler quando sto specificando modelli di adattamento in determinate piattaforme in JMP (come Analizza> Adatta modello) - a " Ricorda impostazioni "in modo da poter" alternare "efficacemente tra diversi scenari di compromesso per tassi di falsi positivi e falsi negativi.
L'opzione per "profilare" l'impostazione del livello sulla probabilità della soglia decisionale in modo da mettere a punto il modello per concentrarsi sulla minimizzazione dei falsi negativi a scapito di un aumento dei falsi positivi è lo scenario che mi interessa particolarmente.Dal punto di vista del rischio di qualità (protezione dell'utente finale al costo di uno scarto mfg più elevato), è possibile tollerare falsi allarmi più elevati.
Ecco un'immagine che illustra di cosa sto parlando (solo un semplice output "Ricorda impostazioni" dalla piattaforma Fit Model in Prediction Profiler dopo aver selezionato "Ricorda impostazioni" in varie combinazioni di impostazioni di input di X su Y (stesso Diabetes.jmp esempio di set di dati di esempio):
Grazie!
AltroStatistiche e analisiOggetto: Piattaforma di screening del modello: opzione "Ricorda impostazioni" in Profiler soglia di decisioneChiedo un chiarimento su questo desiderio: vuoi che la stessa soglia di probabilità si applichi a tutti i modelli o chiedi una soglia "ottimale" per ogni modello da ricordare e confrontare?Nel primo caso, penso che sia una cattiva idea.La distribuzione delle probabilità varia notevolmente tra i modelli, quindi è probabile che vengano scelte soglie diverse per modelli diversi.In quest'ultimo caso, non sono sicuro di come sarebbe implementato (ma mi piace l'idea).Non può essere automatico, come ridurre al minimo i falsi negativi, poiché ciò imposterebbe semplicemente le probabilità di soglia = 0. Quindi, dovrebbe consentire di scegliere soglie diverse per ciascun modello in base a come si visualizzano i compromessi, forse questo potrebbe essere utilizzato insieme alla matrice dei profitti (anche se trovo la matrice dei profitti molto difficile da usare).
Avere un semplice cursore che cambia la soglia per tutti i modelli e mostra la matrice di confusione non sarebbe molto utile per me. Penso che fornirebbe un'illusione delle prestazioni relative del modello - non mi interessa davvero se un modello richiede una soglia di 0,15 e un altro di 0,30 - quello che mi interessa è come ogni modello può essere utilizzato per fare previsioni.
