476226_it-IT

liliconcom

Prediction Profiler e funzioni di desiderabilità

Ciao a tutti,

 

JMP Pro 16.1.0.

 

Sto usando il Prediction Profiler per lavorare attraverso alcune verifiche dell'ottimizzazione del modello e mi chiedevo se c'è un modo per "ingannare" le funzioni di desiderabilità facendole fare qualcosa per cui non sono realmente progettate. Con l'impostazione standard per la desiderabilità, hai la possibilità di Massimizza, Abbina target, Riduci a icona o Nessuno.

 

Durante il processo di ottimizzazione del modello, registro i valori R^2 per l'addestramento e la convalida, nonché la differenza tra i due. Una delle cose che cerco di cercare durante l'ottimizzazione del modello sono le impostazioni dei parametri che non solo massimizzano R^2 per ENTRAMBI l'addestramento e la convalida, ma riducono al minimo la differenza tra i due. Ad esempio, per me è meglio se ho un modello con un training R^2 di 0,4 e una convalida R^2 di 0,35 piuttosto che avere un training R^2 di 0,7 e una convalida R^2 di 0,25. Vale a dire, più i set di addestramento e convalida sono vicini tra loro, anche se piccoli tendono a funzionare meglio per le mie situazioni.

 

Il problema è che con Prediction Profiler, se si impostano sia l'addestramento che la convalida R^2 per massimizzare e ridurre al minimo la differenza, il profiler suggerisce le impostazioni che risultano in formazione R^2 di 0,6 e convalida R^2 di 0,2 circa. Non quello che sto cercando.

 

Quello che mi piacerebbe davvero che il Profiler facesse è cercare di convergere su training e validazione R^2 che siano il più vicino possibile l'uno all'altro, pur essendo il più grande possibile, al fine di ridurre al minimo la differenza mantenendo una R grande ^2 valori. Sfortunatamente, cambiare cose come l'importanza (da 0 a 1) o l'obiettivo non raggiunge davvero quello che sto cercando.

 

Se qualcuno conosce un trucco su come convincere il Profiler a fare qualcosa del genere, sarebbe bello saperlo. Oppure, se non è possibile, potrebbe essere una nuova funzionalità davvero interessante essere in grado di indirizzare il Profiler a provare a far convergere due delle risposte massimizzandole (o riducendole al minimo).

 

Grazie!,

ds

AnaliticaRe: Prediction Profiler e funzioni di desiderabilità

Stai utilizzando correttamente le funzioni Profiler e Desirability. Non è sbagliato usare desiderabilità = (0,1), ma potresti provare a utilizzare valori come 1 per massimizzare e 2 per differenza e vedere se questo ti avvicina a ciò che desideri. La definizione delle funzioni (limiti, importanza) è la chiave per dire al profiler cosa stai cercando.

 

Detto questo, non è garantito che otterrai ciò che desideri!

Re: Prediction Profiler e funzioni di desiderabilità

Immagino che non ti importi se la differenza R2 è 0,01 o 0,1, ma gradualmente ti preoccupi di più man mano che aumenta al di sopra di una certa soglia. Potresti provare a rendere la differenza R2 una formula che è piatta quando è al di sotto di un certo valore e poi diminuisce gradualmente man mano che va al di sopra di quel limite, oppure potresti impostare la funzione di desiderabilità per descriverlo.Faccio spesso quest'ultimo con la metrica T2 nei modelli multivariati.Puoi vederne un esempio saltando alle 16:30 circa nel video collegato di seguito.

 

Ottimizzazione dei modelli multivariati: dalla raccolta dei dati alle condizioni ottimali e ai modelli di punteggio (2021-US-45MP-927)

Re: Prediction Profiler e funzioni di desiderabilità

Puoi anche cambiare la forma del grafico della desiderabilità per indicare che una differenza maggiore è una penalità maggiore. Non deve essere lineare con un valore medio al centro.

 

Nota: puoi controllare il clic (Windows) o il clic del comando (macOS) sul grafico del grafico della funzione e modificare rapidamente i valori mentre provi diversi schemi. Raccomando di NON modificare la desiderabilità, ma solo di modificare i livelli di risposta. Spostare il valore centrale verso un'estremità per renderlo non lineare.

Re: Prediction Profiler e funzioni di desiderabilità

Ciao @markbailey e @ih ,

 

@markbailey , la tua prima risposta è stata quella che "lo farà funzionare". Sfortunatamente, non è un processo di ottimizzazione automatizzato, quindi non trova iterativamente le condizioni ottimali. Tuttavia, è certamente abbastanza facile modificare manualmente l'importanza relativa di ciascuna risposta.

 

Utilizzando un mix del tuo suggerimento e @ih il suggerimento si sta rivelando più in linea con quello che penso che alla fine mi piacerebbe che facesse. C'è solo un sacco di regolazione manuale delle funzioni di desiderabilità: cambiare i numeri a mano o spostare le piccole caselle nel grafico. Sarebbe bello avere un metodo più automatizzato e leggermente meno soggettivo per ottenere il mio obiettivo finale.

 

@ih hai parzialmente ragione sul fatto che non mi interessa se R2 Diff è 0,01 o 0,1, tuttavia, se ho un R2 Diff di 0,1 e il mio allenamento R2 è 0,8 e la mia convalida R2 è 0,7, lo preferirei a un R2 Diff di 0,01 se il mio allenamento è a 0,31 e la mia convalida è a 0,3. In pratica, i miei set di dati tendono a comportarsi più come il secondo piuttosto che il primo: vorrei poter ottenere i miei due R2 fino a 0,8 e 0,7!

 

Mescolare i due suggerimenti mi dà molto su cui giocare, vorrei solo che fosse un po' meno soggettivo.

 

Grazie per il feedback!,

ds