come interpretare la variabile importanza vs. profilerHo un cliente che sta facendo una valutazione di JMP Pro e ha fatto una buona domanda.Esaminando il set di dati sul diabete, hanno eseguito una rete neurale sulla risposta Y in funzione dei fattori: LTG, BMI, BP, HDL, età, glucosio, LDL, TCH, colesterolo totale e sesso.Il profiler mostra che l'effetto del genere è piccolo rispetto agli altri fattori:
Dal profiler, l'effetto della variazione di genere su Y è inferiore, diciamo, al BMI.
Tuttavia, osservando i risultati della variabile importanza, vediamo che il genere è in cima alla lista:
Guardando la matrice del grafico a dispersione e la mappa dei colori sulle correlazioni, l'utilizzo degli input ricampionati dipendenti ha più senso poiché i fattori sono correlati (come suggerito nella Guida).
La domanda del cliente è questa: perché il profiler mostra che il genere ha un piccolo effetto rispetto al risultato Importanza variabile che mostra che il genere ha l'effetto maggiore?
Il cliente ha anche chiesto quale dimensione del campione fosse necessaria affinché l'utilizzo dei risultati degli input ricampionati dipendenti fosse valido.La Guida afferma che non funziona se la dimensione del campione è "troppo piccola" ma non dice quanto piccolo è piccolo.
Il controllo dei dettagli statistici per l'importanza della variabile dice che utilizza la varianza del valore atteso della risposta ma non fornisce molti dettagli.Presumo che la differenza tra il risultato del profiler e i risultati dell'importanza variabile abbia a che fare con il profiler che utilizza il valore atteso di Y e il risultato dell'importanza variabile che utilizza la varianza del valore atteso di Y.Tuttavia, vorrei maggiori dettagli in modo da poterlo spiegare al cliente.
Grazie!
Charlie
Ri: come interpretare la variabile importanza vs. profilerBene, ora sono confuso anch'io.
Mi chiedevo se quello che stai vedendo sia dovuto alla multicollinearità di tutti i fattori. Vedo il genere come la variabile meno importante quando si utilizzano sia Bootstrap Forest che Predictor Screening.
Ma, quando uso Variable Clustering per ridurre i predittori fino a TCH, Total Cholesterol e BP, e includo anche il genere, allora vedo gli stessi risultati che fai sull'importanza variabile:
Quindi, ora sto mettendo in dubbio la mia comprensione della sezione "Importanza variabile" e non vedo l'ora di ricevere la risposta alla tua domanda.
Ri: come interpretare la variabile importanza vs. profilerGrazie Jed!Come ho detto, potrebbe avere qualcosa a che fare con il profiler che usa il valore atteso e l'importanza della variabile usando la varianza.Ma vorrei che un esperto commentasse.Grazie!
Ri: come interpretare la variabile importanza vs. profilerGli esperti del nostro gruppo su questo argomento sono Ryan Parker e Chris Gotwalt. Guarda il loro lavoro originale qui https://community.jmp.com/t5/Discovery-Summit-2013/Exploring-Variable-Clustering-and-Importance-in-JMP/ta-p/40686
Ecco la mia interpretazione del motivo per cui il risultato sembra essere così su questi dati, con questo modello e la scelta degli input ricampionati dipendenti.
La domanda del cliente è giusta: la dimensione del campione!
Quando si seleziona Dependent Resampled Inputs, il modello adattato ha un'intercetta, 10 fattori principali e 45 termini di interazione. Vedi pagina 10 in quel file Powerpoint di Ryan. E il genere è categorico, vengono create colonne aggiuntive nella matrice di progettazione. Il modello è davvero grande. E 442 righe non sembrano essere sufficienti.
Ri: come interpretare la variabile importanza vs. profilerSì, penso che Peng abbia ragione qui. Abbiamo avuto una discussione interna con Ryan e Chris e non è del tutto ovvio cosa stia succedendo qui, ma la più grande preoccupazione di Ryan ha colpito il fatto che la dimensione del campione probabilmente non è abbastanza grande per il caso Dependent Resampled.
Un'altra spiegazione ha a che fare con la correlazione tra gli input.Per Ryan, "Ad esempio, guardando le tracce, penseresti che LTG e HDL avrebbero l'impatto maggiore. Ma guardando la loro correlazione, sono correlate negativamente ed è probabilmente un modo per spiegare perché nel caso dipendente l'impatto di quelle variabili sarebbe inferiore".
Una cosa che ho osservato è che l'uso di input ricampionati indipendenti sembra fornire un'immagine più fedele della dimensione relativa degli effetti (simile al Profiler e ad altri metodi come i contributi di colonna sul modello BF) ma non è suggerito poiché potremmo simulare a livello di fattore combinazioni che non sono rappresentative di ciò che vedremmo nella vita reale.
Ri: come interpretare la variabile importanza vs. profilerAh, ma il potere di JMP di esplorare risultati che non sono come ci aspettavamo. Se attivi il controllo dell'estrapolazione nei profiler e "giochi" con le impostazioni dei fattori, inizi a vedere "buchi" nei dati. Cioè aree in cui la copertura per i maschi è diversa da quella per le femmine. Si tratta di dati biologici con valori ematici e i valori ematici possono avere distribuzioni diverse a causa del genere (utilizzare l'adattamento y-by-x con il genere come X e i valori ematici come Ys e quindi utilizzare le densità di confronto). Quindi, ci sono sottili differenze dovute al genere ... e combinazioni nei dati che sono solo in un genere (ad esempio HDL elevato) che avranno un impatto sul ricampionamento. È il potere di esplorare al volo e di scavare rapidamente nei dati che rende divertente la modellazione in JMP!
Ri: come interpretare la variabile importanza vs. profilerAggiunta di cosa @karencopeland menzionato, ho appena avuto una situazione simile al "plasma sanguigno" con un cliente. Non avevano abbastanza di un plasma e hanno lavorato ulteriormente con un altro (13 del primo, 1 del secondo e altri 3 di un terzo plasma. Quindi l'hanno modellato con il plasma come fattore di blocco nel modello. I risultati dove... uhm... divertenti, specialmente se hai attivato il controllo dell'estrapolazione 
Inoltre, anche il rapporto sull'importanza della variabile può differire notevolmente se si utilizza un'opzione diversa. Quindi altamente raccomandato di dare un'occhiata alla presentazione della scoperta
Ri: come interpretare la variabile importanza vs. profilerGrazie Martino!Punti buoni!
Ri: come interpretare la variabile importanza vs. profilerGrazie Karen!Dovrò esaminare il controllo di estrapolazione nei profiler per vedere.
