RE: Caso numero 00060333
Breve asporto: Sto richiedendo una funzionalità di trascinamento della selezione nel Costruttore di grafici per comprimere più punti dati su una variabile di interesse selezionata [ad esempio l'"opposto" di sovrapposizione ], con l'obiettivo di informare più intelligente Barre di errore SEM determinate dal N del numero rimanente di punti dati visualizzati. Ciò corregge molteplici visualizzazioni statisticamente fuorvianti o errate e aumenta drasticamente l'efficienza che attualmente richiede numerose soluzioni che attualmente rendono impegnativa l'esplorazione di set di dati complessi. Questa funzionalità renderebbe JMP incredibilmente più potente.
Cosa ha ispirato questa richiesta di lista dei desideri?Il mio nome è Brian Sweis, MD, PhD. Sono uno psichiatra e un neuroscienziato comportamentale che lavora al Mount Sinai Hospital di New York City. Lavoro principalmente con dati comportamentali dei topi generando set di dati molto grandi e complessi. Le tabelle che creo in JMP per analizzare i miei dati contengono molti tipi diversi di dati, inclusi elementi semplici come misure giornaliere del peso corporeo o misure di prestazioni di attività più complesse come i tempi di reazione delle prove testati su un compito decisionale, dove a volte posso avere 500 prove come righe separate per mouse x 40 mouse x 60 giorni, arrivando facilmente a 1 milione di righe. Spesso analizzo le medie dei topi, suddividendo i miei dati in molti modi diversi, inclusa la limitazione delle analisi a una particolare settimana di test, o forse solo alle prime 10 prove di un dato giorno o anche a più giorni, e così via. Quando genero cifre, esplorare in modo fluido questo vasto set di dati con il Costruttore di grafici è fondamentale. Spesso ho bisogno di tracciare l'errore standard della media su grafici a barre o a linee, dove nelle neuroscienze comportamentali il termine di errore desiderato per N campioni è al livello del numero di organismi/topi. Nei set di dati in cui ho numerose repliche o campioni, in particolare se si tratta di una misura eseguita più volte in un giorno o nell'arco di più giorni, e desidero tracciare le medie dei gruppi come descritto sopra, le barre di errore SEM vengono spesso erroneamente sottostimate perché N nel generatore di grafici è utilizzando il numero totale di campioni visualizzati (ad esempio, a volte N=5.000 campioni se raggruppati in giorni in cui in realtà ne ho bisogno siano semplicemente N=40 topi).
Qual è il miglioramento che vorresti vedere?
Ho avviato una lunga conversazione con un membro del team di supporto JMP via e-mail. Alla fine abbiamo deciso insieme che la funzionalità che vorrei sarebbe stata estremamente preziosa se implementata correttamente in modo nativo all'interno del Costruttore di grafici e attualmente non è possibile senza numerose soluzioni che comportano la necessità di generare molti riepiloghi di tabelle, colonne di dati o script aggiuntivi che diventano rapidamente insostenibili quando il numero di variabili aumenta o se il modo in cui i dati vengono raggruppati deve continuare a cambiare.
Di seguito illustrerò con una serie di screenshot i dati di esempio, il problema e una potenziale soluzione.
Innanzitutto, ecco i dati di esempio per il peso corporeo di 10 topi prelevati ogni giorno per 10 giorni, quindi N = 100 campioni in totale.
Successivamente traccerò la media di questi pesi corporei su 10 topi, divisi per giorno quando vengono inseriti nel Gruppo X su Graph Builder.
Puoi apprezzare il livello di N=10 punti al giorno. Qui, le barre di errore media e SEM sono corrette e come desiderato. Questo diventa rapidamente problematico di seguito.
Rimuovendo semplicemente il giorno dal Gruppo X, tutti i dati vengono raccolti insieme collassando nei giorni, ma ora abbiamo tutti i 100 campioni visualizzati qui. Ogni mouse viene visualizzato qui 10 volte. Qui, la media è ok, ma la barra di errore SEM utilizza N=100 come termine di errore e non n=10 topi, come quasi sempre dovrebbe essere il caso nelle neuroscienze comportamentali. È un problema semplice e comune che sarebbe incredibilmente utile se JMP integrasse una soluzione nativa all'interno del generatore di grafici. Vedi di seguito come questo diventa più complesso e non può essere risolto facilmente con le soluzioni attuali.
La cosa più ovvia da fare è utilizzare la funzione Riepilogo tabella.
Spesso devo appoggiarmi a questo, ma di solito mi ritrovo a dover creare centinaia di riepiloghi di tabelle dal mio set di dati originale quando ho variabili più complesse. Quando esploro i miei dati, questo sfugge di mano molto, molto rapidamente. E di solito è in combinazione con una complessa disposizione che prevede l'applicazione di filtri di dati, la creazione di riepiloghi di riepiloghi e così via.
Uno dei membri del supporto JMP ha suggerito di aggiungere nuove colonne in cui calcola la media dei 10 giorni per mouse e come puoi vedere di seguito, questo tipo di lavoro funziona, ma è piuttosto complicato solo per una singola variabile come il peso corporeo e non si presta bene a una tabella che contiene ad esempio altre 100 variabili molto più complesse come le misure di prestazione delle attività comportamentali. Solo questo aggiungerebbe 8 colonne x 100 variabili e diventerebbe ingestibile. Anche estrarre la formula per tali colonne e sostituire la variabile utilizzata dalla formula non è l'ideale ed estremamente manuale/laborioso.
Ciò è particolarmente vero se desidero suddividere i miei dati ma su più livelli, soprattutto se i livelli sono costituiti da punti dati asimmetrici. E soprattutto se esploro i miei dati nel generatore di grafici e spesso cambio questi parametri di binning al volo. Vedi sotto.
Ecco un altro caso d'uso in cui utilizzo anche filtri di dati locali per sottoinsiemi di dati. Questo diventa sempre più problematico da implementare con script o nuove colonne.
Puoi vedere che se sottoinsieme e includo solo i giorni 7-10, a sinistra, quando divido per giorno nei livelli del Gruppo X, ovviamente visualizza n=10 per barra solo per i giorni selezionati come previsto, ma i dati raggruppati a destra ha ancora n=40.
In sostanza, la soluzione ottimale sarebbe implementare un modo per trascinare e rilasciare una variabile di interesse in una nuova zona di rilascio nel generatore di grafici. Di seguito descrivo due possibili soluzioni che sto immaginando:
A sinistra annotato in il rosso è un metodo incentrato sull'"ID del mouse". , sia come modo per inserire l'ID del mouse nel generatore di grafici e/o come opzione da selezionare nell'intervallo di errore/opzione stile errore in cui l'obiettivo sarebbe quello di ridurre i 10 punti dati per mouse in un singolo punto dati per mouse in modo nativo tutto nel generatore di grafici qui. Pertanto, alla fine della giornata possiamo dire al Costruttore di grafici quale variabile vogliamo determinare il termine di errore (ad esempio, tramite valori univoci, facendo la media tra i punti rimanenti). A destra annotato in il verde è un metodo incentrato sul "giorno". - la variabile che non mi interessa in questo particolare esempio e su cui voglio collassare. Pensa a questo come al "l'opposto di sovrapposizione" - invece di dividere in base a questa variabile, voglio comprimere i dati in questa dimensione specifica (essenzialmente lo stesso che ho lasciato intenzionalmente giorno dalla variabile di raggruppamento Riepilogo tabella). Ho la sensazione che il metodo rosso abbia più senso, ma che l'utente potrebbe voler informare in qualche modo su quale variabile sto esplicitamente cercando di comprimere (ad esempio, giorno). Indipendentemente da ciò, entrambi ti porterebbero al grafico a barre idealizzato con il termine di errore corretto (n=10 punti dati totali, 1 per mouse). Quando si esplorano visivamente i dati nel generatore di grafici, questo potrebbe risolvere gli esempi più complessi che descrivo sopra (ad esempio, con livelli personalizzati, filtri di dati, ecc.).
Perché questa idea è importante?
Avere un modo rapido per regolare le barre di errore in modo più intelligente utilizzando il mio suggerimento renderebbe l'esplorazione di set di dati complessi altamente efficiente se integrata direttamente nel Graph Builder, in modo nativo. Ciò corregge molteplici visualizzazioni fuorvianti o statisticamente errate che spesso non rappresentano le analisi sottostanti che molti scienziati e ricercatori eseguono quando utilizzano singoli organismi come termine di errore presunto. Ciò evita numerose soluzioni alternative che diventano rapidamente ingombranti, insostenibili o impossibili da gestire con set di dati più grandi o più complessi.Questo livello di controllo nel Costruttore di grafici non ha precedenti e penso che sarebbe uno strumento unico e incredibilmente potente.
