Dati Funzionali: imputazione valori mancanti?Ciao, ho una raccolta di curve X, Y che vorrei analizzare con Functional Data Explorer.
Il problema che sto affrontando è che alcune di queste curve vengono troncate a un certo valore di X perché per valori maggiori si verifica un errore fisico durante la raccolta dei dati. Alcune altre curve raggiungono il massimo X possibile senza guasti.
FDE apparentemente non sta gestendo molto bene la presenza di curve con gamma X molto diversa, la parte mancante è adattata a spline molto irrealistiche.
Non voglio troncare tutte le curve allo stesso intervallo X di quelle "corte", perché questo guasto fisico fa parte delle informazioni che voglio conservare.
Ovviamente posso imputare manualmente (o tramite JSL) alcuni valori predefiniti per sostituire quelli mancanti, ma mi aspettavo che la preparazione dei dati FDE offrisse un modo pratico per gestire porzioni mancanti "informative" di curve.Non sono riuscito a trovare alcun suggerimento nel manuale dell'utente (JMP14 o anche JMP15).
Qualche idea su come affrontare questo problema?Devo aspettare JMP16 
?
Grazie mille per il vostro aiuto!
Matteo
Ri: Dati funzionali: imputazione valori mancanti?L'imputazione dei dati è difficile e funziona meglio, se non del tutto, in condizioni specifiche. Richiede dati non mancanti sufficienti per supportare la sostituzione con un metodo o un altro. Si riduce sempre all'interpolazione all'interno degli intervalli e delle categorie già esistenti. Il tuo caso di funzioni incomplete richiederebbe l'estrapolazione di gran parte della funzione. È più come una previsione. I dati imputati incorrerebbero in un'incertezza molto elevata, soprattutto verso la fine della funzione.
Quindi penso che sia meglio lavorare con i dati che hai e provare alcune delle opzioni di elaborazione e le spline di ordine basso con nodi posizionati con cura. I parametri del modello predefinito da soli potrebbero non soddisfare le tue esigenze.
Ri: Dati funzionali: imputazione valori mancanti?Grazie. Proverò come suggerisci, ma penso ancora che sia un'opzione consentire di imputare facilmente i dati sarebbe molto utile.
Matteo
Ri: Dati funzionali: imputazione valori mancanti?Direi che questi dati non saranno modellati e analizzati in modo soddisfacente con tecniche di analisi dei dati funzionali. Potresti provare alcuni dei comandi di elaborazione per determinare se l'aiuto (ad esempio, Trasforma, Allinea) ma penso che i modelli disponibili non saranno in grado di gestire le carenze dei dati.
Inoltre, il reparto di ricerca e sviluppo di JMP ha suggerito di utilizzare spline di ordine inferiore. Parte del problema è che il numero di nodi si applica a ogni funzione. Il numero e il posizionamento potrebbero non essere adatti a tutte le funzioni del campione. Puoi trascinare manualmente il diamante nella parte superiore del grafico dei dati per regolare la posizione. Suggeriscono anche di provare le P-spline con la funzione passo (grado=0).
Conosci i controlli del modello? Stai utilizzando solo il set predefinito di modelli B-spline?
Ri: Dati funzionali: imputazione valori mancanti?Ciao Mark,
molto diverso potrebbe significare che alcune curve vengono troncate al 60% dell'intervallo totale.Sto usando B-spline.
Di seguito un esempio di adattamento di una di queste curve troncate, ottengo un picco innaturale in cui mancano i punti dati.
Grazie
Matteo
Ri: Dati funzionali: imputazione valori mancanti?Dovresti essere in grado di lavorare con dati che non sono "densi" (tutte le funzioni osservate sulla stessa griglia regolare di valori di dominio). Puoi avere valori mancanti alla fine delle funzioni o nel mezzo. Non dovresti dover imputare i dati.
Quanta differenza c'è quando dici "gamma X molto diversa?"
Stai usando P-spline? Spesso si adattano bene, ma possono avere problemi con grandi lacune in X o con intervalli molto diversi. L'uso di una delle trasformazioni può aiutare le P-spline. Inoltre, generalmente non è necessario utilizzare un modello P-spline con un grado superiore a 1. Gradi più alti possono causare problemi anche con tali dati.
Quindi stai usando JMP Pro 15?
