Livello: Intermedio
Peter Hersh, Ingegnere di sistemi JMP, SAS
Cosa sono i "dati funzionali" e come li "esploriamo" esattamente? I dati funzionali sono ovunque. Prende la forma di dati di sensori, dati transazionali, spettri chimici: l'elenco potrebbe continuare. Il filo conduttore è che può essere difficile da analizzare. Inoltre, generalmente non vogliamo analizzare direttamente i dati funzionali; vogliamo lavorare con le informazioni sottostanti, le funzioni che producono i dati osservati. Il Functional Data Explorer (FDE) ci aiuta a farlo. Serve come strumento sia per l'analisi esplorativa che per la riduzione delle dimensioni per aiutarci a utilizzare le informazioni funzionali in altre tecniche di modellazione. In questa presentazione, Hersh illustrerà i nuovi problemi analitici a cui JMP può rispondere utilizzando FDE attraverso diversi casi di studio in campo industriale, chemiometrico e agricolo. Lungo il percorso, dimostrerà FDE e alcuni dei suggerimenti e trucchi che ha imparato aiutando i clienti a comprendere questa nuova potente piattaforma.
Functional Data explorer è stato introdotto in JMP Pro versione 14 e migliorato nella versione 14.1.
Questo documento descrive come eseguire l'analisi dei dati funzionali in JMP Pro 14.1 utilizzando Functional Data Explorer.
Figura 1. Un'istantanea di Functional Data Explorer Adattamento di un modello B-Spline ai dati di assorbanza
Storia
Il termine analisi dei dati funzionali è stato coniato per la prima volta nel 1982 da Ramsay, ma ha una storia che risale a Grenander nel 1950. L'idea è di trattare i dati come un continuum anziché come misurazioni discrete. Ciò si ottiene creando una funzione per descrivere i dati.
Come usarlo
Avvio di Functional Data Explorer
Per utilizzare Functional Data Explorer, è necessario disporre di JMP 14 Pro o di una versione più recente di JMP Pro. L'esploratore di dati funzionali si trova nel menu di analisi della modellazione specializzata. Sono disponibili 3 opzioni per il formato dei dati impilati in righe o in colonne. Il formato dei dati in pila è quando i dati funzionali sono contenuti in una singola colonna e hanno una colonna ID separata. Il formato delle righe è quando i dati funzionali sono contenuti in molte colonne diverse, ciascuna riga rappresenta un ID separato. Il formato delle colonne è l'inverso del formato delle righe in cui ogni colonna contiene dati funzionali su più righe. Si consiglia di utilizzare il formato stacked per poter disporre di maggiore flessibilità nell'elaborazione e nella modellazione dei dati.
Figura 2. Finestra di avvio di Esplora dati funzionali
Elaborazione dei dati nell'esploratore di dati funzionali
Dopo aver avviato Esplora dati funzionali, viene visualizzata la finestra di elaborazione dei dati che consente di eseguire molti processi diversi per pulire i dati. Esistono 3 tipi di elaborazione dei dati trovati in Esplora dati funzionali; ripulire, trasformare e allineare. La pulizia consente di rimuovere i punti che non aiutano a definire il continuum di punti, che possono essere zeri, valori specifici o valori anomali. Trasforma consente di trasformare rapidamente la variabile y della risposta in centro (impostare la media su 0), standardizzare (impostare la deviazione standard su 1) o stabilizzare la varianza. Allinea consente di allineare la variabile x allineando il minimo, la riga, il massimo o l'allineamento a una funzione di riferimento utilizzando il time warping dinamico. Il time warping dinamico utilizza uno spettro di riferimento e riduce il residuo y degli spettri originali agli spettri di riferimento. Lo fa allineando i valori x nei dati originali agli spettri di riferimento che hanno il valore y più simile. Tutte le fasi di elaborazione dei dati vengono registrate dalle fasi di elaborazione dei dati e possono essere rimosse.
Figura 3. Finestra Elaborazione dati
Al termine dell'elaborazione, i dati possono essere salvati andando sul triangolo rosso e selezionando Salva dati. Ciò ti consentirà di creare una nuova tabella di dati ripulita.
Adattamento del modello
Una volta che i dati sono stati ripuliti, ora puoi adattare un modello ai dati. Il raccordo del modello si trova sotto il triangolo rosso e i modelli. In JMP Pro 14.1 sono disponibili 3 opzioni per l'adattamento del modello, le spline B, le spline P e la base di Fourier. Le B-spline sono un modello polinomiale a tratti in cui è possibile definire il numero di pezzi (nodi) e il grado del polinomio (grado = 0, 1, 2 o 3). Le P-spline sono una versione penalizzata delle B-spline. I modelli di base di Fourier sono costruiti utilizzando funzioni seno e coseno di periodicità crescente. I modelli a base di Fourier funzionano bene con dati periodici. Quando si esegue il modello, JMP esegue automaticamente un gruppo di modelli e seleziona il modello che meglio si adatta ai dati utilizzando un criterio di informazioni specificato (BIC, AICc o GCV). È possibile regolare il numero e la posizione dei nodi, nonché il grado polinomiale dell'adattamento.
Figura 4. Selezione del modello da FDE che mostra un adattamento cubico a 4 nodi come il miglior modello selezionato dal criterio BIC
In questo esempio abbiamo 4 nodi, il che significa che abbiamo 5 modelli polinomiali separati (cubici in questo caso) che adattano i dati tra ogni nodo. Una volta finalizzato il modello polinomiale a tratti, verranno generati i componenti del principio funzionale (FPC) per definire la funzione. JMP genererà tutti gli FPC che definiscono almeno l'1% della varianza complessiva. Questi FPC definiscono la variazione di forma rispetto alla media. A ogni batch viene assegnato un valore per ogni FPC. Se i tuoi dati tracciano esattamente la funzione media, tutti gli FPC sarebbero 0. Se hai un valore FPC positivo la forma della funzione varia dalla media in una forma simile alla corrispondente autofunzione (FPC negativo indica l'effetto inverso).
Figura 5. Esempio della funzione media e delle variazioni a quella funzione media chiamata autofunzioni.
Salvataggio dei componenti del principio funzionale
Una volta che il modello è stato completato e adattato ai tuoi dati, viene creata una tabella di riepilogo funzionale. Ciò fornisce componenti di principio funzionale per ogni batch di dati. Puoi personalizzare i riepiloghi che desideri e la quantità di FPC che desideri generare. Quindi questa tabella può essere salvata e utilizzata per l'analisi dei dati.
Esempio 1 Risposta DoE per il processo di fresatura
Utilizzo di Functional Data Explorer per una risposta DoE. In questo esempio stiamo cercando di ottenere rapidamente un processo di fresatura conforme alle specifiche e di mantenere il processo conforme alle specifiche senza doverlo adattare.
Figura 6. Visualizzazione rapida del profilo e del processo di fresatura
Esempio 2 Utilizzo dei dati spettrali per identificare il contenuto di grassi
Utilizzo di Esplora dati funzionali per esaminare i dati spettrali. In questo esempio stiamo usando la radiazione infrarossa vicina per osservare il contenuto di grassi nella carne bovina. Questo è al posto di una tecnica distruttiva per determinare il contenuto di grassi
Figura 7. Informazioni spettrali dal contenuto di grassi nello studio della carne bovina
Esempio 3 Resa enzimatica dal processo di fermentazione
Osservare la forma di un gruppo di variabili di input per creare un modello predittivo del rendimento. Identificare quale sarà la forma ideale per ogni variabile di input per massimizzare il rendimento.
Figura 8. Pannello dei rendimenti
Riepilogo
I dati funzionali possono essere trovati in molti luoghi diversi in diversi campi e applicazioni. Spesso non sfruttiamo appieno i dati funzionali riepilogando i dati. Ciò elimina una parte sostanziale dei dati raccolti e non ci consente di acquisire tutte le potenziali informazioni. L'esploratore di dati funzionali in JMP 14 Pro ci aiuta a catturare tutte le informazioni utilizzando i componenti del principio funzionale per acquisire la forma dei dati funzionali.
Riferimenti
“Ramsay J.O. 1982. Quando i dati sono funzioni. Psicometrika 47:379–396”
Grenander U. 1950. Processi stocastici e inferenza statistica. Arkiv f¨or Matematik 1:195–277
