Livello: Intermedio
Peter Hersh, ingegnere di sistemi JMP, SAS
Cosa sono i "dati funzionali" e come possiamo "esplorarli" esattamente? I dati funzionali sono ovunque. Si presentano sotto forma di dati di sensori, dati transazionali, spettri chimici e l'elenco potrebbe continuare. Il filo conduttore è che possono essere difficili da analizzare. Inoltre, generalmente non vogliamo analizzare direttamente i dati funzionali; vogliamo lavorare con le informazioni sottostanti, ovvero le funzioni che producono i dati osservati. Il Functional Data Explorer (FDE) ci aiuta in questo. Serve come strumento sia per l'analisi esplorativa che per la riduzione dimensionale, aiutandoci a utilizzare le informazioni funzionali in altre tecniche di modellazione. In questa presentazione, Hersh illustrerà i nuovi problemi analitici che JMP può risolvere utilizzando FDE attraverso diversi casi di studio provenienti da settori industriali, chemiometrici e agricoli. Nel corso della presentazione, illustrerà FDE e alcuni dei suggerimenti e trucchi che ha appreso aiutando i clienti a comprendere questa nuova e potente piattaforma.
Functional Data Explorer è stato introdotto nella versione 14 di JMP Pro e migliorato nella versione 14.1.
In questo documento viene descritto come eseguire l'analisi dei dati funzionali in JMP Pro 14.1 utilizzando Functional Data Explorer.
Figura 1. Un'istantanea di Functional Data Explorer che adatta un modello B-Spline ai dati di assorbanza
Storia
Il termine "Analisi Funzionale dei Dati" fu coniato per la prima volta nel 1982 da Ramsay, ma la sua storia risale a Grenander nel 1950. L'idea è di trattare i dati come un continuum anziché come misurazioni discrete. Questo risultato si ottiene creando una funzione per descrivere i dati.
Come usarlo
Avvio di Functional Data Explorer
Per utilizzare l'Esploratore dati funzionale, è necessario disporre di JMP 14 Pro o di una versione più recente. L'Esploratore dati funzionale si trova nel menu Analizza, Modellazione specializzata. Sono disponibili 3 opzioni per il formato dati: impilati in righe o in colonne. Il formato dati impilato si verifica quando i dati funzionali sono contenuti in una singola colonna e hanno una colonna ID separata. Il formato righe si verifica quando i dati funzionali sono contenuti in molte colonne diverse, ciascuna delle quali rappresenta un ID separato. Il formato colonne è l'inverso del formato righe, in cui ogni colonna contiene dati funzionali distribuiti su più righe. Si consiglia di utilizzare il formato impilato per ottenere una maggiore flessibilità nell'elaborazione e nella modellazione dei dati.
Figura 2. Finestra di avvio di Functional Data Explorer
Elaborazione dei dati nell'esploratore dei dati funzionali
Dopo aver avviato Functional Data Explorer, viene visualizzata la finestra di elaborazione dati, che consente di eseguire diverse operazioni per la pulizia dei dati. Functional Data Explorer offre 3 tipi di elaborazione dati: pulizia, trasformazione e allineamento. La pulizia consente di rimuovere i punti che non contribuiscono a definire il continuum dei punti; possono essere zeri, valori specifici o valori anomali. La trasformazione consente di trasformare rapidamente la variabile y di risposta al centro (impostando la media a 0), standardizzarla (impostando la deviazione standard a 1) o stabilizzarla. L'allineamento consente di allineare la variabile x allineando il minimo, la riga, il massimo o allineandola a una funzione di riferimento utilizzando il warping temporale dinamico. Il warping temporale dinamico utilizza uno spettro di riferimento e riduce il residuo y degli spettri originali agli spettri di riferimento. Ciò avviene allineando i valori x nei dati originali agli spettri di riferimento che presentano il valore y più simile. Tutti i passaggi di elaborazione dati vengono registrati dai passaggi di elaborazione dati e possono essere rimossi.
Figura 3. Finestra di elaborazione dati
Una volta completata l'elaborazione, i dati possono essere salvati andando sul triangolo rosso e selezionando "Salva dati". Questo permetterà di creare una nuova tabella dati pulita.
Adattamento del modello
Una volta ripuliti i dati, è possibile adattare un modello ai dati. L'adattamento del modello si trova sotto il triangolo rosso e i modelli. In JMP Pro 14.1 sono disponibili 3 opzioni per l'adattamento del modello: B-spline, P-spline e base di Fourier. Le B-spline sono un modello polinomiale a tratti in cui è possibile definire il numero di pezzi (nodi) e il grado del polinomio (grado = 0, 1, 2 o 3). Le P-spline sono una versione penalizzata delle B-spline. I modelli con base di Fourier sono costruiti utilizzando funzioni seno e coseno di periodicità crescente. I modelli con base di Fourier funzionano bene con dati periodici. Quando si esegue il modello, JMP eseguirà automaticamente un gruppo di modelli e selezionerà il modello che meglio si adatta ai dati utilizzando un criterio di informazione specificato (BIC, AICc o GCV). È possibile regolare il numero e la posizione dei nodi, nonché il grado polinomiale dell'adattamento.
Figura 4. Selezione del modello da FDE che mostra un adattamento cubico a 4 nodi come il miglior modello selezionato dal criterio BIC
In questo esempio abbiamo 4 nodi, il che significa che abbiamo 5 modelli polinomiali separati (cubici in questo caso) che adattano i dati tra ciascun nodo. Una volta finalizzato il modello polinomiale a tratti, verranno generate le componenti principali funzionali (FPC) per definire la funzione. JMP genererà tutte le FPC che definiscono almeno l'1% della varianza complessiva. Queste FPC definiscono la variazione di forma rispetto alla media. A ogni batch viene assegnato un valore per ogni FPC. Se i dati seguono esattamente la funzione media, tutte le FPC saranno pari a 0. Se si ha un valore FPC positivo, la forma della funzione varia rispetto alla media in modo simile all'autofunzione corrispondente (un FPC negativo indica l'effetto inverso).
Figura 5. Esempio della funzione media e delle varianti di tale funzione media chiamate autofunzioni.
Salvataggio dei componenti del principio funzionale
Una volta completato e adattato il modello ai dati, viene creata una tabella di riepilogo funzionale. Questa tabella fornisce i componenti principali funzionali per ogni batch di dati. È possibile personalizzare i riepiloghi desiderati e la quantità di FPC generati. Questa tabella può quindi essere salvata e utilizzata per l'analisi dei dati.
Esempio 1 Risposta DoE per il processo di fresatura
Utilizzo di Functional Data Explorer per una risposta DoE. In questo esempio, stiamo cercando di portare rapidamente un processo di fresatura alle specifiche e di mantenerlo entro le specifiche senza dover apportare modifiche.
Figura 6. Panoramica rapida del profilo di fresatura e del processo
Esempio 2 Utilizzo dei dati spettrali per identificare il contenuto di grassi
Utilizzo di Functional Data Explorer per l'analisi dei dati spettrali. In questo esempio, utilizziamo la radiazione infrarossa vicina per analizzare il contenuto di grassi nella carne bovina. Questa tecnica sostituisce quella distruttiva per determinare il contenuto di grassi.
Figura 7. Informazioni spettrali dallo studio sul contenuto di grassi nella carne bovina
Esempio 3 Resa enzimatica dal processo di fermentazione
Esaminare la forma di un gruppo di variabili di input per creare un modello predittivo della resa. Identificare la forma ideale di ciascuna variabile di input per massimizzare la resa.
Figura 8. Dashboard della resa
Riepilogo
I dati funzionali possono essere reperiti in molti luoghi diversi, in diversi campi e applicazioni. Spesso, non sfruttiamo appieno i dati funzionali riassumendoli. Questo elimina una parte sostanziale dei dati raccolti e non ci consente di acquisire tutte le informazioni potenziali. L'esploratore dei dati funzionali di JMP 14 Pro ci aiuta ad acquisire tutte le informazioni utilizzando i componenti dei principi funzionali per catturare la forma dei dati funzionali.
Riferimenti
Ramsay JO. 1982. Quando i dati sono funzioni. Psychometrika 47:379–396
Grenander U. 1950. Processi stocastici e inferenza statistica. Archivio per Matematik 1:195–277
