PCA per dati spettraliCiao,
Sto eseguendo una PCA su un ampio set di dati (257 colonne (numero d'onda) e circa 8000 righe (campioni)) e desidero riconoscere determinati modelli tra gli spettri con la PCA.
Tuttavia, compare sempre questo avviso: "Attenzione: la correlazione della matrice non è positiva definita". Qualcuno può aiutarmi a capire cosa significa e se è rilevante per la mia analisi dei dati?
Sono solo un principiante in JMP, ma apprezzo qualsiasi aiuto in merito.
Grazie!
Maike
Analisi e modellazione dei dati di baseRe: PCA per dati spettraliCiao Mike,
Potresti fornire un set di dati di esempio da vedere? Questo indica che alcune caratteristiche della tua matrice non sono positive (ad esempio gli autovalori non sono tutti positivi, la matrice non è simmetrica), il che cambia il tipo di test che possono essere eseguiti con JMP che richiedono (ad esempio test di massima verosimiglianza come descritto qui) e può indebolire la forza del tuo PCA. Prenderei in considerazione l'idea di esaminare i tuoi dati e provare cose come la rimozione di valori anomali/errori o persino di perfezionare l'elenco dei predittori ai fattori/colonne effettivamente importanti.
Poiché hai detto che sei un principiante, ti consiglio di dare un'occhiata a questi articoli ( qui e qui ) sull'analisi dei dati spettrali: sono molto utili e stimolanti!
Grazie,
Ben
Re: PCA per dati spettraliCiao Ben,
Grazie per la risposta e per gli articoli.
Nei miei dati puoi vedere gli spettri delle proteine native e denaturate. Vorrei usare PCA per vedere se riesco a distinguere tra proteine native e denaturate. Ecco un set di dati di esempio con alcuni campioni.
Ho già normalizzato i miei dati nell'intervallo 0 - 1. L'avviso appare sia per i dati grezzi che per i valori normalizzati.
Re: PCA per dati spettraliCiao Mike,
In questo esempio come distingui la "denaturazione"? È la differenza tra i campioni "0,5", "0,14" e "85"? Sto solo cercando di capire come intendi usare PCA per poi dire "queste caratteristiche sono denaturate"
Grazie,
Ben
Re: PCA per dati spettraliCiao @Maike_W ,
Potresti prendere in considerazione l'idea di raggruppare le tue variabili nel PCA e di affinare il numero di colonne in base a quelle più rappresentative (vedi sotto):
Ho anche inserito questi dati nella nostra piattaforma Functional Data Explorer (dopo averli impilati) e ho suddiviso le colonne in Gruppo (Erbse, Ackerborne) e il valore numerico allegato (40,5, 40,15, nota che ho aggiunto "0" per quelli in cui il valore non era specificato) e ho ottenuto un buon modello che spiega la differenza nei picchi tra i gruppi (vedi la gif e la tabella allegata).
Re: PCA per dati spettraliCiao Ben,
grazie mille! sì esatto, i valori senza numero sono le proteine native e le ho trattate a temperature e tempi diversi. Puoi vedere le differenze nei numeri.
Il mio lavoro riguarda la possibilità di vedere queste differenze strutturali usando la spettroscopia NIR. Voglio vedere se riesci a vedere schemi e a determinare la regolarità usando PCA e quale numero d'onda devi guardare.
Ma torniamo a PCA e a questo avviso (la correlazione della matrice non è positiva definita). Posso risolvere questo problema esaminando solo le colonne con i numeri d'onda importanti (dal clustering o dalla matrice di caricamento) in PCA?
Grazie per l'esempio in Functional Data Explorer. Ci darò un'occhiata più da vicino.
Re: PCA per dati spettraliCiao @Maike_W ,
Ridurre il numero di colonne "non importanti" aiuterà a migliorare la PCA. Penso che non dovresti dare troppa importanza all'aspetto positivo definitivo: la PCA ti aiuterà a trovare le colonne correlate che potrebbero indicare la denaturazione delle proteine indipendentemente dal problema di correlazione, e probabilmente le esaminerai comunque visivamente per vedere se si tratta di una vera relazione nei tuoi campioni, il che ti darà una chiara risposta "vera o no" alle lunghezze d'onda importanti.
Spero che questo ti aiuti!
Ben
Re: PCA per dati spettraliCiao Ben,
grazie mille. Questo mi è stato sicuramente d'aiuto.
Maike
