252783_it-IT

liliconcom

Minimi quadrati parziali

Ciao a tutti,

 

Sto cercando di eseguire un numero minimo parziale multivariato sul mio set di dati in JMP. Questo set di dati è composto da 10 righe e 59740 colonne (dati FT-IR, che ha molte migliaia di misurazioni "discrete" per creare una curva continua). Ottengo il seguente errore quando provo a eseguire il PLS, impostando 59738 colonne sui fattori X e due colonne sulla risposta Y.

 

 

Qualcuno sa come risolvere questo? Funziona se seleziono solo un piccolo numero di risposte X e non tutte 59738. Ho superato la capacità di dati che JMP può gestire?

 

Grazie

Ri: Minimi quadrati parziali

Probabilmente è meglio inviare un'e-mail support@jmp.com riferendosi a questa discussione.

 

Da un punto di vista metodologico, hai tracciato i dati? Ti aspetti che tutte le regioni di lunghezza d'onda / frequenza discriminino tra le risposte?

Ri: Minimi quadrati parziali

Sono d'accordo con Ian su come contattare l'assistenza, ma ci sono un paio di altre opzioni che puoi provare lungo la strada.

 

Sembra che tu stia usando JMP Pro.  Hai provato la regressione generalizzata? È possibile limitare il numero di intensità importanti utilizzando un approccio di regressione penalizzato come Elastic Net. 

Inoltre, un buon modo per esaminare i dati spettrali è utilizzare Esplora dati funzionali utilizzando Righe come funzioni.  L'uso dei risultati delle concentrazioni di imine e ammine come "Z Supplementary" ti consentirà di utilizzare la funzionalità DOE funzionale (JMP Pro 15) per ottenere un modello di regressione generalizzato dei tuoi dati.  Assicurati di inserire la colonna ID campione per adattarla alle singole curve e utilizzare una P-Spline per adattarsi al modello.  Questo potrebbe richiedere un po 'di tempo con 59.740 colonne, ma credo che valga la pena provare.

 

HTH

Conto

Ri: Minimi quadrati parziali

Un'altra domanda per te ... le risposte "zero" sono davvero numericamente zero, o solo i segnaposto per forse un "valore mancante"? Gli zeri mi sembrano strani nel contesto degli altri valori di ogni colonna. JMP deve sapere se sono veramente zero (il che sembra sia il modo in cui verranno trattati finora dalla tua analisi) o se mancano, come ti piacerebbe gestire la "mancanza"?

Ri: Minimi quadrati parzialiEhi Ian, grazie per la risposta. Manderò via email il supporto di JMP. Ho tracciato i dati e non tutte le regioni discriminano tra le risposte. Posso far funzionare il PLS eliminando manualmente i fattori X non reattivi (che in realtà riduce il numero di colonne da considerare da circa 59.738 a quasi 8.000). Tuttavia, questo non è l'ideale e preferirei di gran lunga trovare un metodo sistematico / calcolato per eliminare i fattori X non reattivi piuttosto che farlo da solo (che per definizione è incline a un eccesso di adattamento e potrebbe modellare un po 'di rumore spettrale ).

In qualche modo, vorrei utilizzare coefficienti di modello in scala e centrati per decidere su intervalli di numeri d'onda utili ((criteri, ad esempio coefficiente> = 5% di max?). Non so come fare, e se avessi qualche idea sarebbe molto apprezzato.Ri: Minimi quadrati parzialiGrazie per averlo evidenziato, sono veri valori numerici zero e non mancano punti dati.Ri: Minimi quadrati parziali

OK ... gli zeri sono dati numerici effettivi. Mi chiedo in base al messaggio di errore se da qualche parte nella lunga lista di oltre 50.000 variabili predittive hai in qualche modo ottenuto una o più colonne con interi valori mancanti? Se sto interpretando il messaggio di errore calcolando correttamente la media dei valori mancanti è il metodo di scelta per i valori mancanti. Hai mai eseguito una delle piattaforme esplorative con valore mancante per vedere se in realtà questa è la causa principale dell'errore? Se avevi una colonna con valori mancanti completi, la media non può essere creata. Se i valori mancanti non sono il problema ... allora sono in perdita e pensare insieme @ian_jmp e @bill_worley contattare l'assistenza tecnica JMP potrebbe essere la soluzione migliore.

 

Io (durante il mio mandato come ingegnere di sistemi JMP) una volta avevo un cliente che stava riscontrando un simile messaggio di tipo "errore" e la causa principale mancava di valori sparsi in tutta la tabella dei dati che rendevano impossibile l'esecuzione della piattaforma di analisi che stava cercando di usare .

Ri: Minimi quadrati parzialiOra mi rendo conto che posso farlo eseguendo il PLS, quindi facendo un modello usando VIP. Tuttavia ottengo alcuni strani risultati quando lo faccio sul mio set di dati con riduzione dell'X. Decide che il numero di fattori per minimizzare PRESS è 0, e quindi non posso estrarre alcuna informazione significativa. Questo è al contrario il PLS iniziale, che decide su sette fattori e ha un potere predittivo ragionevolmente forte per X (97,7%) e Y (99,9%). Sembra che la rimozione di fattori X non importanti peggiori il modello, il che non sembra avere senso per me. Forse sto fraintendendo questo risultato?