Set di dati PLS "molto ampio"?<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Qualcuno ha un set di dati "molto ampio" che si presterebbe alla modellazione PLS?
Un cliente dispone di un set di dati spettrale con 3500 colonne (lunghezze d'onda), 70 righe, 1 risposta da prevedere. Hanno provato a costruire un modello PLS in JMP ed è stato estremamente lento (10 minuti). Vorrei indagare ma il cliente non può fornirmi i dati (anche anonimizzati!). Qualcuno ha un set di dati di dimensioni comparabili? Tutti i miei esempi di scorta sono molto più piccoli.
Per favore fatemi sapere se avete qualche idea sulla velocità di adattamento. L'altro software del cliente ha montato il modello in << 1 minuto. Pro sarebbe diverso? Ci sono opzioni che potrebbero aiutare?
Grazie,
Phil
Ri: Set di dati PLS "molto ampio"?Grazie, Scott.
Questo è uno dei set di dati che ho esaminato. Sono d'accordo che sia buono. Tuttavia, non era grande quanto il set di dati del cliente poiché ha centinaia di colonne anziché migliaia.
Grazie,
Phil
Ri: Set di dati PLS "molto ampio"?Ha senso perché ora stiamo chiedendo a JMP di adattare i modelli per tutti quei diversi numeri di fattori su tutte le 7 pieghe nei dati.
Ri: Set di dati PLS "molto ampio"?Phil e Peter,
Giusto e FYI:
Un altro buon ampio set di dati per PLS è il set di dati NIR a ottano della benzina.
È stato uno dei primi che abbiamo utilizzato per PLS all'inizio di JMP, ma è ancora molto buono e rappresentativo di una situazione comune di dati a livello di laboratorio.
Mettilo fuori sotto t lui Libreria di riferimento tecnico JMP nelle cartelle della tabella dati: D50 benzina ottano NIR (Gardner)
Non ho ancora provato le funzionalità di JMP Pro PLS su questo (come la convalida e le opzioni di analisi più recenti), ma penso che funzionerebbe anche.
Scott
Ri: Set di dati PLS "molto ampio"?Sì, la tecnica di convalida gioca un ruolo enorme nel tempo di risposta. Solo per le risatine ho scelto KFold = 7 anziché Nessuno e ci sono voluti circa 14 minuti per risolverlo.
Ri: Set di dati PLS "molto ampio"?Ciao Peter,
Ottimo suggerimento per quel set di dati, grazie.
Dopo aver giocato (ho usato la colonna "età" come la mia Y) posso anche adattare un modello a 15 fattori all'incirca nello stesso tempo. Tuttavia, trovo che con solo 8 GB di RAM nella mia macchina (devo parlarne con l'IT!) Non posso usare tutte le 11.000 covariate. Circa la metà di loro va bene però.
L'utilizzo o meno della convalida ha un grande effetto. Se chiedo la convalida di LOO, tutto si ferma. Penso che questo sia ciò che il cliente stava facendo in JMP. E forse il modello che il cliente inseriva nell'altro software non utilizzava la convalida.
Questo mi ha fornito alcune utili strade da esplorare.
Grazie ancora,
Phil
Ri: Set di dati PLS "molto ampio"?OK ... ho appena creato una semplice risposta numerica che era una delle covariate x 3 quindi una relazione in linea retta quindi c'era QUALCOSA da trovare ... ho usato tutte le quasi 11.000 covariate, JMP Pro, la mia macchina, Nessuna per la convalida ... e penso che questa sia la chiave ... usando la personalità PLS in Fit Model, non standardizzare X, e ci sono voluti circa 15 secondi per trovare una soluzione a 15 fattori.
Ri: Set di dati PLS "molto ampio"?Phil:
Un set di dati che viene subito in mente è il set di dati Micro Array che è centrale per le nostre demo di JMP Pro versione 12 che ha quasi 11.000 colonne covariate numeriche, 4 risposte categoriali. Ci vogliono forse 4 secondi per farlo funzionare sulla mia macchina Windows per una risposta. Non ho mai provato più risposte. In effetti, il 15 ottobre organizzerò un evento di mastering orientato al PLS per dimostrare questo specifico set di dati con una sola risposta solo per mantenerlo semplice. Un set di dati leggermente diverso e viene eseguito nella piattaforma Discriminant, non nella piattaforma PLS, ma questo potrebbe essere d'aiuto?
Ecco le specifiche sul mio laptop Windows se questo aiuta:
