DoE utilizzando i componenti principali come variabiliCIAO,
Ho lavorato su un problema di ottimizzazione e ho eseguito alcuni PCA sul set di dati.I primi sette componenti principali spiegano circa l'80% della varianza.Speravo di pianificare un DoE utilizzando questi primi sette componenti principali come variabili.Tuttavia, un collega ha indicato che questa è spazzatura poiché i componenti principali successivi spiegano una varianza relativamente piccola rispetto a quelli precedenti e come tale la loro inclusione porterebbe a un uso inefficiente delle risorse sperimentali.(Per informazioni, ha invece sostenuto l'analisi k del vicino più vicino, di cui non so molto).La mia domanda è se sia ancora valido fare un DoE con variabili (in questo caso componenti principali) che variano ampiamente nella loro capacità di spiegare i dati.(Nella mia zona, vedo spesso proposte di DoE basate solo sulle prime tre DoE, anche quando spiegano solo una frazione della variabilità complessiva.)
Progettazione di esperimentiRi: DoE che utilizza i componenti principali come variabiliCIAO @kjwx109 ,
Potrebbe essere difficile aiutarti senza ulteriori dettagli, non so ad esempio:
- Se desideri analizzare il set di dati che hai già o se desideri pianificare esperimenti basati su questo set di dati?
- Qual è l'obiettivo dell'analisi?
- Vuoi creare un modello predittivo o esplicativo (o forse entrambi)?
- Hai problemi di alta dimensionalità? Qual è il numero di fattori/variabili originali che hai?
- Vuoi raggruppare/raggruppare individui/osservazioni o variabili?
Da un punto di vista generale, può essere valido creare un DoE sulle variabili dei componenti principali, ma è meglio se queste variabili dei componenti principali hanno un senso dal punto di vista dell'esperienza del dominio: forse alcuni fattori sono "mescolati" in PC specifici e tu può trovare un termine che includa questi due fattori correlati e spiegare perché potrebbero essere collegati insieme.
Ci sono numerose opzioni per ridurre la dimensionalità se questo è un problema che vuoi affrontare, e hai opzioni per farlo su variabili o osservazioni/individui. Ciò può portare a visualizzazioni e risultati diversi. Ho risposto a un argomento simile sul clustering qui: Comunità JMP - Colonne per il clustering , e ci sono altri modi per ridurre la dimensionalità: analisi delle componenti principali, incorporamenti multivariati (UMAP, t-SNE, ...)...
Non vedo come K-Nearest Neighbors possa essere utile in questo contesto, è più spesso utilizzato in un approccio predittivo o in una fase di pre-elaborazione per i valori mancanti. Non è un metodo di selezione variabile. Potete trovare maggiori informazioni qui : K Vicini più vicini (jmp.com)
E puoi vedere come funziona in modo interattivo (e l'influenza della dimensione del set di dati, del numero di vicini, ...) qui: K-Nearest Neighbours (KNN) - Visualizzare la varianza del confine decisionale / Antoine Broyelle | Osservabile (observablehq.com)
Spero che questa prima risposta ti possa aiutare, non vedo l'ora di aiutarti ulteriormente con più contesto.
Oggetto: DoE che utilizza i componenti principali come variabiliVictor fa delle belle domande.Vorrei sapere come si manipola effettivamente un componente principale e come si imposta il livello?
Ri: DoE che utilizza i componenti principali come variabiliTutte le tue variabili sono indipendenti, il che significa che puoi impostare direttamente il valore per ciascuna?In tal caso, esplorare solo lo spazio definito da quei 7 componenti potrebbe essere molto più piccolo del potenziale spazio di progettazione e rischi di perdere punti ottimali solo perché non ci sei mai corso in passato.Esempio: se l'impianto non ha mai modificato la temperatura X, anche un DOE che utilizza componenti PCA non sposterà X.
D'altra parte, quello spazio sconosciuto potrebbe rendere un prodotto davvero scadente o semplicemente non funzionare.Se riesci ad analizzare e visualizzare in modo efficace le prestazioni ai limiti di tutti questi componenti e sei sicuro che il punto ottimale sia dentro la progettazione dello spazio quindi a partire da quello spazio potrebbe essere la più efficiente.Utilizzare i risultati preliminari per verificarlo e aumentare il progetto se si determina che lo spazio del progetto è troppo piccolo o troppo grande.
Per quanto riguarda il numero di componenti, penso che sia necessaria un'analisi di tali componenti. Se hai davvero 7 fattori che puoi controllare e se il potenziale vantaggio derivante dall'ottimizzazione del 7° vale le corse extra necessarie per esplorare quello spazio, allora fallo.In alcuni casi i primi 4 componenti potrebbero essere fattori al di fuori del controllo delle strutture in un dato momento, quindi il 5° componente è il primo che è una leva effettiva che può essere controllata.In altri casi la differenza tra le impostazioni migliori e peggiori per il 7° componente potrebbe comportare risparmi che non ripagano nemmeno l'esperimento.
Processi e design sono pieni di sfumature.Esito a generalizzare troppo, quindi rispondere a una domanda come questa dipende davvero dal tuo processo e dai tuoi obiettivi.
Oggetto: DoE che utilizza i componenti principali come variabiliCIAO @kjwx109 ,
Presumo che tu abbia effettuato un PCA su un gran numero di variabili descrittori continue su una libreria di diversi materiali "candidati" al fine di arrivare a un numero minore di fattori covariati per progettare un esperimento per esplorare una vasta gamma di candidati .
In tal caso, penso che l'esempio allegato potrebbe aiutare a rispondere alle tue domande. L'obiettivo qui è quello di selezionare una vasta gamma di solventi come parte dell'ottimizzazione di un processo di reazione chimica.
Abbiamo 9 descrittori dei solventi e ci sono forti correlazioni tra molti di essi. Pertanto, la PCA può essere utilizzata per ridurre le dimensioni del problema: 2 PC catturano >70% della variazione nei descrittori del solvente. (Se non ci fosse una forte correlazione tra i descrittori non ci sarebbe alcun senso nella PCA - useremmo semplicemente i descrittori come fattori covariati nel nostro esperimento.)
Guardando i primi 2 PC, hanno senso come proprietà chimiche "reali" del sistema: il primo sembra descrivere quanto sia "polare" o "simile all'acqua" il solvente; e il secondo descrive quanto sia "ingombrante" il solvente. È molto più difficile interpretare il significato del terzo PC, che rappresenta solo il 9% della variazione.
Quanti PC dovremmo usare come fattori covariati nel nostro esperimento progettato? Certamente non useremmo tutti e 9 - il punto è ridurre la dimensione del problema dal gran numero di descrittori misurabili correlati a un numero minore di componenti "latenti" significative e sottostanti che crediamo stiano descrivendo proprietà importanti del sistema.
Una regola generale è di non considerare PC con autovalori inferiori a 1, poiché descrivono una variazione inferiore rispetto a una delle variabili originali. In questo caso, ciò significherebbe che sceglieremmo di utilizzare solo i primi 2 PC.E i primi 2 sembrano avere più senso chimicamente. In molti casi come questo, le persone usano 3 PC, ma sospetto che sia in gran parte dovuto al fatto che sembra buono su un grafico a dispersione 3D!
Dovremmo utilizzare una combinazione delle statistiche del PCA e della nostra comprensione del dominio del sistema per informare la scelta del numero di PC da portare avanti come fattori covariati.
Esistono alternative come il clustering, che ci darebbe gruppi di candidati simili dalla biblioteca.Potremmo quindi scegliere un rappresentante da ciascuno per fornire un campione diversificato di candidati. Tuttavia, ciò non ci darebbe l'intuizione che otteniamo utilizzando PC significativi come fattori. E non ci consentirebbe di progettare un esperimento che esplori al meglio le proprietà dei candidati insieme ad altri fattori di processo che potremmo prendere in considerazione. Non sono sicuro di come useremmo k vicini più vicini, ma immagino che avrebbe gli stessi svantaggi.
Spero che aiuti.
Fil
