SVEM: ¿Rete neurale o Lasso?Sto conducendo uno studio sul modello di previsione con miscele DoE (3 componenti) e un fattore di processo e una variabile di risposta (quantitativa). Applicherò SVEM, ma ho una domanda: da cosa dipende quando si utilizzano reti neurali o lazo?
Grazie per le tue risposte.
Modellazione statistica avanzataAutomazione e scriptingAnalisi e modellazione dei dati di baseRicerche sui consumatori e sul mercatoOrganizzazione dei contenutiAccesso ai datiCombinazione e pulizia dei datiEsplorazione e visualizzazione dei datiProgettazione di esperimentiPersonalizzazione di massaModellazione predittiva e machine learningIngegneria della qualità e dei processiAnalisi di affidabilitàCondivisione e comunicazione dei risultatiRe: SVEM: ¿Rete neurale o Lasso?Ciao @CrhistianDoE ,
Per i dati DoE, direi che nessuna di queste opzioni sarebbe la mia prima scelta, per diversi motivi.
Reti Neurali e Lasso (da Regressione Generalizzata ) sono due tecniche di analisi molto diverse:
- Le reti neurali sono modelli complessi di apprendimento automatico in grado di approssimare qualsiasi funzione con livelli e neuroni sufficienti (vedi Il teorema di approssimazione universale: https://en.m.wikipedia.org/wiki/Universal_appimation_theorem ), che richiedono un'attenta costruzione con un numero appropriato di livelli e neuroni e, cosa più importante, una buona strategia di validazione. Poiché le reti neurali possono essere molto flessibili nella modellazione e nell'approssimazione di qualsiasi funzione, si può rapidamente tendere all'adattamento eccessivo senza una buona strategia di convalida e iniziare a modellare il rumore nei dati. Si consiglia inoltre vivamente un set di test (o punti di test/nuovi punti nello spazio di progettazione del DOE) per assicurarsi che il modello della NN sia in grado di generalizzarsi bene a nuovi punti dati sconosciuti. Maggiori spiegazioni sulle reti neurali e il loro uso prudente in questi post precedenti:
Differenza tra i nodi nello stesso livello della rete neurale?
Screening del modello: Rete neurale/validazione incrociata K-fold
aiuto con la comparazione dei modelli: DOE vs ANN potenziato
- Il lasso della regressione generalizzata è una tecnica di penalizzazione nei modelli di regressione che è molto utile nel contesto di set di dati di grandi dimensioni con possibile elevata collinearità tra variabili/fattori e/o quando si hanno più variabili che osservazioni, poiché aiuta a selezionare caratteristiche/variabili: Lazo aiuta a selezionare le variabili più importanti dalle variabili correlate e ridurrà a 0 il coefficiente delle variabili correlate non selezionate (questo è il motivo per cui è molto utile nel contesto della selezione delle caratteristiche).
Vedi di più qui: Panoramica della personalità della regressione generalizzata (jmp.com)
Nel tuo caso con i dati DoE, hai un set di dati piccolo ma attentamente pianificato, con un modello presunto se hai utilizzato la piattaforma di progettazione personalizzata o la progettazione mista tradizionale, oppure hai una ripartizione omogenea dei punti nel tuo spazio di progettazione se hai creato uno spazio -Progettazione di riempimento.
- Con la progettazione mista personalizzata/tradizionale, poiché il modello è già presupposto con la creazione del progetto, non inizierei con Lasso, SVEM o qualsiasi altra tecnica complessa. Anche l'uso della rete neurale non sarebbe appropriato, poiché la ripartizione dei punti è basata su un modello e potrebbe non fornire una copertura sufficientemente omogenea/buona dello spazio di progettazione. Pertanto potrebbero non esserci livelli sufficienti per ciascuno dei tuoi fattori per utilizzare un modello di interpolazione complesso e ad alte prestazioni come la rete neurale.
Inizia con il modello presupposto e i termini del modello inclusi con una regressione "tradizionale" (minimi quadrati standard) e visualizza/analizza l'adattamento del tuo modello.
Come apparivano i grafici "Actual vs. Predicted"? Come sono i residui? eccetera...
Se noti che il tuo modello potrebbe non essere abbastanza complesso da catturare i collegamenti tra le 3 variabili della miscela, prova ad aumentare il tuo progetto per includere termini di ordine superiore. Tieni presente che i progetti misti pongono l'accento sulla predittività, quindi sarebbe meglio affinare il modello su criteri diversi dai valori p, ad esempio massima verosimiglianza, RMSE, criteri di informazione come AICc o BIC, ...
Alcuni post su questo argomento: Risolto: Re: Analisi di una miscela DOE con regressione graduale - Comunità degli utenti JMP
Risolto: Scheffe Cubic Mixture e valore p - Comunità di utenti JMP
Se si desidera utilizzare piattaforme di regressione generalizzata, potrebbero esserci altri metodi di stima più adatti, come "Pruned Forward Selection" (con metodo di validazione AICc/BIC), "Two-Stage Forward Selection" o eventualmente "Best Subset" (solo se hai un numero limitato di fattori, poiché metterà alla prova molti modelli con effetti principali e molte combinazioni di termini di ordine superiore).
- Con i progetti Space-Filling, ci sono molti metodi di machine learning che puoi (e dovresti) provare prima di considerare le reti neurali. In genere, le foreste casuali e le macchine vettoriali di supporto sono algoritmi ML interessanti:
Hanno buone prestazioni predittive su set di dati di piccole dimensioni, sono meno inclini al sovradattamento (più semplici), sono abbastanza robusti rispetto ai valori anomali, hanno buone prestazioni di generalizzazione, gestiscono situazioni non lineari, richiedono poche regolazioni degli iperparametri (le foreste casuali funzionano molto bene con le impostazioni predefinite e puoi facilmente mettere a punto SVM con l'opzione incorporata Tuning design ), sono più facili da interpretare, ecc...
La foresta casuale (denominata foreste Bootstrap in JMP) fornisce un buon punto di riferimento per il confronto dei modelli ed è spesso una scelta predefinita da testare. Alcuni post personali su LinkedIn scritti su questi due algoritmi per set di dati DoE:
- Foreste casuali: https://www.linkedin.com/posts/victorguiller_doe-machinelearning-randomforests-activity-7127557799810625536-FH7K
- Supporta Vector Machine: https://www.linkedin.com/posts/victorguiller_doe-machinelearning-statsjoke-activity-7117395916130537472-pJoB
Spero che questa (lunga) risposta ti possa aiutare,
