Ri: RMSE errato per i dati di convalidaCIAO @AAYH ,
Benvenuto nella Comunità!
Sembra che tu stia riscontrando un overfitting sui tuoi dati di allenamento. È un po' difficile aiutarti senza dati di esempio (ad esempio dati anonimizzati) per indagare in dettaglio i passaggi che hai fatto e il tipo di dati che hai. Tuttavia, ecco alcune domande per iniziare:
- Hai controllato le correlazioni tra i tuoi input (menu Analizza -> Metodi multivariati -> Multivariato) o
- Hai controllato la multicollinearità tra i tuoi fattori di processo (nella piattaforma "Fit Model", pannello " Stime dei parametri (jmp.com) ", fare clic con il tasto destro sui parametri delle colonne e fare clic su Colonne -> VIF per verificarne i valori) ?
Questa potrebbe essere una direzione da indagare, poiché le correlazioni o la multicollinearità possono "danneggiare" gravemente le prestazioni dei modelli lineari se non ci sono precauzioni.
Se hai correlazione o multicollinearità tra i tuoi fattori, potrebbe essere più sicuro:
- Scegli un modello in grado di gestire la multicollinearità (Partial Least Square, Bootstrap Forest per esempio), oppure
- Pre-elabora i tuoi input con un PCA e usa i componenti principali nel tuo modello lineare, oppure
- Utilizza metodi penalizzati (JMP Pro, Regressione generalizzata) come LASSO, Ridge o Elastic Net per creare modelli di regressione lineare più robusti.
Facci sapere cosa porta questa prima indagine e, se si spera che tu possa fornire alcuni dati di esempio, sarebbe più facile per altri membri prendere parte a questa discussione,
Ri: RMSE errato per i dati di convalidaCiao Vittorio, grazie per la tua risposta e penso che tu abbia ragione. Lo esaminerò al più presto.
Ri: RMSE errato per i dati di convalidaCiao Statmann.
Grazie per aver dedicato del tempo a rispondere alla mia domanda e grazie per il tuo valido contributo. Lo esaminerò al più presto.
Ri: RMSE errato per i dati di convalidaCiao di nuovo.
Ho realizzato uno Screening Design definitivo dove mi sono bloccato a causa di giorni diversi. Ora, so che potrei aver commesso un errore non prendendo in considerazione le variabili incontrollate dall'inizio.
Ho 3 variabili (UB1-3) che ho cambiato durante due diversi cicli di produzione (Blocco 1 e Blocco 2). Var non controllato. 1 e 2 sono misurati ma non posso cambiarli. La mia variabile Qualità viene misurata alla fine del processo. La variabile non controllata 2 dipende fortemente dal giorno/blocco e influenzerà la variabile non controllata. 1 e da UB1 a UB3.
Sono solo curioso di capire se posso usare i dati che ho ora o che mi servono per fare un altro esperimento. La ringrazio molto per il vostro tempo.
Ri: RMSE errato per i dati di convalidaCIAO @AAYH ,
Innanzitutto, questo DSD è collegato al problema della modifica di RMSE con i dati di convalida o è diverso e non particolarmente correlato? Sto solo cercando di vedere se questo è il set di dati di esempio per illustrare il tuo problema o qualcosa in aggiunta al tuo problema. Qual è il tuo obiettivo con questo DoE? C'è un valore mancante nel tuo datatable per la seconda variabile non controllata.
Se ho capito bene, hai aggiunto un fattore di blocco (nella creazione del DSD lo hai creato come fattore categorico?), E 2 variabili incontrollabili che hai registrato ma non sono randomizzate/controllate in modo DoE.
Come hai già visto, hai forti correlazioni tra le tue due variabili incontrollabili e tra Block e variabili non controllate 1/2, che possono avere un grande impatto sulle prestazioni predittive del tuo modello su nuovi dati (script "1. Multivariato" nel datatable allegato).
Ho aggiunto alcune proprietà di colonna sul tuo blocco fattore casuale e variabili incontrollabili (in modo che possano essere utilizzate correttamente nelle piattaforme JMP), quindi ho realizzato due modelli:
- Uno con la personalità del modello Misto, specificando "Blocco" come effetto casuale (copione "2.a. Fit misto"),
- Uno con la personalità Minimi quadrati standard con "Blocco" come effetto casuale (sceneggiatura "2.b. Fit Model (con blocco casuale)").
Non sorprende che i due modelli forniscano risultati simili e, come previsto, le variabili incontrollabili 1 e 2 sembrano avere un effetto importante sulla qualità della risposta. Il fattore di blocco casuale non sembra essere significativo.
I modelli in sé sono abbastanza corretti (a seconda della precisione del modello che ti aspetti), con R² elevato (0,87) e RMSE piuttosto basso (circa 0,5). Tuttavia, come già visto nella piattaforma Multivariata (correlazioni), alcuni dei tuoi fattori sono linearmente dipendenti l'uno dall'altro, il che crea un VIF elevato (circa 20 per le due variabili non controllate) e può comportare un aumento della varianza nelle previsioni:
Un'opzione per ridurre questa collinearità potrebbe essere quella di creare componenti principali da queste 2 variabili (script "3.a. PCA delle variabili non controllate 1&2"), e realizzare lo stesso tipo di modello di prima (ma sostituendo le variabili non controllate 1&2 con le loro 2 componenti principali, script "3.b. Modello adatto con PC"):
Ciò non cambierà le prestazioni del modello in termini di R² e RMSE, ma la riduzione dei VIF aiuta a ridurre la varianza nelle stime dei parametri (per i parametri coinvolti in questa situazione di collinearità).
Per quanto riguarda la tua domanda iniziale, se puoi utilizzare i dati che hai ora, tutto dipende dal tuo obiettivo (spiegazione e/o previsione) e da come valuti l '"utilità" dei tuoi dati (precisione della previsione?).
Da questo primo datatable, ci sono già alcune cose importanti da notare, ma senza ulteriori informazioni, è difficile interpretare o concludere sull'uso dei dati (rappresentatività degli intervalli delle variabili non controllate 1 e 2, o correzione necessaria per il valore mancante Per esempio...). Ma è un primo passo interessante su cui potresti aumentare il tuo progetto, per prendere meglio in considerazione le tue 2 variabili incontrollate e renderle controllate essendo fattori nella tua sperimentazione.
Tieni presente che ciò che ho fatto potrebbe non essere l'approccio migliore a seconda dei tuoi obiettivi e delle tue esigenze e che potrebbero essere disponibili anche altre opzioni per le stesse attività.
Ri: RMSE errato per i dati di convalidaInnanzitutto, non sono sicuro di aver capito il problema? Riesci a postare la tua tabella dati? Ciò che mi confonde è l'apparente conflitto a seconda di come stai valutando i "nuovi" dati? Potresti descrivere come hai fatto questo? Qual è il delta dalla previsione e dall'effettivo? (residui) Avete analizzato i residui?
Oltre agli eccellenti pensieri di Victor sulla multicollinearità, ecco i miei:
1. Qual è la fonte dei dati che hai utilizzato per eseguire il modello di adattamento? Sono dati di produzione? Viene da un esperimento?
2. Quanto sono rappresentativi i tuoi dati delle condizioni future?
3. Come suggerisce Victor, ci sono una serie di domande sui dati. Non esiste una statistica che fornisca tutte le informazioni sul nostro modello. R-sq di per sé ha pochissima utilità (aumenterà sempre man mano che aumenti i DF nel tuo modello). Vuoi confrontare R-sq con R-sq regolato. Ciò fornirà informazioni sull'overfitting del modello.
RMSE errato per i dati di convalidaCIAO
Utilizzando "Fit Model" ho creato un modello per identificare il contenuto di umidità in un prodotto utilizzando diversi parametri di processo. Il modello va bene (Rsq=0.97) e un RMSE abbastanza basso. Le variabili utilizzate hanno tutte Logworth superiore al limite.Il problema sorge quando voglio acquisire nuovi dati per la convalida. Qui la previsione è pessima. I dati che voglio convalidare non sono molto diversi dai dati utilizzati nel set di test. Quando includo i dati di convalida come dati del set di test, si adattano molto bene al modello, l'errore di previsione dell'umidità è simile ai dati "originali"
Ho un modello composto sia da effetti principali che da interazioni. Cosa sto facendo di sbagliato?
Esplorazione e visualizzazione dei dati
