Perché il mio p-value di mancanza di adattamento è così piccolo?Ciao a tutti, comunità di JMP. Ho recentemente terminato i miei esperimenti seguendo un disegno RSM. Ho inserito i dati nel software e ho eseguito il modello (tenendo conto delle interazioni e dell'RS). Ho escluso i fattori e le interazioni che risultavano irrilevanti in base alla tabella di riepilogo degli effetti. Tuttavia, il p-value di mancanza di adattamento rimane molto basso (vedi screenshot qui sotto). Temo che il modello sia in overfitting perché, nonostante ciò, il mio valore RSq è elevato, tra 0,97 e 0,98 (so anche per certo che questo potrebbe non essere un buon indicatore, dato che ci sono interazioni non lineari tra i miei fattori).
Ho provato anche la modellazione Stepwise, ma il valore p di adattamento non è migliorato. Potreste aiutarmi a capire come procedere o cosa dovrei provare per trovare il modello più adatto ai miei dati? Al momento sono bloccato e non riesco a trovare le condizioni ottimali che cerco. Grazie.
Analisi e modellazione di base dei datiModellazione predittiva e apprendimento automaticoOggetto: Perché il mio p-value di mancanza di adattamento è così piccolo?Ciao @Chemist9 ,
Benvenuto nella community!
Il test di mancanza di adattamento è utile per valutare se il modello si adatta bene ai dati.
È molto difficile aiutarti solo con uno screenshot di questo report del modello. Puoi condividere altri screenshot di diverse parti del report (grafico dei valori effettivi rispetto a quelli previsti, residui, ecc.) o, meglio ancora, il dataset anonimizzato? Un valore p statisticamente significativo per questo test indica che l'errore del modello è notevolmente maggiore dell'errore puro e che il tuo modello potrebbe non essere adeguato.
Questa situazione potrebbe verificarsi nell'esempio fornito per diversi motivi:
- Se il tuo modello è "troppo semplice" per i risultati/dati che hai raccolto, ad esempio se mancano alcuni termini per modellare la curvatura nei tuoi dati (attraverso termini di secondo ordine, interazione, effetti quadratici o effetti di ordine superiore). In base a quali informazioni hai rimosso alcuni termini dal modello (solo valori p)? Quali sono il comportamento e le prestazioni del modello completo ipotizzato? Dato che hai realizzato un modello RSM, il cui obiettivo è l'ottimizzazione e la previsione, ti consiglio di utilizzare diverse metriche per perfezionare il tuo modello, come l'RMSE del modello (precisione del modello) e un criterio di informazione (AICc/BIC) per aiutarti a valutare e bilanciare il compromesso tra complessità e accuratezza del tuo modello.
- Se i tuoi punti replicati presentano una varianza estremamente bassa rispetto al modello, i tuoi esperimenti replicati sono indipendenti dagli altri esperimenti? Come hai condotto questi esperimenti? Si tratta di repliche "vere": hai creato e misurato questi esperimenti in modo indipendente (non hai semplicemente misurato lo stesso esperimento una seconda/terza volta)?
Consiglierei inoltre di verificare l'adeguatezza del modello di regressione tramite l'analisi dei residui , per accertarsi che le ipotesi di regressione siano soddisfatte e che non vengano rilevati schemi nei residui che potrebbero indicare un'inadeguatezza del modello. Se si osserva uno schema, ciò potrebbe confermare la mancanza di alcuni termini nel modello o la necessità di una trasformazione per adattarlo correttamente ai dati.
Spero che questa risposta ti sia d'aiuto.
Oggetto: Perché il mio p-value di mancanza di adattamento è così piccolo?Grazie per la tua utile risposta, @Victor_G !
Per darvi un'anteprima di ciò che ho già esplorato finora:
- Ho provato a eseguire il modello includendo tutte le possibili interazioni a due vie e i termini quadratici. Ho quindi escluso alcuni termini in base ai loro valori p indicati nella tabella di riepilogo degli effetti. Ho rimosso i termini con valore p > 0,05 (ad eccezione della Temperatura, poiché presenta altre importanti interazioni con altri fattori).
- Per il modello in cui ho rimosso le interazioni "insignificanti", ho ottenuto un RMSE normalizzato del 5,66%, che ritengo ancora accettabile per i processi metallurgici che sto attualmente studiando. Fatemi sapere se abbiamo un criterio diverso per valutare un RMSE buono o cattivo.
- Non ho ancora approfondito il criterio informativo (AICc/BIC) che hai menzionato. Posso ricavarlo tramite un modello che utilizza la personalità Stepwise?
- Sì, le mie repliche sono state eseguite e misurate in modo indipendente. È possibile che il modello stia già prestando attenzione a questi dettagli a causa della piccola varianza?
Per aiutarci ulteriormente in questa discussione, ecco i grafici pertinenti che hai menzionato:
- Risultati effettivi rispetto alle previsioni: personalmente non vedo uno schema (a S, ecc.), ma sembra che la maggior parte dei punti sia concentrata nella regione in alto a destra.
- Residuo rispetto al valore previsto: non sono sicuro che ci sia uno schema nel grafico, ma non credo che la distribuzione sia casuale.
- Residui studentizzati: In base alla mia attuale comprensione, poiché tutti i punti si trovano all'interno dei limiti verdi e rossi, non ci sono valori anomali nei miei dati che devo rimuovere.
Il mio problema ora è che non so come procedere, dato che ho una conoscenza molto limitata di questi strumenti.
In qualità di nuovo membro della community e utente di JMP, la tua risposta è stata davvero utile. Non vedo l'ora di continuare la discussione. Grazie!
Oggetto: Perché il mio p-value di mancanza di adattamento è così piccolo?Ok, questo è utile.
Osservando il grafico che confronta i valori effettivi con quelli previsti, sembra che alcuni valori bassi siano sovrastimati e alcuni valori alti sottostimati. Sono inoltre molto curioso riguardo ad alcune "linee di punti" in questi grafici: si tratta di repliche o di punti diversi in cui manca un termine nel modello che li differenzia?
Il criterio informativo è una metrica aggiuntiva disponibile nel report Fit Least Squares nel pannello Riepilogo della vestibilità .
Sì, nei casi in cui la varianza dei punti replicati è molto piccola, è possibile ottenere un test di mancanza di adattamento statisticamente significativo, con un modello appropriato (da qui la mia domanda sulle repliche "vere", per assicurarsi di averle eseguite correttamente e non sottovalutare la naturale variabilità sperimentale). È anche possibile ottenere più facilmente un test di mancanza di adattamento statisticamente significativo con un numero elevato di punti centrali: https://statease.com/blog/importance-center-points-central-composite-designs/#:~:text=Il%206%20punto%20centrale%20design,rendendo%20il%20test%20quasi%20senza%significato .
Si prega di controllare il pannello di trasformazione Box-Cox, accessibile nelle opzioni di profilazione fattoriale, per assicurarsi che non sia necessaria una piccola trasformazione per adattare meglio i dati. Le risposte con valori percentuali di solito richiedono una trasformazione LogitPct o LogisticPct per garantire che i valori previsti rimangano nell'intervallo da 0 a 100. Queste trasformazioni dovrebbero contribuire a ridurre i pattern a S nei residui e nei grafici dei valori effettivi rispetto a quelli previsti.
Spero che questo seguito ti sia d'aiuto,
Oggetto: Perché il mio p-value di mancanza di adattamento è così piccolo?Ciao @Victor_G !
Ho provato a seguire i tuoi suggerimenti e credo che il modello abbia subito dei miglioramenti. Tuttavia, non sono ancora sicuro che sia il modello più adatto ai miei dati.
Quelle "linee di punti" a cui ti riferisci sono repliche fedeli.
Ho eseguito sia il LogitPct che il LogisticPct e sembra che il LogitPct funzioni meglio per il mio set di dati. Ho ottenuto un profiler di previsione più realistico e un valore di AICc inferiore rispetto al LogisticPct. In questo modo ho anche limitato la risposta massima di Y al 100%, un problema che avevo riscontrato in precedenza. Tuttavia, il mio p-value di mancanza di adattamento è ancora molto basso, sebbene l'RMSE sia migliorato. È possibile che il basso p-value di mancanza di adattamento sia ancora dovuto ai miei punti centrali? Ho progettato i miei esperimenti seguendo il disegno composito centrale-RSM.
Sto anche pensando di applicare un modello di ordine superiore. Esiste un modo in JMP per suggerire le possibili interazioni di ordine superiore? Oppure devo farlo manualmente nella finestra "Adatta modello"?
Grazie mille per i vostri preziosi suggerimenti!
Oggetto: Perché il mio p-value di mancanza di adattamento è così piccolo?Ciao @Chemist9 ,
Ok, il modello sembra davvero molto meglio dagli screenshot che hai inviato.
Quanti punti centrali sono presenti nel tuo RSM? Se guardi il mio precedente link di StatEase , il numero comune di punti centrali è solitamente compreso tra 3 e 5. Se hai un numero maggiore di punti centrali, è possibile che tu abbia aumentato drasticamente la sensibilità del test di mancanza di adattamento e che il piccolo valore p trovato sia un "falso positivo". Puoi provare a "nascondere ed escludere" alcuni punti centrali per vedere se la diagnosi del test rimane invariata.
Puoi anche provare ad aggiungere manualmente altri termini al tuo modello nella finestra Adatta modello. Che tipo di disegno RSM composito centrale hai scelto? Centrato sul viso? In tal caso, significa che hai tre livelli diversi per fattore, quindi l'ordine del tuo modello sarà limitato a 2. Puoi comunque provare ad aggiungere termini cubici parziali al modello, che sono interazioni tra effetti principali ed effetti quadratici. Questi termini sono solitamente rari, ma se uno di essi è attivo, potrebbe migliorare significativamente il tuo modello.
Infine, pensate a come validare il vostro modello:
- Qual è lo scopo di questo modello? Ottimizzazione, previsione, acquisizione di conoscenza, ecc.? Quali sono i vostri criteri di successo?
- Il comportamento del modello corrisponde alle tue conoscenze del settore e alle tue aspettative?
- La precisione delle previsioni è praticamente accettabile?
- Hai intenzione di validare il tuo modello sull'intero spazio sperimentale (testando nuovi esperimenti in posizioni non ancora testate dello spazio sperimentale)? Oppure ti interessa solo l'ottimo trovato dal modello?
Queste domande, non esaustive, possono aiutarti a definire quando smettere di migliorare il tuo modello e iniziare a utilizzarlo.
Spero che questa risposta ti sia d'aiuto.
Oggetto: Perché il mio p-value di mancanza di adattamento è così piccolo?Concordo con Victor sul fatto che forse il tuo modello quadratico non è in grado di spiegare completamente la variazione della risposta; il tuo modello potrebbe essere più complesso, quindi verificare l'effetto di termini di ordine superiore è interessante. Presumo che il tuo RSM sia generato con un CCD? Ampliare il tuo DOE per ottenere un modello di terzo ordine potrebbe essere interessante per verificare l'effetto sul p-value di mancanza di adattamento.
Oggetto: Perché il mio p-value di mancanza di adattamento è così piccolo?Ciao @Chemist9 : le "linee di punti" sono annidate all'interno di qualcosa che non è incluso nel modello? Ovvero, ogni "linea di punti" proviene da una "corsa" o da qualche altro fattore di blocco o unità sperimentale?
