Quando rimuovere i valori anomali durante la riduzione del modello?CIAO,
Quando riduco un modello, osservo i residui studentizzati esternamente per sapere quando compaiono valori anomali. Quando dovrei rimuovere questi valori anomali durante il processo di riduzione del modello?
Se non vedo valori anomali quando il modello contiene tutti i termini, ma poi rimuovo un termine e compare un valore anomalo, devo rimuovere immediatamente quel valore anomalo e continuare a ridurre oppure continuare a ridurre e poi rimuovere i valori anomali alla fine?
Progettazione degli esperimentiFinestreR: Quando rimuovere i valori anomali durante la riduzione del modello?Ciao @MetaLizard62080 ,
Hai letto le risposte di @statman e mie al tuo post precedente "Scegliere di escludere da 2 valori anomali uguali nel DoE" ?
Per chiarire e ripetere, i residui studentizzati possono essere un buon modo per identificare i valori anomali basato su un modello assunto . Per maggiori informazioni su come vengono calcolati i residui studentizzati, vedi qui: Diagnostica di riga (jmp.com)
" I punti che ricadono al di fuori dei limiti rossi dovrebbero essere trattati come probabili valori anomali. I punti che ricadono al di fuori dei limiti verdi ma all'interno dei limiti rossi dovrebbero essere trattati come possibili valori anomali, ma con minore certezza. "
Puoi usarli come modello diagnostico dell'adeguatezza della complessità del modello adattato ai dati. Ciò illustra in modo notevole come/perché i risultati dei tuoi residui studentizzati dipendono dal modello, poiché la rimozione/aggiunta di un termine nel modello modifica la diagnosi su quali punti possono essere valori anomali basati sul modello: il comportamento di questi punti non è descritto/previsto bene dal modello, ma ciò non li rende valori anomali in tutti gli altri casi/opzioni di modellazione.
NON dovresti scartare/eliminare punti basati sull'analisi dei valori anomali basata sul modello; questi strumenti sono ottimi per perfezionare il tuo modello e regolarne la complessità, con l'aiuto di altre metriche e criteri statistici (R²/R² aggiustato, RMSE, valori p, criteri informativi come AICc/BIC, ...).
L'identificazione e l'analisi dei valori anomali dovrebbero essere effettuate prima della modellazione, con strumenti adeguati.Se vuoi verificare se i punti nel tuo set di dati potrebbero essere valori anomali, prova a utilizzare metodi multivariati basati su distanze come Mahalanobis, Jackknife o T²: Analisi dei valori anomali . Nel menu Esplora valori anomali sono disponibili anche altre analisi.
In ogni caso, un'analisi statistica non è sufficiente per scartare i punti che potrebbero essere anomali, è necessario analizzare questi punti strani e capire come/perché i valori misurati di questi punti sembrano strani rispetto ad altri: errore di misurazione, errore sperimentale, cambio/errore dell'operatore o forse sta accadendo qualcosa di inaspettato?
Spero che questa risposta ti possa aiutare,
R: Quando rimuovere i valori anomali durante la riduzione del modello?Ciao Victor,
Ho letto la risposta. Spesso nel mio campo di lavoro abbiamo un'elevata variabilità di analisi che può facilmente spiegare risultati irregolari che potrebbero essere considerati valori anomali.
Di solito inizio la mia analisi con JackKnife Z usando la piattaforma multivariata per valutare le risposte generali. Tuttavia, questo non rivela sempre valori anomali al modello. Ad esempio, nel mio ultimo DoE, JackKnife mostra valori < 2 per un valore anomalo che viene trovato in ogni caso dai residui studentizzati esternamente. Non sono riuscito a trovare una ragione per cui questo punto fosse un valore anomalo, ma senza rimuoverlo, il mio modello ha mostrato un adj R^2 di 0,61 mentre con il punto rimosso, l'adj R^2 è aumentato a 0,99. Insieme a questo, il modello con il punto rimosso ha anche reso "Scientific Sense" mentre senza il punto rimosso, era generalmente caotico.
Mi piace sempre confrontare i possibili modelli quando rimuovo i valori anomali per vedere se c'è anche un impatto significativo sulla previsione. In questo caso, a seconda di quando rimuovo il punto (all'inizio, nel mezzo o alla fine) della riduzione del modello, ho scoperto di avere modelli diversi, ma la capacità predittiva pratica era più o meno la stessa. In un caso, avevo una quadratica molto leggera, ad esempio, ma non era un fattore dominante. Mentre in questo caso, tutti e tre i modelli erano molto probabilmente utili in modo simile, vorrei conoscere la best practice per stabilire il modello più probabile.
Capisco che per rimuovere i punti non basta semplicemente seguire il processo residuo studentizzato, tuttavia se so che c'è un valore anomalo o ho la forte sensazione che potrebbe esserci, è meglio rimuoverlo prima, a metà o dopo la riduzione del modello , poiché ciò influenzerà i risultati verso cui il modello converge.
R: Quando rimuovere i valori anomali durante la riduzione del modello?Ciao @MetaLizard62080 ,
Se ci si aspetta un'elevata variabilità del test, si tiene conto di questa fonte di rumore utilizzando il blocco?
È fantastico se puoi avere un modello che sei in grado di convalidare con competenza di dominio, questo dovrebbe ridurre la possibilità di errori. Puoi forse ripetere i test (o solo le misurazioni) che sembrano strani? Questo potrebbe aiutarti a capire se si tratta di un "errore sistematico" o di un "errore casuale" e informare il tuo processo decisionale.
Invece di rimuovere direttamente i punti che sembrano strani e non descritti precisamente dal modello, li userei comunque, ma ridurrei la loro influenza sul modello, creando una colonna "peso" con valore 1 per i punti "normali" e un valore inferiore per i "punti strani", e userei questa colonna "peso" nella finestra di dialogo Modello come variabile Peso: Elementi nella finestra di avvio Adatta modello
La rimozione di punti per far convergere più rapidamente il modello distorcerà il modello e probabilmente creerà risultati falsamente ottimistici.
Spero che alcuni di questi punti ti siano chiari,
