Le figure sottostanti sono report visualizzati utilizzando le "Relazioni Bivariate" di JMP. In entrambi i grafici, possiamo osservare che sull'asse Y sono presenti valori per i "trigliceridi" significativamente maggiori rispetto agli altri dati (valori che possono essere considerati valori anomali). La linea verde mostra il risultato di un "adattamento robusto" che riduce l'influenza di questi valori anomali.
Lo strumento Relazioni bivariate di JMP offre un'opzione di adattamento robusto nel report bivariato quando Y è continuo e X è continuo e nel report unidirezionale quando Y è continuo e X è nominale o ordinale.
In questo articolo mostreremo come gestire i casi in cui i dati contengono valori anomali e spiegheremo un metodo, la stima robusta, e forniremo esempi confrontandolo con i metodi di stima convenzionali.
Un cliente JMP ha commentato in precedenza che JMP ha questa solida funzione di stima e credo che possa essere utile anche ad altri utenti.
Cosa fare quando ci sono valori anomali
Quando si adatta un modello ai dati, esistono tre approcci tipici per ridurre l'influenza dei valori anomali:
- Rimuovi i valori anomali
- Eseguire la trasformazione delle variabili (ad esempio la trasformazione logaritmica)
- Eseguire l'adattamento con minore influenza dei valori anomali (stima robusta)
I grafici sono la prima visualizzazione di molti report in JMP, pertanto è importante esaminarli attentamente per individuare eventuali valori anomali.
Il metodo per rimuovere i valori anomali nella fase 1 deve essere attentamente valutato, anche da un punto di vista pratico. L'esclusione arbitraria dei dati può introdurre distorsioni nei risultati.
2. La trasformazione delle variabili può essere utile a seconda della distribuzione e della natura dei dati. Nel caso di valori di test clinici (colesterolo, trigliceridi), come in questo esempio, è possibile eseguire la trasformazione logaritmica. Tuttavia, può essere difficile decidere quale tipo di trasformazione utilizzare, e presenta anche lo svantaggio di non poter essere applicata in presenza di valori pari a zero o negativi, come nel caso della trasformazione logaritmica.
Pertanto, l'opzione più efficace è quella di utilizzare il metodo della "stima robusta" (3), che consente la stima del modello includendo i valori anomali.Esistono due opzioni per la stima robusta: l'adattamento robusto e l'adattamento di Cautela . Qui spiegheremo l'opzione "adattamento robusto".
Regressione robusta
Il diagramma di dispersione della relazione tra trigliceridi e colesterolo mostrato all'inizio èPensiamoci un attimo. L'analisi di regressione normale (utilizzando il metodo dei minimi quadrati) eseguibile con l'opzione [Regola] traccia una linea retta in modo che la somma dei quadrati delle distanze verticali (residui) tra i punti dati e la retta di regressione sia minimizzata. Nella figura sottostante, la linea verticale (residui) tracciata sulla retta rossa mostra tale distanza.
In questo caso, i punti cerchiati in blu (valori anomali) hanno residui molto grandi e possiamo vedere che tali valori tendono a tracciare la linea retta calcolata con il metodo dei minimi quadrati .
Pertanto, un metodo che traccia una linea retta riducendo al minimo l'influenza di questi valori anomali è detto "regressione robusta".
L'opzione Robust Fit utilizza la stima M di Huber, che riduce l'influenza dei valori anomali riducendo la ponderazione delle osservazioni con residui elevati.
Di seguito è riportato un report con l'applicazione delle opzioni "Robust Fit" e "Linear Fit". La linea tratteggiata rossa è la retta di regressione ottenuta con il metodo dei minimi quadrati, mentre la linea continua verde è la retta ottenuta con la regressione robusta. La pendenza della regressione robusta (=0,471) è inferiore alla pendenza della regressione con i minimi quadrati (=0,684). Ciò indica che l'influenza dei valori anomali è stata ridotta, con conseguente riduzione dell'intervallo di variazione stimato di Y rispetto alla variazione di X.
Confronto delle medie robuste
Il report di analisi unidirezionale può eseguire un'analisi della varianza (ANOVA) per confrontare le medie di Y tra i livelli della variabile specificata come X, ma questa è sensibile anche ai valori anomali in Y.
Pertanto, implementando l'opzione [Robust Fit], possiamo utilizzare la stima M di Huber per calcolare le "medie robuste" per ciascun livello che riducono l'influenza dei valori anomali.
Di seguito è riportato il report con le opzioni Robust fit e Media/ANOVA/T-test aggregato applicate; la linea rossa tratteggiata mostra i livelli medi dell'ANOVA e la linea verde continua mostra la media robusta.
A livello "femminile", le linee si sovrappongono perché la media ANOVA e la media robusta sono uguali (=77,375), mentre a livello "maschile", ci sono diversi punti con valori di trigliceridi anomali, quindi la media robusta è più piccola della media ANOVA.
Il rapporto "ANOVA" mostra un valore p di 0,0641, quindi con un livello di significatività di 0,05, non possiamo concludere che "i livelli di trigliceridi sono significativamente diversi tra uomini e donne". D'altra parte, il rapporto "Robust Fit" mostra un valore p di 0,0205, quindi possiamo concludere che "i livelli di trigliceridi sono significativamente diversi tra uomini e donne".
Riferimento: Stima robusta utilizzando la piattaforma di screening delle risposte
Un adattamento robusto può essere eseguito anche utilizzando la piattaforma Response Screening, che consente di testare numerose combinazioni contemporaneamente.
![「応答のスクリーニング」にて[ロバスト] のオプションを指定]](https://us.v-cdn.net/6038925/uploads/images/78020iEC3731A140D45F2D/Masukawa_Nao_0-1752121600747.png "Masukawa_Nao_0-1752121600747.png")
「応答のスクリーニング」にて[ロバスト] のオプションを指定]Selezionare l'opzione Robusto in Screening delle risposte.
ロバスト推定のp値、対数価値などを出力Fornisce valori p, logaritmo, ecc. per una stima robusta
*Questo articolo utilizza i dati campione JMP "Lipid Data.jmp".
di Naohiro Masukawa (JMP Giappone)
Naohiro Masukawa - Comunità degli utenti JMP
