883609_it-IT

liliconcom

Come prevedo i valori anomali tramite il modello di adattamento

Ciao a tutti,

Attualmente, cerco di usare Fit Model per creare un modello, in modo da poter prevedere l'output dalle variabili di input e decidere se la previsione è anomala o meno. Tuttavia, ho difficoltà perché, dopo aver ottenuto il modello, il modello non riesce a individuare chiaramente i valori anomali, evidenziati in rosso.

Anche se ho provato a pre-elaborare la fonte dei dati, ad esempio escludendo i valori anomali dalla fonte dei dati e quindi addestrando il modello, i valori anomali non sono stati realmente eliminati

C'è un modo per addestrare il modello in modo che i punti anomali possano essere distinti?

Grazie

Analisi e modellazione dei dati di baseR: Come prevedo i valori anomali tramite il modello di adattamento

Ciao @PhamBao ,

L'individuazione e la classificazione dei valori anomali possono essere un'attività molto complessa in cui immergersi con diversi approcci. Un aspetto da considerare è il modo in cui si definisce un valore anomale (che non è molto chiaro nel tuo post): stai cercando un valore anomale che non si adatta al tuo modello o i punti nelle aree rosse che hai definito come valori anomali sono valori anomali?

Ecco alcuni spunti rapidi da provare:

- Valori anomali di Cooks definiscono di quanto cambierebbero i coefficienti del modello se si rimuovesse un punto. In genere, una soglia di qualsiasi valore superiore a 4/n (n = numero di righe) è un buon punto di partenza. Questo collegamento fornisce molte guide anche su Cooks D.

- Grafici dei residui studentizzati: forniscono una buona visualizzazione dei residui delle righe e aiutano a definire i punti che sono entrati in una determinata regione come probabili valori anomali.

Per maggiori informazioni cliccate su entrambi i link qui e qui .

Grazie,

Ben

R: Come prevedo i valori anomali tramite il modello di adattamento

Ciao @PhamBao ,

Sono d'accordo con @Ben_BarrIngh : ci sono molte possibilità quando si affronta il tema dei valori anomali.

La prima cosa da considerare è la natura del valore anomalo: basato sul modello (collegato a un adattamento specifico del modello) o indipendente dal modello?

I metodi per identificare i valori anomali dipendono dalla loro natura:

• I metodi di rilevamento di valori anomali indipendenti dal modello , come le distanze di Mahalanobis, non si basano su un modello specifico e si limitano a confrontare le distanze tra i punti in base a variabili/fattori/caratteristiche. Quindi, un valore anomalo identificato da questo tipo di metodi indica che il punto in questione appare "strano" e non sembra far parte delle distribuzioni dei fattori degli altri punti. Consultare le opzioni in Analisi degli outlier dalla piattaforma multivariata.
• Metodi di individuazione di valori anomali basati su modelli , basati su residui (residui studentizzati o altre metriche come PRESS RMSE/R2...) che consentono di identificare valori anomali non ben adattati/predetti dal modello. Questo potrebbe indicare che il modello potrebbe mancare di alcuni termini importanti (come interazione o effetti non lineari), o potrebbe non essere appropriato per i dati. È possibile utilizzare gli altri pannelli/strumenti diagnostici per verificare se il modello sembra adattarsi bene ai dati, in base alla significatività statistica del modello, a diverse metriche in base all'obiettivo, come criterio informativo/RMSE/R2... È anche possibile verificare se questo valore anomale rilevato basato sul modello ha un impatto significativo sul modello calcolando le distanze di Cook: https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-multiple-regression/mlr-residual-analy... Se i valori di questi punti sono elevati e/o insoliti, è un'indicazione che questi punti potrebbero essere influenti e potrebbero distorcere il modello. È quindi necessario verificare quali siano questi punti e se le misurazioni siano valide, prima di decidere se ridurne l'influenza sul modello o rimuoverli. Consultare le opzioni "Diagnostica di riga" nella piattaforma "Adatta modello" o "Opzioni di adattamento modello" una volta completato l'adattamento del modello.

Si prega di prestare particolare attenzione alla causa/fonte dei valori anomali e alla loro corretta gestione. La rimozione dei valori anomali può semplificare l'analisi, ma non risolverà il problema e non impedirà che si ripresentino.

Spero che questa risposta possa aiutarti,

R: Come prevedo i valori anomali tramite il modello di adattamento

Ciao @Victor_G e @Ben_BarrIngh ,

Apprezzo molto i tuoi suggerimenti. Per quanto mi riguarda, le mie conoscenze relative al modello di adattamento e alle statistiche sono limitate. Quindi vorrei solo chiedere qualche altro consiglio. Vorrei chiarire cosa voglio. In base all'immagine qui sotto, i punti dati rossi sono punti dati non validi in base ai nostri criteri di produzione. Quello che voglio è separare i punti dati non validi lontani dalla linea di adattamento. La prima volta, utilizzo il Modello 1, ma vedo che i punti dati non validi non sono molto lontani dalla linea di adattamento. La seconda volta, provo a utilizzare gli stessi input del Modello 1, ma questa volta eseguo un polinomio di grado 2 a un parametro, quindi vedo che il punto dati non valido è lontano dalla linea di adattamento rispetto al Modello 1.

1. A titolo di confronto, le tabelle di riepilogo delle curve di adattamento tra il Modello 1 e il Modello 2 sono comparabili, ma il Modello 2 sembra quello che sto cercando. Domanda: esiste un metodo per separare i punti dati errati nella realtà, lontani dalla linea di adattamento?
2. Per il modello 1, non capisco bene perché i punti dati errati siano così vicini alla linea di adattamento. Esiste un metodo per separarli?
Non vedo l'ora di ricevere le tue risposte

R: Come prevedo i valori anomali tramite il modello di adattamento

In JMP, è possibile prevedere i valori anomali adattando un modello (ad esempio un modello di regressione o di classificazione) e analizzando i residui o gli errori di previsione. Dopo aver adattato il modello, cercare i punti dati con residui, leva finanziaria o influenza insolitamente elevati (ad esempio, utilizzando la distanza di Cook o i residui studentizzati). JMP offre anche strumenti visivi come il grafico Leva finanziaria vs. Residuo per aiutare a identificare potenziali valori anomali. Una volta segnalati, è possibile esplorare ulteriormente questi punti per determinare se si tratta di vere anomalie o di problemi di immissione dati.

R: Come prevedo i valori anomali tramite il modello di adattamento

Ciao @PhamBao ,

La tua domanda affronta diversi argomenti, uno relativo all'adattamento del modello (e al confronto e alla convalida dei modelli) e uno relativo all'individuazione dei valori anomali.

• Per quanto riguarda l'adattamento del modello, consiglierei di confrontare le metriche dei modelli e di analizzare i residui. Nell'ultimo screenshot, puoi vedere che i modelli sono molto simili, fatta eccezione per l'aggiunta di un effetto quadratico nel modello 2. Questa aggiunta di effetto quadratico ha solo un piccolo vantaggio quando si esaminano R²/R² corretto e RMSE. Inoltre, impone un modello di curvatura non casuale nei residui, quindi sarebbe molto prudente nella valutazione e nel confronto dei modelli. Forse l'utilizzo di punti di convalida o la suddivisione del dataset in set di addestramento e di convalida potrebbe aiutare a distinguere il modello più appropriato per i tuoi dati.
• Per quanto riguarda l'individuazione dei valori anomali, come già scritto nella mia prima risposta, ci sono molte opzioni disponibili. Se sai già che questi punti sono strani o anomali, perché non etichettarli come tali e cercare di capire quali fattori (e valori di intervallo) possono causarli? Potresti creare un modello di classificazione (come la regressione logistica) in cui la tua risposta sarebbe una risposta a 2 classi ("normale" e "anomalo", ad esempio) e i tuoi fattori sarebbero le tue variabili di input (come nei modelli mostrati).
  A seconda dei risultati/prestazioni di questo modello di classificazione (matrice di confusione, tasso di classificazione errata, ...) è possibile quindi indagare quali fattori causano la situazione e utilizzare la formula delle probabilità previste per predire la probabilità che un nuovo punto possa essere strano/anomalo in base ai valori misurati.

Spero che questi pochi suggerimenti possano aiutarti,

R: Come prevedo i valori anomali tramite il modello di adattamento

Credo che il secondo punto di Victor_G sia assolutamente corretto. I punti che hai identificato come "negativi" non sono in realtà valori anomali nel senso tradizionale del termine: non sono poi così lontani dalla retta di regressione. Il vero problema è che sai (per conoscenza della materia) che c'è qualcosa di negativo in quei punti dati. Quindi, quello che vuoi è un modello per prevederli, e il modello di regressione che hai fornito non lo fa. Non cercherei modelli di regressione diversi: penso che tu voglia davvero un modello di classificazione per prevedere i punti che sai essere problematici. Si tratta di un modello diverso e la maggior parte degli stessi metodi può essere utilizzata in JMP, ma con una variabile di risposta nominale anziché la variabile di risposta continua che hai utilizzato.

R: Come prevedo i valori anomali tramite il modello di adattamento

Grazie Victor e agli altri membri. Proverò sicuramente il vostro suggerimento.