rilevamento dei valori anomaliCiao
se voglio calcolare il residuo della previsione della rete neurale nel problema di classificazione per rilevare valori anomali
quale formula devo usare per calcolare il residuo?
il software lo fa?
Modellazione statistica avanzataModellazione predittiva e machine learningRi: rilevamento valori anomaliCiao @maryam_nourmand ,
Se utilizzi un modello per prevedere valori numerici continui, alcuni modelli ti consentono di salvare direttamente i residui nella tabella dati facendo clic sul triangolo rosso, scegliendo "Salva colonne" e quindi "Residui". Per le reti neurali, avrai bisogno di un po' di lavoro manuale, salvando la formula di previsione nella tabella (triangolo rosso, "Salva formule" o "Salva formule veloci") e quindi creando una nuova colonna "Residui" con una formula: Valore effettivo - Valore previsto
Tieni presente che hai già le opzioni per tracciare il grafico "Residuo per previsione" nella piattaforma Rete neurale, quando fai clic sul triangolo rosso.
Se utilizzi un modello per prevedere le classi, non avrai residui ma avrai informazioni sulla classificazione errata e sulle probabilità calcolate. È quindi possibile salvare queste colonne di probabilità (stesse opzioni di prima) e provare a capire dove sono gli errori, ad esempio tracciando le probabilità della classe principale prevista e vedere se la soglia di probabilità di classificazione deve essere modificata.
Se sei interessato a valutare i modelli di classificazione, ci sono anche vari grafici che ti aiutano a valutare le prestazioni del tuo modello di classificazione: curva ROC , curva lift , matrice di confusione , ...
Spero che questa risposta ti possa aiutare,
Ri: rilevamento valori anomalima possiamo calcolare il residuo nella regressione logistica
è anche una sorta di modello di classificazione
Allego l'immagine della formula per calcolare il residuo della devianza
ora voglio sapere quando utilizzo la rete neurale per un problema di classificazione
come posso calcolare il residuo anche per quello?
Ri: rilevamento valori anomaliInfatti, è possibile calcolare la devianza nei modelli lineari generalizzati: dettagli statistici per la selezione del modello e la devianza
Ad esempio, sul set di dati JMP "Detergente", utilizzando "marca" come risposta categorica Y, ho la possibilità di calcolare direttamente i residui di devianza e salvarli nella tabella dati:
La devianza è un'indicazione sulla bontà dell'adattamento per i modelli statistici in cui l'adattamento del modello è ottenuto dalla massima verosimiglianza, che non può essere utilizzata per modelli di apprendimento automatico che utilizzano diverse funzioni di perdita: Devianza (statistica) - Wikipedia
Pertanto potrebbe non essere possibile calcolarlo per alcuni modelli che utilizzano funzioni di adattamento diverse.
Ri: rilevamento valori anomaliquindi qual è il concetto uguale di residuo nei modelli statistici nei modelli di Machine Learning?
ma penso che abbiamo probabilità per ogni classe nei modelli di machine learning, quindi dovremmo poter calcolare il residuo anche per quello
Ri: rilevamento valori anomaliL'analisi dei residui viene utilizzata nei modelli statistici non solo per valutare le prestazioni delle previsioni, ma anche per convalidare le ipotesi alla base del loro corretto utilizzo: Ipotesi del modello di regressione | Introduzione alla statistica | JMP
Nei modelli di Machine Learning, di solito ci sono presupposti molto meno "rigorosi" poiché non presupponiamo che la vera relazione sia lineare, che gli errori siano normalmente distribuiti, ecc...
Il grande presupposto comune alla base dell’uso dei modelli di Machine Learning rimane che i dati siano iid: indipendenti e distribuiti in modo identico . Le altre ipotesi sono più legate all’uso di un algoritmo specifico e al modo in cui apprende dai dati. Puoi leggere di più a riguardo qui:
- https://www.kdnuggets.com/2021/02/machine-learning-assumptions.html
- Distorsione induttiva nelle serie di machine learning: https://mindfulmodeler.substack.com/p/from-theory-to-practice-induttivo
Qualsiasi modello di classificazione calcolerà le probabilità che un punto dati appartenga a ciascuna classe. Sulla base di una soglia specificata (ad esempio > 0,5 per una classificazione binaria), verrà quindi restituita la classe prevista corrispondente alla probabilità di classe più alta. Lavorare e visualizzare le probabilità previste può aiutarti a definire meglio una soglia per l'output della classe prevista e aiutarti a valutare se il tuo modello sembra differenziare correttamente le classi.
Non so se esiste una metrica o un modo per utilizzare direttamente queste probabilità previste per calcolare una sorta di residui in JMP?
Ri: rilevamento valori anomali
se trovi un modo per utilizzare direttamente queste probabilità previste per calcolare una sorta di residui in JMP o trovi un modo non solo in JMP per utilizzare queste probabilità previste per calcolare i residui, comunicalo in questo post
Grazie
Ri: rilevamento valori anomaliPotresti calcolare il punteggio Brier. Ma forse dovresti dire qualcosa in più su cosa stai cercando di fare esattamente. Esistono molti modi per misurare e valutare l'accuratezza dei modelli di classificazione. Trovo che i residui siano tra i meno intuitivi poiché i modelli di classificazione producono probabilità e ogni osservazione sarà classificata correttamente oppure no. Più estrema è la probabilità di classificazioni errate, peggiore è il modello (e suppongo che i residui lo misurino, ma penso che ci siano modi più intuitivi per vederlo). Allora, cosa vuoi fare con i residui?
Ri: rilevamento valori anomaliVoglio verificare quanto bene il mio modello può prevedere la risposta
Ri: rilevamento valori anomaliHai descritto il tuo problema come un modello di classificazione. JMP calcolerà le probabilità dei risultati discreti per ciascuna osservazione (preferibilmente utilizzando la convalida e concentrandosi sui dati di convalida anziché sui dati di addestramento). È possibile utilizzare queste probabilità per calcolare misure come un punteggio Brier oppure utilizzare i vari metodi descritti sopra per misurare l'accuratezza del modello. Davvero non capisco cosa intendi per residui o perché vuoi concentrarti su questi. Supponiamo che il tuo modello di classificazione sia binario: prevedi la risposta 0 o 1. Il tuo modello produrrà una probabilità pari a 1 - diciamo che la probabilità è 0,6. Supponiamo ora che quella particolare osservazione abbia una classificazione effettiva pari a 0 (o, in alternativa, 1). Come chiameresti il "residuo" di questa osservazione? Se è una previsione corretta, diciamo 1, allora più la probabilità è vicina a 1, più "migliore" sarà il tuo modello. Se in realtà è 0, quanto più la probabilità del modello si avvicina a 1, tanto più "peggiore" sarà il tuo modello. Il punteggio Brier è un metodo spesso utilizzato per misurare la qualità del modello (non credo che JMP calcolerà il punteggio Brier, almeno non l'ho visto, ma dovrebbe essere facile da calcolare manualmente). In alternativa, AUC, tasso di classificazione errata, AIC e così via sono tutte misure che JMP fornisce prontamente per misurare la validità del modello.
Ma la tua attenzione ai "residui" è lungi dall'essere il modo più intuitivo per raggiungere il tuo obiettivo di determinare "quanto il mio modello può prevedere la risposta". I residui rappresentano un modo naturale per determinare che quando si ha una variabile di risposta continua e non un modello di classificazione, e JMP semplifica il calcolo dei residui per questi tipi di modelli (integrati nei triangoli rossi per Salva colonne o semplicemente creando un colonna utilizzando ABS (previsione effettiva).
