36401_it-IT

liliconcom

Modellazione predittiva con set di dati di costo asimmetrico/sbilanciato

Ciao,

 

Come posso istruire le piattaforme di modellazione predittiva su JMP Pro (partizione, foreste casuali, ecc.) per assegnare un costo maggiore alla previsione errata della classe di minoranza. Ho un set di dati altamente sbilanciato con un costo elevato per i falsi negativi (tasso di riammissione di pazienti acuti) e quando utilizzo i classificatori l'AUC è bassa e tutti i casi positivi sono classificati in modo errato.

 

Aiutaci con gli strumenti disponibili per risolvere questo problema.

 

Grazie

Re: Modellazione predittiva con set di dati asimmetrico/sbilanciato

Come è stato sottolineato, il miglioramento dell'AUC e l'incorporazione di costi/benefici asimmetrici sono due cose diverse.L'AUC ha a che fare con la capacità del modello di classificare correttamente, mentre la matrice del profitto dirige gli errori di classificazione verso dove fanno il minor danno.Se la misura AUC non è negativa ma le classificazioni stanno commettendo errori costosi (come non classificare nessuno dei valori 1), allora dovresti provare una probabilità di cutoff diversa per la classificazione: questo è ciò che farà automaticamente la matrice dei profitti, ma tu può anche modificare manualmente le probabilità di interruzione per alterare le classificazioni errate.Se ancora non ti piace quello che puoi ottenere, allora vuoi un modello migliore, uno che produca un AUC più alto.Niente sui costi di classificazione errata aumenterà l'AUC - solo un modello migliore può aumentare l'AUC.Quindi, se hai bisogno di un modello migliore, prova altre tecniche, trasformando le tue variabili, cambiando le impostazioni del modello, ecc. ma non usare la matrice di profitto per cercare di migliorare il modello stesso.

Re: Modellazione predittiva con set di dati asimmetrico/sbilanciato

Ho provato tutti i modelli ma a causa di questo set di dati sbilanciato tutti i casi zero sono classificati correttamente e tutti i casi sono classificati erroneamente. La distorsione dei costi dovrebbe logicamente essere in grado di ottimizzare l'AUC, ma non capisco perché non abbia un impatto su di essa. Questo è ciò che mi lascia perplesso.

Re: Modellazione predittiva con set di dati asimmetrico/sbilanciato

Sembra che ora tu stia davvero solo cercando di ottenere un AUC migliorato. Finora hai parlato solo di modelli basati sugli alberi. Hai provato le tecniche di rete neurale?

Re: Modellazione predittiva con costo asimmetrico/set di dati sbilanciato

In che modo può aiutarmi ad aumentare il tasso di sensibilità del mio modello? e UAC? quali sono gli altri modi per garantire che l'AUC tenga conto del costo nella classificazione dei risultati? Grazie

Re: Modellazione predittiva con costo asimmetrico/set di dati sbilanciato

L'utilizzo della matrice del profitto non cambierà l'AUC.Cambia solo il limite di probabilità scelto - lo sceglie in base ai profitti/costi asimmetrici specificati.In sostanza è scegliere un punto sulla curva ROC (non ne sono sicuro, ma penso che sia un punto ottimale in cui il costo relativo degli errori è uguale alla pendenza della curva ROC) secondo la matrice del profitto.Quando si salvano le previsioni, dovrebbero esserci colonne aggiuntive che mostrano la redditività associata alla classificazione ottimale e tale classificazione dovrebbe differire dalla classificazione predefinita (supponendo che i costi siano asimmetrici).

Re: Modellazione predittiva con costo asimmetrico/set di dati sbilanciato

Grazie. L'ho provato ma l'AUC del mio modello è sempre lo stesso con metodi diversi. Non ha obbligato il modello ad assegnare un'importanza maggiore alla classe minoritaria.

Re: Modellazione predittiva con costo asimmetrico/set di dati sbilanciato

La matrice del profitto può essere definita come una proprietà di colonna prima di costruire qualsiasi modello predittivo e dovrebbe fare ciò che stai chiedendo.Tuttavia, vorrei notare che ho avuto difficoltà a compilare la matrice dei profitti: l'esempio nella guida della guida di JMP è chiaro ma spesso non corrisponde a una situazione reale.Se il tuo problema decisionale è tale da poter specificare esattamente quale sia il costo dei falsi positivi e negativi, allora la matrice del profitto dovrebbe funzionare.Ad esempio, l'esempio di JMP riguarda un agente che effettua prenotazioni di compagnie aeree, dove una previsione errata comporta un costo aggiuntivo noto per l'agente.D'altra parte, se stai prevedendo qualcosa come la fidelizzazione dei clienti, i costi di una falsa previsione non sono così chiari.Se prevedi erroneamente che un cliente andrà perso, presumibilmente dovrai sostenere costi aggiuntivi per cercare di mantenerlo.Per alcuni clienti questo può trasformarli da persi a trattenuti, ma sicuramente questo non sarà efficace al 100%.Diventa complicato capire cosa inserire nella matrice dei profitti in questi casi e consiglierei di non utilizzare quella funzione.Meglio guardare ai cutoff alternativi e alle matrici di confusione.

Re: Modellazione predittiva con set di dati asimmetrico/sbilanciato

Qualche aiuto su questo per favore?

Re: Modellazione predittiva con set di dati asimmetrico/sbilanciato

Non sono sicuro di aver capito come funziona. La mia comprensione è che la matrice del profitto appare dopo aver eseguito il modello. Voglio essere in grado di specificare un costo maggiore per la classe di minoranza e assicurarmi che il modello ne tenga conto durante la creazione della previsione.

 

Puoi approfondire la procedura per ottenerlo?

Grazie

Re: Modellazione predittiva con set di dati asimmetrico/sbilanciato

Dai un'occhiata al matrice di profitto (e link fuori questo).