La piattaforma di partizione richiede una varianza uguale?Ho dati fortemente distorti a destra (vedi distribuzione Leaks/mi Yr allegata), solo circa 400 perdite su ~4.000.000 di segmenti di tubo. Utilizzo la piattaforma di partizione per identificare i fattori per il nostro modello con differenze nei tassi di perdita. Ma i miei dati indicano una varianza non uniforme (allegato RefService2023wLeaks - FitY di X, non supera 4 dei 5 test di varianza). La piattaforma di partizione richiede una varianza uguale? In base al teorema del valore centrale posso supporre che questo ampio set di dati fornirà risultati accurati per differenze significative nelle medie (vedi esempio di partizione allegato)?
Grazie
Analisi e modellazione dei dati di baseR: La piattaforma di partizione richiede una varianza uguale?1°- Sembra un set di dati davvero divertente.
Il metodo di modellazione utilizzato da partition ha pochissime ipotesi. È un ottimo strumento di data mining entry level, specialmente quando si hanno molti dati con cui lavorare.
Guarda anche Analyze>Screening>Predictor Screening. Inserisci semplicemente la tua variabile di risposta e tutte le variabili "X" che vuoi. Magari modifica il numero di alberi a 500, giusto per divertimento.
Costruisce un mucchio di alberi con una selezione casuale di colonne e righe per ogni albero, quindi è super robusto per dati errati e valori anomali, così come per X che sono molto correlate con la tua risposta. Di nuovo, pochissime ipotesi.
R: La piattaforma di partizione richiede una varianza uguale?Per ampliare l'eccellente risposta di @Byron_JMP , Decision Tree è un algoritmo molto semplice ma potente. Ha diversi vantaggi che lo rendono una scelta efficace per il data mining: facile da capire e interpretare, gestione di input e output categoriali e numerici, può gestire valori mancanti, è robusto ai valori anomali e può rilevare relazioni non lineari e consente di effettuare la selezione e la classificazione di feature/predittori.
Non presuppone i tradizionali presupposti parametrici, ma ci sono alcuni punti di cui dovresti tenere conto:
- Controlla la multicollinearità e le correlazioni tra i tuoi predittori : poiché l'albero decisionale crea delle suddivisioni nei tuoi dati utilizzando tutti i predittori e scegliendo quello che offre la migliore suddivisione nei tuoi valori Y, i predittori correlati e la multicollinearità potrebbero rappresentare un problema, in quanto alcuni predittori potrebbero essere esclusi e mai presi in considerazione poiché condividono alcune informazioni comuni.
- Attenzione all'overfitting : gli alberi decisionali sono inclini all'overfitting, poiché potresti espandere l'albero molto in profondità per classificare perfettamente o fare una regressione con i tuoi dati numerici. Si consiglia di avere una strategia di convalida (validazione incrociata K-folds, Leave-One-Out o set di convalida, poiché la quantità di dati non sembra essere un problema nel tuo caso) e di garantire che il modello creato non sia troppo complesso per il compito da svolgere: l'impostazione di una profondità massima (numero di suddivisioni) e di una suddivisione di dimensioni minime consente di ridurre il rischio di overfitting.
- Campione di dati di training e rappresentatività : poiché i Decision Tree sono algoritmi greedy (suddividono i dati per massimizzare l'acquisizione di informazioni o ridurre l'entropia), sono molto sensibili ai dati di training utilizzati. Piccole modifiche nei dati potrebbero causare modifiche nelle regole fornite dall'albero decisionale. È necessario affrontare considerazioni sulla rappresentatività e il rumore dei dati per garantire di evitare l'overfitting e di garantire la generalizzazione dei risultati.
Come suggerito da @Byron_JMP , è spesso interessante utilizzare Random Forest (disponibile tramite la piattaforma Bootstrap Forest per JMP Pro o tramite Predictor Screening per JMP), poiché questa tecnica riduce alcuni inconvenienti di Decision Tree grazie a vari meccanismi/tecniche: creazione di diversi alberi indipendenti addestrati in parallelo su campioni bootstrap (per ridurre la sensibilità al set di addestramento, garantire la generalizzazione e abilitare il controllo/la convalida tramite risultati di campioni "Out-Of-Bag") con ogni suddivisione che considera solo un sottoinsieme dei predittori (per consentire a ciascun predittore, anche alcuni correlati con altri, di avere le stesse possibilità di essere selezionato per la suddivisione, il che consente di avere alberi più diversificati e un insieme di alberi con buone prestazioni di generalizzazione).
Spero che questa risposta complementare ti aiuti,
