Modelli con pesoCIAO
Sto cercando di trovare una correlazione tra alcuni predittori X e una variabile di risposta continua fortemente sbilanciata a destra.
Il database contiene solo 140 istanze.
Per prima cosa ho trasformato la variabile di risposta utilizzando la funzione lnx+1.
Poi ho normalizzato tutti gli x nell'intervallo 0 e 1, ridotto la dimensionalità con l'opzione di screening e poi rimosso i predittori correlati X. Alla fine di tutto questo processo avevo solo 4 predittori. Eseguendo una foresta casuale senza alcun peso e l'R2 sui dati di training era molto basso (vedi il primo grafico sotto). Poi ho usato una funzione di peso parabolica simile (vedi il secondo grafico) e ho rieseguito la foresta casuale. Il risultato è stato migliore come mostrato nell'ultimo grafico. Sembra che ci sia stata una rotazione dei dati attorno al centro del grafico. Qualcuno può spiegare perché?
Come dovrebbe essere scelta la funzione peso?
Fusione e pulizia dei datiModellazione predittiva e apprendimento automaticoOggetto: modelli con pesoPenso che sarebbe utile per te fornire maggiori dettagli sulle caratteristiche dei tuoi dati e possibilmente un campione di alcuni dei dati. In generale, penso che sia strano ponderare un'analisi a meno che i pesi non siano chiaramente appropriati, come nei sondaggi in cui il campionamento è progettato specificamente per i pesi per rappresentare la popolazione da campionare. L'altro posto in cui i pesi sarebbero appropriati è dove stai eseguendo un'analisi di regressione e c'è eteroschedasticità presente. Ma penso che usare pesi in una foresta casuale sia una cosa strana da fare. Del resto, non sono sicuro del motivo per cui è necessario ridurre il numero di funzionalità utilizzando una foresta casuale: la convalida dovrebbe impedire l'overfitting e la tecnica dovrebbe concentrarsi sulle funzionalità più rilevanti. Senza più contesto sul motivo per cui stai utilizzando i pesi, sono scettico sull'applicazione di una funzione di ponderazione perché fornisce un modello più adatto.
Oggetto: modelli con pesoCiao dale
La mia idea era quella di utilizzare la funzione peso a causa della piccola dimensione del campione. Ho cercato di dare più importanza alla risposta con valori bassi e alti.Oggetto: modelli con pesoNon credo che questo sia legittimo. Sembra che tu ritenga che i valori estremi possano essere stati sottorappresentati nei tuoi dati. Se questo è il caso, penso che la cosa corretta da fare sia campionare in modo diverso, sovracampionando i valori estremi. Quindi la ponderazione potrebbe essere giustificata. Ma pesare valori estremi dopo aver raccolto i dati suona come inventare dati che potrebbero dirti quello che speri. Non ho sentito una buona ragione per cui questi valori dovrebbero essere ponderati in modo più pesante.
Ci sono anche altre opzioni. La regressione quantile è una tecnica volta a stimare particolari quantili, come quelli estremi, piuttosto che la risposta media. Ma questo è diverso dal pesare più pesantemente quei valori estremi.
