Modelos con pesoHola
Estoy tratando de encontrar una correlación entre algunos predictores X y una variable de respuesta continua fuertemente sesgada hacia la derecha.
La base de datos contiene sólo 140 instancias.
En primer lugar transformé la variable respuesta utilizando la función lnx+1.
Luego normalicé todos los x en el rango 0 y 1, reduje la dimensionalidad con la opción de cribado y luego eliminé los predictores correlacionados X. Al final de todo este proceso, solo tenía 4 predictores. Al ejecutar un bosque aleatorio sin ningún peso y el R2 en los datos de entrenamiento era muy bajo (ver el primer gráfico a continuación). Luego usé una función de peso parabólico similar (ver el segundo gráfico) y volví a ejecutar el bosque aleatorio. El resultado fue mejor como se muestra en el último gráfico. Parece que hubo una rotación de datos alrededor del centro del gráfico. ¿Alguien puede explicar por qué?
¿Cómo se debe elegir la función de peso?
Combinación y limpieza de datosModelado predictivo y aprendizaje automáticoRe: modelos con pesoCreo que sería útil que proporcionara más detalles sobre las características de sus datos y posiblemente una muestra de algunos de los datos. En general, creo que es extraño ponderar un análisis a menos que las ponderaciones sean claramente apropiadas, como ocurre con las encuestas en las que el muestreo está diseñado específicamente para que las ponderaciones representen la población muestreada. El otro lugar en el que las ponderaciones serían apropiadas es donde se está ejecutando un análisis de regresión y hay heterocedasticidad presente. Pero creo que usar pesas en un bosque aleatorio es algo extraño. De hecho, no estoy seguro de por qué necesita reducir la cantidad de características mediante el uso de un bosque aleatorio: la validación debe evitar el sobreajuste y la técnica debe centrarse en las características más relevantes. Sin más contexto sobre por qué está utilizando ponderaciones, soy escéptico de aplicar una función de ponderación porque proporciona un modelo de mejor ajuste.
Re: modelos con pesoHola dale
Mi idea era utilizar la función de ponderación debido al pequeño tamaño de la muestra. Intenté darle más importancia a la respuesta con valores bajos y altos.Re: modelos con pesoNo creo que esto sea legítimo. Parece que siente que los valores extremos pueden haber estado subrepresentados en sus datos. Si ese es el caso, creo que lo correcto es muestrear de manera diferente: muestrear en exceso los valores extremos probables. Entonces, la ponderación podría estar justificada. Pero sopesar valores extremos después de haber recopilado sus datos suena como inventar datos que podrían decirle lo que está esperando. No he escuchado una buena razón por la cual esos valores deberían ponderarse más.
Hay otras opciones tambien. La regresión cuantílica es una técnica destinada a estimar cuantiles particulares, como los extremos, en lugar de la respuesta promedio. Pero eso es diferente a ponderar más esos valores extremos.
