¿La plataforma de partición requiere una variación igual?Tengo datos muy sesgados a la derecha (ver la distribución Fugas/mi Año adjunto), solo alrededor de 400 fugas en ~4.000.000 de segmentos de tuberías. Uso la plataforma de partición para identificar factores para nuestro modelo con diferencias en las tasas de fugas. Pero mis datos indican una varianza desigual (adjunto RefService2023wLeaks - FitY por X, falla 4 de 5 pruebas de varianza). ¿La plataforma de partición requiere una varianza igual? Según el Teorema del Valor Central, ¿puedo asumir que este gran conjunto de datos dará resultados precisos para diferencias significativas en las medias (ver el ejemplo de partición adjunto)?
Gracias
Análisis y modelado de datos básicosRe: ¿La plataforma de partición requiere una variación igual?1º-Este parece un conjunto de datos realmente divertido.
El método de modelado que utiliza Partition tiene muy pocos supuestos. Es una herramienta de minería de datos de nivel básico muy buena, especialmente cuando se tiene una gran cantidad de datos con los que trabajar.
También puedes consultar Analizar>Cribado>Cribado de predictores. Solo tienes que introducir tu variable de respuesta y tantas variables "X" como desees. Tal vez puedas ajustar la cantidad de árboles a 500, solo por diversión.
Crea un conjunto de árboles con una selección aleatoria de columnas y filas para cada árbol, por lo que es muy resistente a datos erróneos y valores atípicos, así como a valores X que están muy correlacionados con su respuesta. Nuevamente, muy pocas suposiciones.
Re: ¿La plataforma de partición requiere una variación igual?Para ampliar la excelente respuesta de @Byron_JMP , Decision Tree es un algoritmo muy simple pero poderoso. Tiene varias ventajas que lo convierten en una opción eficaz para la minería de datos: fácil de entender e interpretar, manejo de entradas y salidas categóricas y numéricas, puede manejar valores faltantes, es robusto a los valores atípicos y puede detectar relaciones no lineales, y permite realizar la selección y clasificación de características/predictores.
No asume suposiciones paramétricas tradicionales, pero hay algunos puntos que debes tener en cuenta:
- Verifique la multicolinealidad y las correlaciones entre sus predictores : como el árbol de decisiones crea divisiones en sus datos utilizando todos los predictores y eligiendo el que ofrece la mejor división en sus valores Y, los predictores correlacionados y la multicolinealidad podrían ser un problema, ya que algunos predictores podrían quedar fuera y nunca considerarse porque comparten información común.
- Cuidado con el sobreajuste : los árboles de decisión son propensos al sobreajuste, ya que se podría expandir el árbol a una profundidad muy profunda para clasificar a la perfección o hacer una regresión con los datos numéricos. Se recomienda tener una estrategia de validación (validación cruzada de K-folds, Leave-One-Out o un conjunto de validación, ya que la cantidad de datos no parece ser un problema en su caso) y asegurarse de que el modelo creado no sea demasiado complejo para la tarea en cuestión: establecer una profundidad máxima (número de divisiones) y un tamaño mínimo de división permite reducir el riesgo de sobreajuste.
- Muestra y representatividad de los datos de entrenamiento : como los árboles de decisión son algoritmos voraces (dividen los datos para maximizar la ganancia de información o reducir la entropía), son muy sensibles a los datos de entrenamiento utilizados. Pequeños cambios en los datos podrían provocar cambios en las reglas proporcionadas por el árbol de decisión. Se deben tener en cuenta las consideraciones sobre la representatividad y el ruido de los datos para garantizar que no se produzca un sobreajuste y que los resultados se puedan generalizar.
Como lo sugiere @Byron_JMP , a menudo es interesante usar Random Forest (disponible a través de la plataforma Bootstrap Forest para JMP Pro o a través de Predictor Screening para JMP), ya que esta técnica reduce algunos inconvenientes del árbol de decisiones gracias a varios mecanismos/técnicas: creación de varios árboles independientes en paralelo entrenados en muestras bootstrap (para reducir la sensibilidad al conjunto de entrenamiento, asegurar la generalización y permitir la verificación/validación a través de resultados de muestra "Out-Of-Bag") con cada división considerando solo un subconjunto de los predictores (para permitir que cada predictor, incluso algunos correlacionados con otros, tengan las mismas posibilidades de ser seleccionados para la división, lo que permite tener árboles más diversos y un conjunto de árboles con buen rendimiento de generalización).
Espero que esta respuesta complementaria te ayude.
