La plate-forme de partition nécessite-t-elle une variance égale ?J'ai des données fortement biaisées à droite (voir la distribution Fuites/mi Yr ci-jointe), seulement environ 400 fuites sur ~4 000 000 segments de canalisation. J'utilise la plateforme de partition pour identifier les facteurs de notre modèle avec des différences de taux de fuite. Mais mes données indiquent une variance inégale (RefService2023wLeaks ci-joint - FitY by X, échoue à 4 des 5 tests de variance). La plateforme de partition nécessite-t-elle une variance égale ? Par le théorème de la valeur centrale, puis-je supposer que ce grand ensemble de données donnera des résultats précis pour des différences significatives dans les moyennes (voir l'exemple de partition ci-joint) ?
Merci
Analyse et modélisation de données de baseRé : La plate-forme de partition nécessite-t-elle une variance égale ?1er – Cela ressemble à un ensemble de données vraiment amusant.
La méthode de modélisation utilisée par Partition repose sur très peu d'hypothèses. Il s'agit d'un très bon outil d'exploration de données d'entrée de gamme, en particulier lorsque vous devez travailler avec beaucoup de données.
Regardez également Analyser > Dépistage > Dépistage des prédicteurs. Entrez simplement votre variable de réponse et autant de variables « X » que vous le souhaitez. Vous pouvez peut-être ajuster le nombre d'arbres à 500, juste pour le plaisir.
Il construit un ensemble d'arbres avec une sélection aléatoire de colonnes et de lignes pour chaque arbre, il est donc extrêmement résistant aux données erronées et aux valeurs aberrantes ainsi qu'aux X qui sont très corrélés à votre réponse. Encore une fois, très peu d'hypothèses.
Ré : La plate-forme de partition nécessite-t-elle une variance égale ?Pour développer l'excellente réponse de @Byron_JMP , Decision Tree est un algorithme très simple mais puissant. Il présente plusieurs avantages qui en font un choix efficace pour l'exploration de données : facile à comprendre et à interpréter, gestion des entrées et sorties catégorielles et numériques, peut gérer les valeurs manquantes, est robuste aux valeurs aberrantes et peut détecter les relations non linéaires, et permet de sélectionner et de classer les caractéristiques/prédicteurs.
Il ne repose pas sur des hypothèses paramétriques traditionnelles, mais il y a quelques points qui doivent vous intéresser :
- Vérifiez la multicolinéarité et les corrélations entre vos prédicteurs : Comme l'arbre de décision crée des divisions dans vos données en utilisant tous les prédicteurs et en choisissant celui offrant la meilleure répartition dans vos valeurs Y, les prédicteurs corrélés et la multicolinéarité peuvent être un problème, car certains prédicteurs peuvent être laissés de côté et jamais pris en compte car ils partagent des informations communes.
- Attention au sur-apprentissage : les arbres de décision sont sujets au sur-apprentissage, car vous pourriez étendre l'arbre très profondément pour classer parfaitement ou faire une régression avec vos données numériques. Il est recommandé d'avoir une stratégie de validation (validation croisée K-folds, Leave-One-Out ou ensemble de validation, car la quantité de données ne semble pas être un problème dans votre cas) et de s'assurer que le modèle créé n'est pas trop complexe pour la tâche à accomplir : définir une profondeur maximale (nombre de divisions) et une taille minimale de division permet de réduire le risque de sur-apprentissage.
- Échantillon de données d'entraînement et représentativité : Les arbres de décision étant des algorithmes gourmands (ils divisent les données afin de maximiser le gain d'information ou de réduire l'entropie), ils sont très sensibles aux données d'entraînement utilisées. De petits changements dans les données peuvent entraîner des changements dans les règles fournies par l'arbre de décision. Des considérations sur la représentativité des données et le bruit doivent être prises en compte pour éviter le surapprentissage et garantir la généralisation des résultats.
Comme suggéré par @Byron_JMP , il est souvent intéressant d'utiliser Random Forest (disponible via la plateforme Bootstrap Forest pour JMP Pro ou via Predictor Screening pour JMP), car cette technique réduit certains inconvénients des arbres de décision grâce à divers mécanismes/techniques : création de plusieurs arbres indépendants en parallèle entraînés sur des échantillons bootstrapés (pour réduire la sensibilité à l'ensemble d'entraînement, assurer la généralisation et permettre la vérification/validation via les résultats d'échantillons "Out-Of-Bag") avec chaque découpage ne considérant qu'un sous-ensemble des prédicteurs (pour permettre à chaque prédicteur, même certains corrélés avec d'autres, d'avoir les mêmes chances d'être sélectionné pour le découpage, ce qui permet d'avoir des arbres plus diversifiés et un ensemble d'arbres avec de bonnes performances de généralisation).
J'espère que cette réponse complémentaire vous aidera,
