Phillip Ramsey - Communauté d'utilisateurs JMP @philramsey , consultant et professeur, Université du New Hampshire
Cet article a été initialement publié dans JMPer Cable, numéro 28, été 2013.
L'amorçage est une capacité importante offerte dans JMPPro . La mise en œuvre de l'amorçage est simple et flexible, car des distributions amorcées peuvent être générées dans la plupart des rapports statistiques JMP Pro. Cet article fournit un bref didacticiel sur le bootstrap de base et décrit les applications du bootstrap dans le contexte des méthodes inférentielles autonomes, de la pédagogie et en tant que composant d'autres méthodes statistiques.
Le bootstrapping est une métaphore courante de la langue anglaise pour un processus qui s'auto-entretient et se poursuit sans avoir besoin d'une force motrice externe. Bradley Efron (1979) a adopté la métaphore bootstrap pour décrire une nouvelle technique de rééchantillonnage qu'il avait développée. Son travail a été motivé par des travaux antérieurs sur le jackknifing (Tukey, 1958).
Le bootstrap statistique tel que développé par Bradley Efron (1979) est un processus par lequel des échantillons aléatoires indépendants de taille N sont tirés à plusieurs reprises (éventuellement des milliers de fois) avec remplacement à partir d'un ensemble de données original de taille N. Le remplacement signifie que toute observation individuelle dans l'ensemble de données d'origine peut être sélectionnée plusieurs fois ou peut-être pas toutes dans un seul rééchantillonnage. Cela garantit que chaque échantillon bootstrap est très susceptible de différer dans son appartenance aux données d'origine.
En calculant des statistiques d'échantillon d'intérêt sur chaque rééchantillonnage, des fonctions de distribution empiriques pour ces statistiques sont générées. Les distributions empiriques peuvent à leur tour être utilisées pour estimer les erreurs types de ces statistiques et estimer les intervalles de confiance pour les paramètres théoriques estimés par les statistiques. Les intervalles de confiance bootstrap (il en existe plusieurs versions) présentent l'avantage que le calcul ne nécessite pas nécessairement l'utilisation d'une formule paramétrique ou mathématique spécifique. Hall et Wilson (1991) montrent que le bootstrap s'adapte facilement aux tests d'hypothèses.
Le moyen le plus simple de calculer un intervalle de confiance bootstrap (1-α) à 100 % pour un paramètre théorique consiste à utiliser les centiles appropriés de la distribution bootstrap pour cette statistique d'échantillon, qui estime le paramètre théorique d'intérêt. Par exemple, les 2,5e et 97,5e centiles de la distribution bootstrap d'une moyenne d'échantillon peuvent être utilisés pour former un intervalle de confiance à 95 % pour la moyenne théorique de la distribution sous-jacente.
Les recherches bootstrap ont révélé que, dans certains cas, les intervalles de confiance bootstrap en centiles pouvaient être considérablement biaisés en termes de couverture réelle (Chernick, 2008). Des algorithmes de correction de biais existent pour les intervalles de confiance centiles. Cependant, ils ne sont pas actuellement disponibles dans JMP Pro et une discussion plus approfondie dépasse le cadre de cet article. ( Mis à jour en décembre 2018 : Les algorithmes de correction de biais sont désormais inclus dans JMP Pro .)
Inférence statistique basée sur le bootstrap
L'exemple suivant montre comment utiliser JMP Pro pour l'amorçage afin de générer des intervalles de confiance centiles pour les paramètres théoriques des populations cibles. L'exemple utilise 20 lectures de température (Kelvin) à l'origine de Cox et Snell (1981).
Supposons que vous souhaitiez trouver des intervalles de confiance pour l'intervalle interquartile (IQR) de l'échantillon, qui correspond à la différence entre les 25e et 75e centiles de la distribution de l'échantillon. Le calcul exact des intervalles de confiance pour l'IQR n'est généralement pas possible.
Commencez par utiliser la plate-forme de distribution dans JMP pour générer un tableau de statistiques récapitulatives pour l'échantillon d'origine. La plage interquartile ne s'affiche pas par défaut dans le tableau des statistiques récapitulatives, utilisez donc le menu du triangle rouge pour le demander, comme illustré à la figure 1. De plus, étant donné que le processus d'amorçage fonctionne sur toutes les statistiques affichées dans le tableau auquel il se réfère, décochez toutes les statistiques récapitulatives par défaut qui ne présentent pas d'intérêt dans cet exemple. Le tableau Distribution Summary affiche alors uniquement la plage interquartile, comme illustré à la figure 1.
Figure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Personnaliser le tableau des statistiques récapitulatives pour afficher uniquement la plage interquartile
Ensuite, placez le curseur dans le corps du rapport, cliquez avec le bouton droit et sélectionnez Bootstrap dans le menu qui apparaît (Figure 2). Dans la boîte de dialogue Bootstrap, sélectionnez l'option Fractional Weights - cette option fournit des échantillons bootstrap plus lisses Rubin (1981).
Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choisissez le Bootstrap avec une taille d'échantillon de 200
Cet exemple génère 200 échantillons. Vous pouvez saisir le nombre d'échantillons que vous souhaitez, mais gardez à l'esprit que chaque échantillon réexécute la plateforme de distribution et calcule l'intervalle interquartile pour cet échantillon. Ainsi, le nombre d'échantillons que vous choisissez dépend des ressources de calcul dont vous disposez. Une grande demande d'amorçage peut être gourmande en ressources et en temps.
Lorsque le processus d'amorçage est terminé, vous voyez un JMP tableau avec les résultats de l'échantillonnage. Ce sont des colonnes appelées BootID et Interquartile Range pour la variable Température. Le nombre de lignes correspond au nombre d'échantillons que vous avez demandé plus un pour le calcul de l'échantillon d'origine. Utilisez maintenant la plate-forme de distribution pour consulter les statistiques récapitulatives de la plage interquartile bootstrap.
Les plates-formes JMP dotées de l'option bootstrap reconnaissent la variable BootID et affichent le tableau Bootstrap Confidence Limits, comme illustré à la figure 3.
Figure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution de l'intervalle interquartile bootstrap L'écart interquartile calculé dans l'échantillon original est de 28,25 (figure 1). Notez que l'intervalle interquartile calculé pour l'échantillon bootstrap de 200 est de 25,4 et que les limites de confiance bootstrap à 95 %, tirées des quantiles de l'échantillon, sont de 7 et 45, qui incluent l'estimation originale.
Le bootstrap en éducation Le bootstrap commence à être adapté dans l'enseignement des statistiques (Lock, 2012) pour faire passer les étudiants de l'analyse exploratoire des données (EDA), où les statistiques d'échantillonnage sont introduites, à l'analyse des données confirmatoires (CDA), où l'inférence statistique formelle est d'abord introduite.
D'après l'expérience de l'auteur dans l'enseignement des cours de statistique de premier cycle, des cycles supérieurs et Six Sigma, les étudiants ont du mal à saisir les concepts de distribution d'échantillonnage, d'erreur standard et d'intervalle de confiance ou de test d'hypothèse). C'est-à-dire qu'ils ont du mal avec les bases de la pensée statistique.
Malheureusement, même le calcul manuel des erreurs types et des intervalles de confiance paramétriques, lorsque de tels calculs sont réalisables, ne motive guère la compréhension conceptuelle de la part des étudiants. Souvent, les étudiants deviennent compétents en calcul arithmétique sans développer une véritable compréhension conceptuelle des inférences à tirer de ce calcul. Cela se manifeste généralement par le fait que les élèves calculent correctement les intervalles de confiance paramétriques (par exemple), puis déclarent par la suite des interprétations incorrectes, voire absurdes, de ces intervalles. Les étudiants sont apparemment devenus compétents en calcul arithmétique sans la capacité requise de penser statistiquement.
Depuis la sortie de JMP Pro 10, nous avons introduit le bootstrap dans les programmes des cours universitaires et des cours de statistiques Six Sigma. Plutôt que de commencer l'ACD par la discussion traditionnelle des distributions d'échantillonnage paramétriques, des erreurs standard et des intervalles de confiance, l'introduction du bootstrap motive d'abord ces concepts.
Pour l'anecdote, les résultats jusqu'à présent ont été assez encourageants en ce sens que les étudiants ont démontré une compréhension conceptuelle plus approfondie des distributions d'échantillonnage, des intervalles de confiance et des tests d'hypothèses - les étudiants semblent plus aptes à une réflexion statistique appropriée.
Les tests d'hypothèse bootstrap ne sont pas directement disponibles dans JMP Pro, mais plusieurs des tests d'hypothèse les plus courants peuvent être facilement effectués à partir des résultats bootstrap fournis par JMP Pro. Voir Hall et Wilson (1991) pour plus de détails sur les tests d'hypothèse bootstrap.
Amorçage dans d'autres plateformes statistiques
En plus d'être utilisées comme méthodes autonomes pour l'inférence statistique, les méthodes d'amorçage sont de plus en plus incorporées dans d'autres méthodes statistiques. Un bon exemple est la modélisation de partition, où des concepts d'amorçage sont utilisés pour développer un ensemble aléatoire (ou forêt) d'arbres de décision individuels. JMP Pro a implémenté ce concept dans la plate-forme de partition avec l'option Forêt amorcée.
Le bootstrapping a également été intégré aux méthodes ANOVA, MANOVA, d'analyse discriminante et de régression. De nombreuses plates-formes JMP Pro pour ces analyses disposent d'un amorçage. Malheureusement, les tests d'hypothèse bootstrap nécessitent dans certains cas une erreur standard bootstrap pour chacun des échantillons bootstrap; aucun calcul exact n'existe pour l'erreur standard. L'erreur type bootstrap pour chaque échantillon bootstrap est calculée à l'aide d'un double bootstrap (Chernick, 2008). Le double amorçage n'est actuellement pas pris en charge dans JMP Pro.
Dans l'ensemble, l'utilisation des tests d'amorçage et de randomisation dans l'enseignement des statistiques est en augmentation et n'est limitée que par la technologie disponible pour les étudiants, les enseignants et les formateurs. Son utilisation est également conforme aux recommandations du rapport GAISE (ASA, 2012) pour l'enseignement des statistiques. JMP Pro fournit une plate-forme agréable et facile à utiliser permettant aux enseignants d'intégrer l'amorçage dans les programmes de cours de statistiques.
Résumé
Dans cet article, nous avons discuté des utilisations du bootstrap en tant que forme d'inférence statistique, en particulier lorsque les erreurs standard et les intervalles de confiance ne peuvent pas être facilement calculés, et en tant qu'outil pédagogique important pour l'enseignement des statistiques. Avec l'avènement d'ordinateurs de plus en plus puissants, l'utilisation du bootstrap et des méthodes associées va sans aucun doute se développer. JMP Pro offre une fonction d'amorçage simple et facile à utiliser, de sorte que l'utilisateur JMP peut intégrer l'amorçage dans les analyses statistiques et dans les programmes de formation aux statistiques.
Les références
- Chernick, M. (2008). Méthodes Bootstrap : Un guide pour les praticiens et les chercheurs, deuxième édition. Wiley et fils : NY, NY.
- Cox, DR et Snell, EJ (1981). Statistiques appliquées : principes et exemples. Londres : Chapman et Hall.
- Efron, Bradley (1979). Méthodes Bootstrap : un autre regard sur le Jackknife, The Annals of Statistics, 7, 1-26.
- Association statistique américaine (2012). Lignes directrices pour l'évaluation et l'enseignement de l'enseignement de la statistique
- Hall, P. et Wilson S. (1991). Deux lignes directrices pour les tests d'hypothèse bootstrap. Biométrie, 47, 757 – 762
- Verrouiller, et. Al. (2012). Libérer le pouvoir des données. Wiley et fils : NY, NY
- Rubin, DB (1981). Le bootstrap bayésien, Les Annals of Statistics, Vol. 9, n° 1, 130 – 134.
- Tibshirani, et. Al. (2008). Éléments d'apprentissage statistique, deuxième édition. Édition Springer.
- Tukey, JW (1958). Biais et confiance dans des échantillons pas assez grands, The Annals of Mathematical Statistics. Vol. 29, 2, p. 614.
Philip J. Ramsey, PhD, est propriétaire du North Haven Group, une société de conseil en qualité et statistiques offrant une formation et des conseils complets à tous les niveaux et phases de Six Sigma ainsi qu'une formation complète en conception d'expériences et en analyse prédictive. Ramsey est également membre du corps professoral du Département de mathématiques et de statistique de l'Université du New Hampshire (UNH). Il est co-auteur de Visuel Six Sigma de SAS Press.
