Phillip Ramsey – JMP-Benutzergemeinschaft @philramsey , Berater und Professor, University of New Hampshire
Dieser Artikel erschien ursprünglich in JMPer Cable, Ausgabe 28, Sommer 2013.
Bootstrapping ist eine wichtige Funktion, die in angeboten wird JMP Pro . Die Implementierung von Bootstrapping ist einfach und flexibel, da Bootstrapping-Verteilungen in den meisten JMP Pro-Statistikberichten generiert werden können. Dieser Artikel bietet ein kurzes Tutorial zum grundlegenden Bootstrapping und beschreibt Anwendungen des Bootstrapping im Kontext eigenständiger Inferenzmethoden, der Pädagogik und als Komponente anderer statistischer Methoden.
Bootstrapping ist eine gebräuchliche englischsprachige Metapher für einen Prozess, der sich selbst trägt und ohne die Notwendigkeit einer externen Antriebskraft fortgesetzt wird. Bradley Efron (1979) übernahm die Metapher Bootstrap, um eine neue Resampling-Technik zu beschreiben, die er entwickelt hatte. Seine Arbeit wurde durch frühere Arbeiten zum Einklappen (Tukey, 1958) motiviert.
Statistisches Bootstrapping, wie es von Bradley Efron (1979) entwickelt wurde, ist ein Prozess, bei dem unabhängige, zufällige Stichproben der Größe N wiederholt (möglicherweise tausende Male) gezogen und durch einen Originaldatensatz der Größe N ersetzt werden. Ersetzen bedeutet, dass jede einzelne Beobachtung im Originaldatensatz mehrmals oder möglicherweise nicht alle in einer erneuten Stichprobe ausgewählt werden kann. Dadurch wird sichergestellt, dass sich die Zugehörigkeit jedes Bootstrap-Beispiels höchstwahrscheinlich von den Originaldaten unterscheidet.
Durch die Berechnung der interessierenden Stichprobenstatistiken für jede Neustichprobe werden empirische Verteilungsfunktionen für diese Statistiken generiert. Die empirischen Verteilungen können wiederum verwendet werden, um Standardfehler für diese Statistiken zu schätzen und Konfidenzintervalle für theoretische Parameter zu schätzen, die die Statistik schätzt. Die Bootstrap-Konfidenzintervalle (es gibt mehrere Versionen davon) haben den Vorteil, dass die Berechnung nicht unbedingt die Verwendung einer parametrischen oder einer bestimmten mathematischen Formel erfordert. Hall und Wilson (1991) zeigen, dass Bootstrapping leicht an das Testen von Hypothesen angepasst werden kann.
Der einfachste Weg, ein 100-prozentiges Bootstrap-Konfidenzintervall (1-α) für einen theoretischen Parameter zu berechnen, besteht darin, die entsprechenden Perzentile der Bootstrap-Verteilung für diese Stichprobenstatistik zu verwenden, die den interessierenden theoretischen Parameter schätzt. Beispielsweise können das 2,5. und 97,5. Perzentil der Bootstrap-Verteilung eines Stichprobendurchschnitts verwendet werden, um ein 95-Prozent-Konfidenzintervall für den theoretischen Mittelwert der zugrunde liegenden Verteilung zu bilden.
Bootstrap-Untersuchungen ergaben, dass die Bootstrap-Perzentil-Konfidenzintervalle in einigen Fällen im Hinblick auf die tatsächliche Abdeckung erheblich verzerrt sein könnten (Chernick, 2008). Es gibt Bias-Korrekturalgorithmen für Perzentil-Konfidenzintervalle. Allerdings sind sie derzeit nicht in JMP Pro verfügbar und eine weitere Diskussion würde den Rahmen dieses Artikels sprengen. ( Aktualisiert im Dezember 2018: Algorithmen zur Bias-Korrektur sind jetzt in JMP Pro enthalten .)
Statistische Schlussfolgerung basierend auf dem Bootstrap
Das folgende Beispiel zeigt, wie JMP Pro zum Bootstrapping verwendet wird, um Perzentil-Konfidenzintervalle für theoretische Parameter von Zielpopulationen zu generieren. Das Beispiel verwendet 20 Temperaturmesswerte (Kelvin), die ursprünglich von Cox und Snell (1981) stammen.
Angenommen, Sie möchten Konfidenzintervalle für den Interquartilbereich (IQR) der Stichprobe ermitteln, bei dem es sich um die Differenz zwischen dem 25. und 75. Perzentil der Stichprobenverteilung handelt. Eine exakte Berechnung von Konfidenzintervallen für den IQR ist im Allgemeinen nicht möglich.
Beginnen Sie mit der Verwendung der Verteilungsplattform in JMP, um eine Tabelle mit zusammenfassenden Statistiken für die ursprüngliche Stichprobe zu erstellen. Der Interquartilbereich wird standardmäßig nicht in der Tabelle „Zusammenfassungsstatistik“ angezeigt. Verwenden Sie daher das Menü mit dem roten Dreieck, um ihn anzufordern, wie in Abbildung 1 dargestellt. Da der Bootstrap-Prozess außerdem alle Statistiken bearbeitet, die in der Tabelle angezeigt werden, auf die er sich bezieht, deaktivieren Sie alle standardmäßigen zusammenfassenden Statistiken, die in diesem Beispiel nicht von Interesse sind. In der Tabelle „Verteilungszusammenfassung“ wird dann nur der Interquartilbereich angezeigt, wie in Abbildung 1 dargestellt.
Figure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeAbbildung 1: Passen Sie die zusammenfassende Statistiktabelle so an, dass nur der Interquartilbereich angezeigt wird
Platzieren Sie als Nächstes den Cursor im Hauptteil des Berichts, klicken Sie mit der rechten Maustaste und wählen Sie Bootstrap aus dem angezeigten Menü (Abbildung 2). Wählen Sie im Bootstrap-Dialogfeld die Option „Fractional Weights“ – diese Option sorgt für glattere Bootstrap-Samples. Rubin (1981).
Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Abbildung 2: Wählen Sie den Bootstrap mit der Stichprobengröße 200
Dieses Beispiel generiert 200 Proben. Sie können eine beliebige Anzahl von Stichproben eingeben. Beachten Sie jedoch, dass für jede Stichprobe die Verteilungsplattform erneut ausgeführt und der Interquartilbereich für diese Stichprobe berechnet wird. Die Anzahl der Stichproben, die Sie wählen, hängt also von Ihren Rechenressourcen ab. Eine große Bootstrap-Anfrage kann sowohl ressourcen- als auch zeitintensiv sein.
Wenn der Bootstrap-Vorgang abgeschlossen ist, wird Folgendes angezeigt: JMP Tabelle mit den Probenahmeergebnissen. Dies sind die Spalten BootID und Interquartile Range für die Temperaturvariable. Die Anzahl der Zeilen entspricht der Anzahl der von Ihnen angeforderten Stichproben plus eins für die ursprüngliche Stichprobenberechnung. Verwenden Sie nun die Verteilungsplattform, um zusammenfassende Statistiken für den Bootstrapping-Interquartilbereich anzuzeigen.
JMP-Plattformen mit der Bootstrap-Option erkennen die BootID-Variable und zeigen die Tabelle „Bootstrap Confidence Limits“ an, wie in Abbildung 3 dargestellt.
Figure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeAbbildung 3 Verteilung des Bootstrapping-Interquartilbereichs Der in der ursprünglichen Stichprobe berechnete Interquartilbereich beträgt 28,25 (Abbildung 1). Beachten Sie, dass der für die Bootstrap-Stichprobe von 200 berechnete Interquartilbereich 25,4 beträgt und dass die 95-prozentigen Bootstrap-Konfidenzgrenzen, die aus den Quantilen für die Stichprobe entnommen werden, 7 und 45 betragen, was die ursprüngliche Schätzung einschließt.
Der Bootstrap in der Bildung Bootstrapping wird im Statistikunterricht zunehmend adaptiert (Lock, 2012), um Schüler von der explorativen Datenanalyse (EDA), bei der Stichprobenstatistiken eingeführt werden, zur konfirmatorischen Datenanalyse (CDA) zu überführen, bei der zunächst formale statistische Schlussfolgerungen eingeführt werden.
Aufgrund der Erfahrung des Autors beim Unterrichten von Bachelor-, Master- und Six-Sigma-Kursen in Statistik fällt es Studierenden schwer, die Konzepte einer Stichprobenverteilung, eines Standardfehlers und eines Konfidenzintervalls oder eines Hypothesentests zu verstehen. Das heißt, sie kämpfen mit den Grundlagen des statistischen Denkens.
Leider trägt selbst die manuelle Berechnung von Standardfehlern und parametrischen Konfidenzintervallen, wenn solche Berechnungen möglich sind, kaum dazu bei, das konzeptionelle Verständnis der Schüler zu fördern. Oft beherrschen Studierende das arithmetische Rechnen, ohne ein wirkliches konzeptionelles Verständnis für die Schlussfolgerungen zu entwickeln, die aus solchen Berechnungen gezogen werden müssen. Dies äußert sich in der Regel dadurch, dass Schüler beispielsweise parametrische Konfidenzintervalle korrekt berechnen und anschließend falsche oder sogar unsinnige Interpretationen dieser Intervalle angeben. Offensichtlich beherrschen die Schüler das arithmetische Rechnen, ohne dass sie über die erforderliche Fähigkeit zum statistischen Denken verfügen.
Beginnend mit der Veröffentlichung von JMP Pro 10 haben wir Bootstrapping in die Lehrpläne sowohl für akademische als auch für Six-Sigma-Statistikkurse eingeführt. Anstatt CDA mit der traditionellen Diskussion parametrischer Stichprobenverteilungen, Standardfehler und Konfidenzintervalle zu beginnen, motiviert die Einführung von Bootstrapping diese Konzepte.
Anekdotischerweise waren die bisherigen Ergebnisse recht ermutigend, da die Studierenden ein tieferes konzeptionelles Verständnis für Stichprobenverteilungen, Konfidenzintervalle und Hypothesentests an den Tag legten – die Studierenden scheinen sich besser mit dem richtigen statistischen Denken auskennen zu können.
Bootstrap-Hypothesetests sind in JMP Pro nicht direkt verfügbar, einige der häufigeren Hypothesentests können jedoch problemlos anhand der von JMP Pro bereitgestellten Bootstrap-Ergebnisse durchgeführt werden. Weitere Einzelheiten zum Testen von Bootstrap-Hypothesen finden Sie in Hall und Wilson (1991).
Bootstrapping in anderen Statistikplattformen
Bootstrapping-Methoden werden nicht nur als eigenständige Methoden für statistische Inferenzen verwendet, sondern werden zunehmend auch in andere statistische Methoden integriert. Ein gutes Beispiel ist die Partitionsmodellierung, bei der Bootstrapping-Konzepte verwendet werden, um ein zufälliges Ensemble (oder einen Wald) einzelner Entscheidungsbäume aufzubauen. JMP Pro hat dieses Konzept in der Partition-Plattform mit Bootstrapped Forest-Option implementiert.
Bootstrapping wurde auch in ANOVA-, MANOVA-, Diskriminanzanalyse- und Regressionsmethoden integriert. Viele der JMP Pro-Plattformen für diese Analysen verfügen über Bootstrapping. Leider erfordern Bootstrap-Hypothesetests in einigen Fällen einen Bootstrap-Standardfehler für jede der Bootstrap-Proben; Für den Standardfehler gibt es keine genaue Berechnung. Der Bootstrap-Standardfehler für jedes Bootstrap-Beispiel wird mithilfe eines doppelten Bootstraps berechnet (Chernick, 2008). Doppeltes Bootstrapping wird derzeit in JMP Pro nicht unterstützt.
Insgesamt nimmt der Einsatz von Bootstrapping- und Randomisierungstests im Statistikunterricht zu und wird nur durch die Technologie begrenzt, die Schülern, Lehrern und Ausbildern zur Verfügung steht. Seine Verwendung steht auch im Einklang mit den Empfehlungen des GAISE-Berichts (ASA, 2012) für die Statistikerziehung. JMP Pro bietet Lehrern eine schöne, benutzerfreundliche Plattform, um Bootstrapping in die Lehrpläne der Statistikkurse zu integrieren.
Zusammenfassung
In diesem Artikel haben wir die Verwendung von Bootstrapping sowohl als Form der statistischen Inferenz, insbesondere wenn Standardfehler und Konfidenzintervalle nicht einfach berechnet werden können, als auch als wichtiges pädagogisches Instrument für den Statistikunterricht erörtert. Mit dem Aufkommen immer leistungsfähigerer Computer wird der Einsatz von Bootstrapping und verwandten Methoden zweifellos zunehmen. JMP Pro bietet eine unkomplizierte, benutzerfreundliche Bootstrapping-Funktion, sodass der JMP-Benutzer Bootstrapping in statistische Analysen und in die Lehrpläne für den Statistikunterricht integrieren kann.
Verweise
- Chernick, M. (2008). Bootstrap-Methoden: Ein Leitfaden für Praktiker und Forscher, 2. Auflage. Wiley und Söhne: NY, NY.
- Cox, DR und Snell, EJ (1981). Angewandte Statistik: Prinzipien und Beispiele. London: Chapman und Hall.
- Efron, Bradley (1979). Bootstrap-Methoden: Another Look at the Jackknife, The Annals of Statistics, 7, 1-26.
- American Statistical Association (2012). Richtlinien für die Bewertung und den Unterricht im Statistikunterricht
- Hall, P. und Wilson S. (1991). Zwei Richtlinien für das Testen von Bootstrap-Hypothesen. Biometrie, 47, 757 – 762
- Lock usw. al. (2012). Die Macht der Daten freisetzen. Wiley und Söhne: NY, NY
- Rubin, DB (1981). The Bayesian Bootstrap, The Annals of Statistics, Bd. 9, Nr. 1, 130 – 134.
- Tibshirani et. al. (2008). Elemente des statistischen Lernens, 2. Auflage. Springer Verlag.
- Tukey, JW (1958). Voreingenommenheit und Vertrauen in nicht ganz große Stichproben, The Annals of Mathematical Statistics. Bd. 29, 2, S. 614.
Philip J. Ramsey, PhD, ist Eigentümer der North Haven Group, einem Qualitäts- und Statistikberatungsunternehmen, das umfassende Schulungen und Beratung auf allen Ebenen und Phasen von Six Sigma sowie umfassende Schulungen in der Versuchsplanung und prädiktiven Analyse anbietet. Ramsey ist außerdem Fakultätsmitglied am Fachbereich Mathematik und Statistik der University of New Hampshire (UNH). Er ist Co-Autor von Visuelles Six Sigma von SAS Press.
