Phillip Ramsey - JMP 用戶社區@philramsey ,新罕布什爾大學顧問兼教授
本文最初發表於 JMPer Cable,第 28 期,2013 年夏季。
引導是一個重要的功能提供JMP專業版。 自舉的實施既簡單又靈活,因為自舉分佈可以在大多數 JMP Pro 統計報告中生成。 本文提供了有關基本引導的簡要教程,並描述了引導在獨立推理方法、教學法以及作為其他統計方法的組成部分的背景下的應用。
Bootstrapping 是一種常見的英語隱喻,指的是一個自我維持且無需外部驅動力即可持續的過程。 Bradley Efron (1979) 採用隱喻引導程序來描述他開發的一種新的重採樣技術。 他的工作受到早期有關折疊刀的研究的啟發(Tukey,1958)。
Bradley Efron (1979) 開發的統計引導是一個過程,通過該過程,重複抽取大小為 N 的獨立隨機樣本(可能數千次),並從大小為 N 的原始數據集中進行替換。 替換意味著原始數據集中的任何單個觀測值可能會被多次選擇,或者可能不會在任何一次重採樣中全部被選擇。 這確保了每個引導樣本的成員資格很可能與原始數據不同。
通過計算每次重採樣感興趣的樣本統計量,生成這些統計量的經驗分佈函數。 經驗分佈又可用於估計這些統計數據的標準誤差,並估計統計數據估計的理論參數的置信區間。 自舉置信區間(有許多版本)的優點是計算不一定需要使用參數或特定的數學公式。 Hall 和 Wilson(1991)表明引導法很容易適應假設檢驗。
計算理論參數的 bootstrap (1-α)100% 置信區間的最直接方法是使用該樣本統計量的 bootstrap 分佈的適當百分位數,該樣本統計量可估計感興趣的理論參數。 例如,樣本平均值的自舉分佈的第 2.5 個和第 97.5 個百分位數可用於形成基礎分佈的理論平均值的 95% 置信區間。
Bootstrap 研究發現,在某些情況下,Bootstrap 百分位置信區間在實際覆蓋範圍方面可能存在很大偏差(Chernick,2008)。 存在針對百分位置信區間的偏差校正算法。 然而,它們目前在 JMP Pro 中不可用,進一步的討論超出了本文的範圍。 ( 2018 年 12 月更新: JMP Pro 中現已包含偏差校正算法.)
基於bootstrap的統計推斷
以下示例展示如何使用 JMP Pro 進行引導來生成目標總體理論參數的百分位置信區間。 該示例使用最初來自 Cox 和 Snell (1981) 的 20 個溫度讀數 (開爾文)。
假設您想要查找樣本四分位距 (IQR) 的置信區間,即樣本分佈的第 25 個百分位數和第 75 個百分位數之間的差值。 精確計算 IQR 的置信區間通常是不可能的。
首先使用 JMP 中的分佈平台生成原始樣本的匯總統計數據表。 默認情況下,“匯總統計”表中不顯示四分位數範圍,因此請使用紅色小三角菜單來請求它,如圖 1 所示。 另外,由於引導進程對其引用的表中顯示的所有統計信息進行操作,因此請取消選中本示例中不感興趣的所有默認摘要統計信息。 然後,“分佈摘要”表僅顯示四分位數範圍,如圖 1 所示。
Figure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile Range圖 1 定制匯總統計表以僅顯示四分位數範圍
接下來,將光標放在報告正文中,右鍵單擊並從出現的菜單中選擇 Bootstrap(圖 2)。 在 Bootstrap 對話框中,選擇 Fractional Weights 選項 - 此選項提供更平滑的 Bootstrap 樣本 Rubin (1981)。
Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200圖2 選擇樣本量為200的Bootstrap
此示例生成 200 個樣本。 您可以輸入任意數量的樣本,但請記住,每個樣本都會重新運行分佈平台併計算該樣本的四分位數範圍。 因此,您選擇的樣本數量取決於您擁有的計算資源。 大型引導請求可能會佔用大量資源和時間。
引導過程完成後,您會看到聯合管理計劃附有抽樣結果的表格。 這些是名為 BootID 和溫度變量四分位數範圍的列。 行數是您請求的樣本數加上原始樣本計算的一。 現在使用“分佈”平台查看自舉四分位數範圍的匯總統計數據。
具有 bootstrap 選項的 JMP 平台可識別 BootID 變量並顯示 Bootstrap 置信限表,如圖 3 所示。
Figure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile Range圖 3 自舉四分位數範圍的分佈原始樣本中計算出的四分位距為 28.25(圖 1)。 請注意,為 200 個 Bootstrap 樣本計算的四分位數範圍為 25.4,從樣本的分位數中獲取的 95% Bootstrap 置信限為 7 和 45,其中包括原始估計值。
教育中的引導程序引導程序開始應用於統計教育(Lock,2012),以將學生從引入樣本統計的探索性數據分析(EDA)過渡到首先引入正式統計推斷的驗證性數據分析(CDA)。
根據作者教授統計學本科生、研究生和六西格碼課程的經驗,學生很難掌握抽樣分佈、標準誤差和置信區間或假設檢驗的概念。 也就是說,他們很難掌握統計思維的基礎知識。
不幸的是,即使手動計算標準誤差和參數置信區間,當這種計算可行時,也幾乎無法激發學生的概念理解。 學生常常精通算術計算,卻沒有對從這種計算中得出的推論產生真正的概念性理解。 這通常表現為學生正確計算參數置信區間(例如),然後隨後對這些區間做出錯誤甚至無意義的解釋。 學生們顯然已經精通算術計算,但缺乏必要的統計思維能力。
從 JMP Pro 10 的發布開始,我們將引導法引入到學術課程和六西格碼統計課程中。 CDA 不是從參數抽樣分佈、標準誤差和置信區間的傳統討論開始,而是首先引入引導法來激發這些概念。
有趣的是,到目前為止的結果非常令人鼓舞,學生們表現出了對抽樣分佈、置信區間和假設檢驗更深入的概念理解——學生們似乎更擅長正確的統計思維。
JMP Pro 中不能直接使用引導假設檢驗,但可以根據 JMP Pro 提供的引導結果輕鬆執行多種更常見的假設檢驗。 有關引導假設檢驗的更多詳細信息,請參見 Hall 和 Wilson (1991)。
在其他統計平台中引導
除了用作統計推斷的獨立方法外,自舉方法還越來越多地融入其他統計方法中。 分區建模就是一個很好的例子,其中引導概念用於生成單個決策樹的隨機集合(或森林)。 JMP Pro 通過 Bootstrapped Forest 選項在分區平台中實現了這一概念。
自舉法還被納入方差分析、多元方差分析、判別分析和回歸方法中。 許多用於這些分析的 JMP Pro 平台確實具有可用的引導程序。 不幸的是,在某些情況下,引導假設檢驗需要每個引導樣本的引導標準誤差;標準誤差不存在精確計算。 每個引導樣本的引導標準誤差是通過使用雙引導來計算的(Chernick,2008)。 JMP Pro 目前不支持雙重引導。
總體而言,引導和隨機測試在統計教育中的使用正在增長,並且僅受到學生、教師和培訓師可用的技術的限制。 其使用也符合 GAISE 報告(ASA,2012)對統計教育的建議。 JMP Pro 為教師提供了一個良好且易於使用的平台,可將引導法納入統計課程中。
概括
在本文中,我們討論了引導法作為統計推斷的一種形式(特別是在標準誤差和置信區間無法輕鬆計算的情況下)的用途,以及作為統計教育的重要教學工具的用途。 隨著功能越來越強大的計算機的出現,引導和相關方法的使用無疑會增長。 JMP Pro 提供簡單易用的引導功能,以便 JMP 用戶可以將引導功能納入統計分析和統計教育課程中。
參考
- 切爾尼克,M.(2008)。 引導方法:從業者和研究人員指南,第二版。 威利父子:紐約,紐約。
- 考克斯 (DR) 和斯內爾 (EJ) (1981)。 應用統計學:原理和例子。 倫敦:查普曼和霍爾。
- 布拉德利·埃夫隆 (1979)。 Bootstrap 方法:再看看刀刀,《統計年鑑》,7, 1-26。
- 美國統計協會(2012)。 統計教育評估與教學指南
- 霍爾,P. 和威爾遜 S. (1991)。 Bootstrap 假設檢驗的兩個指南。 生物識別, 47, 757 – 762
- 洛克等.等人。 (2012)。 釋放數據的力量。 威利父子公司:紐約州,紐約州
- 魯賓,DB (1981)。 貝葉斯引導程序,統計年鑑,卷。 9,第 1,130 – 134。
- 提布希拉尼等。等人。 (2008)。 統計學習要素,第二版。 施普林格出版社。
- 圖基,JW (1958)。 不太大樣本中的偏差和置信度,《數理統計年鑑》。 卷。 29, 2, 第 614 頁。
Philip J. Ramsey 博士擁有 North Haven Group,這是一家質量和統計諮詢公司,提供六西格碼各個級別和階段的全方位服務培訓和諮詢,以及實驗設計和預測分析方面的全面培訓。 拉姆齊還是新罕布什爾大學 (UNH) 數學與統計系的教員。 他是視覺六西格碼來自 SAS 出版社。