關鍵想法
實質重要性與統計意義，低功耗
背景
約翰·克里奇 (John Kerrich) 是一位英國數學家，二戰期間他被關在丹麥的戰俘營裡。 這大大釋放了他的日程安排。 為了打發時間，他進行了一系列機率實驗。
大多數統計學家都聲稱硬幣是公平的，這給了克里奇一個檢驗這個說法的機會。 他有時間拋硬幣 10,000 次，結果是 5,067 個正面和 4,933 個反面（統計學在生命科學中的實踐，第二版，巴迪和摩爾，第 209 頁）。
任務
確定這是否是一枚公平的硬幣。 「公平」意味著正面和反面出現的可能性相同。
數據克里奇.jmp
資料集包含結果和每個結果的計數。
結果正面或反面
計數 10,000 次翻轉中正面和反面的數量
分析
我們首先探討 10,000 次翻轉中正面和反面出現的頻率。
附件1結果分配
（分析 > 分佈；選擇結果作為 Y、列和數數作為Freq，然後按一下「確定」。對於水平佈局，選擇頂部紅色三角形下方的“堆疊”。）
當然，硬幣出現公平地說，樣本中正面和反面的數量大致相同。
95% 信賴區間（圖表 2）顯示正面最合理的機率範圍為 0.4969 到 0.5165。
圖表 2 結果的信心區間
（從分佈輸出中，點擊下方的紅色三角形並選擇置信區間 > 0.95。）
這些數據與我們用公平硬幣看到的結果一致。 然而，我們不能說硬幣是公平的——我們不能肯定零假設。
假設檢定是適合度檢定：
何：這枚硬幣是公平的。
哈：硬幣不公平。
適合度檢定（圖表 3）的 p 值為 0.1802。 我們沒有證據顯示該硬幣不公平。 同樣，需要雙重否定才能避免肯定原假設。
圖表 3 結果的適配優度檢驗
（從分佈輸出中，點擊下方的紅色三角形並選擇檢定機率。 在正面和反面的假設機率下輸入 0.5，然後按一下「完成」。）
適合度檢定的工作原理
似然比和皮爾遜檢定都比較觀察到的計數（哦我) 到預期計數 (e我）。 在這種情況下，觀察到的正面計數為 5,067 (哦頭) 和尾部 4,933 (哦尾巴）。 正面和反面的預期計數 ( e頭和e尾巴）是 5,000。
您可以驗證（練習）似然比檢定統計量為：
皮爾遜檢定統計量為：
功效和樣本量
儘管在這種情況下對數據進行基本分析非常簡單，但它確實提供了在簡單背景下探索一些重要想法的機會。 讓我們考慮另外兩個資料集，它們的樣本量非常不同。
圖表4小樣本（小數量）和非常大樣本（大數量）
對於小資料集，樣本比例為 0.62，而對於大資料集，樣本比例為 0.502。 哪一個會提供更有力的證據來證明硬幣不公平？ 在您熟悉假設檢定的某些方面之前，結果可能會令人驚訝。
大樣本分析
當然，這枚硬幣看起來很公平（圖表 5）。 從圖表中很難分辨出正面和反面哪一個出現的頻率較高。 正面朝上的實際發生率只有 50.2%。 對外行人來說，這枚硬幣甚至比約翰·克里奇翻轉的那枚還要公平。
圖表5的分佈結果
推理講述了一個不同的故事。 事實上，有強有力的證據顯示該硬幣不公平（圖表 6）。p 值為 0.0047！
圖表 6大樣本推斷
這是一個錯誤嗎？ 不。 置信區間其實支持了這一說法。 區間估計是，從長遠來看，硬幣正面朝上的機率在 50.006% 到 50.34% 之間。 該區間排除了50%，因此硬幣被裝載到地頭。
如果這看起來是一個奇怪的結果，那麼您可能不熟悉大樣本對假設檢定的影響。 當樣本量很大時，統計檢定能夠檢測出與原假設的非常小的偏差。 這裡，零假設是硬幣是公平的，而硬幣看起來不公平。 當然，這枚硬幣並不是很不公平，但它確實顯得有點偏向正面。 這可能是也可能不是您所說的公平硬幣的真正意義。 如果你和你的室友用這枚硬幣來決定誰倒垃圾，那麼這枚硬幣可能是完全公平的。 但是，如果賭場用這種硬幣賭正面，而顧客賭反面，每小時有 100,000 次 10 美元的賭注，這可能會讓賭場發財。
在統計學中，假設檢定的效能是檢驗在原假設為假時拒絕原假設的機率。 當樣本量很大時，檢定就具有很大的效能。 事實上，當樣本量非常大時，拒絕原假設可能是例行公事。 這體現了實際重要性和統計顯著性之間的差異。 表示實際重要性的測量，例如信賴區間 R 2當樣本數較大時， 等可能比 p 值更重要。
極小樣本的分析
現在，我們考慮小樣本的結果。
從圖表 7 的長條圖和頻率分佈來看，這似乎是明確的證據，即硬幣正面朝上的次數遠多於反面朝上的次數。 在樣本中，硬幣實際上正面朝上的機率為 62%，而 Kerrich 的數據為 50.67%。 但是，和以前一樣，推理會說一個不同的故事。
圖表 7的分佈結果, 非常小的樣本
事實上，p 值都高於 0.05 的顯著性水平，因此我們不能拒絕硬幣是公平的原假設。
圖表 8極小樣本的推論
對圖表 8 中置信區間的檢查再次揭示了這一點。 由於樣本量很小，信賴區間很寬。 硬幣正面朝上的時間比例的長期估計區間為 0.48 到 0.74。 這個區間包括高於和低於 0.50 的值，因此我們確實沒有足夠的證據來排除硬幣的公平性。
道德
樣本大小在統計推論中扮演重要角色。 當樣本量很大時，我們可能會檢測到差異，但這種差異可能沒有任何實際意義。 當樣本量很小時，即使看起來正在發生某些事情，我們也可能無法檢測到差異（樣本與原假設之間）。 大樣本通常意味著我們有很大的能力來檢測差異，而小樣本通常會導致低能力。
使用一些隨機產生的數據、散點圖和回歸的範例進一步說明了這個想法。
要在 Kerrich Power.jmp 中產生資料：
首先，2,000 行隨機常態值 (錯誤）是使用 JMP 公式編輯器產生的，平均值為零，標準差為 1。
接下來，x 值 ( x_big ）生成。 這些值是 1 到 8 之間的隨機整數。
最後，y 值 ( y_big ）是根據隨機常態值（錯誤) 和 x 值 ( x_big ）。
看起來這條線可能不適合這些數據，但大數據集（n = 2,000）會產生一些驚喜。 您在圖表 9 的散佈圖中看到了趨勢嗎？
圖表 9大數據集的散點圖（ y_big和x_big ）
（分析，以 X 擬合 Y；使用y_big作為 Y，響應和x_big作為 X，因子。）在圖表 10 中，我們對資料擬合了一條迴歸線。 一條線適合數據嗎？
圖表10大數據集的迴歸 ( y_big和x_big ）
（從雙變量擬合輸出中，點擊紅色三角形並選擇擬合線。）
而R 2僅為 0.056，顯示只有 5.6% 的變異y_big透過使用迴歸來解釋x_big ，p 值小於 0.0001（原假設是數據中沒有趨勢，替代假設是數據中存在趨勢）。
這就是大樣本的力量；檢測到微小的趨勢。 然而，這一趨勢可能沒有任何實際意義。 當然，如果這就是我的薪資上漲的速度，我不會留下深刻的印象！
現在，讓我們來看一個非常小的樣本，其中 y 和 x 值取自大樣本。 列y_小和x_小包含五個觀察結果。
在圖表 5 的圖中，數據似乎有強烈的線性趨勢。 但是，請記住，數據中的模式很清晰，但樣本量非常小 (n = 5)。
圖表10非常小的數據集的回歸（ y_小和x_小）
我相信您可能已經猜到這一切是怎麼回事了。
而R 2為 64.2%，表示大部分變化y_小可以用迴歸來解釋x_小，p 值為 0.1031。 這意味著（最多）只有微弱的證據表明一條線適合數據。 那麼到底發生了什麼事？
對於小數據集，雖然一條線似乎確實適合數據，但我們不能排除機會作為明顯模式的替代解釋。 P 值是一種評估機會產生此類模式的機率的方法。 儘管似乎存在某種模式，但如果這些點只是隨機生成且之間沒有真正的關係，那麼我們就有 10.04% 的機會得到如此強甚至更強的模式。 x_小和y_小。
概括
統計洞察
大樣本可以檢測微妙的模式，有時這些模式沒有任何實際重要性。 非常小的 p 值並不總是意味著正在發生重要的事情，特別是當樣本量很大時。 小樣本可能表明相對清晰的模式，但我們不能確定該模式是真實的並且不是偶然變化產生的。 大的 p 值並不總是意味著什麼都沒有發生，特別是當樣本量較小時。
影響
當結果似乎與我們關於功效和樣本量的陳述相矛盾時，就會出現一些最具資訊性的科學結果。 通常，樣本量非常小的試驗研究會發現可觀察到的效果。 在這種情況下，即使 p 值可能不是特別小，科學家也常常受到鼓舞，因為儘管測試功效較低，但還是發現了一些東西。 這樣的結果通常值得透過更大規模的研究來進一步追求。
另一方面，有時一些涉及大樣本量的研究未能發現效果。 儘管我們永遠無法肯定零假設，但當幾項大型研究都沒有產生任何效果的證據時，在某些時候我們應該對這種說法非常懷疑。
例如，許多（如果不是大多數）籃球迷相信某些球員的投籃表現要么忽冷忽熱。 一組認知心理學家使用來自 NBA 的多個大型數據集來測試這一說法的各種版本。 他們沒有發現連勝的證據（“關於籃球中‘熱手’的冷酷事實”，Amos Tversky 和 Thomas Gilovich，Chance，第 2 卷，1989 年，第 16-21 頁）。 雖然我們不能說連勝現像不會發生（這意味著肯定原假設），但不同資料集的數量、資料集的大樣本量，再加上它們對人們為什麼會誤解隨機模式的解釋，結合起來產生了極端的懷疑使連勝成為一種現象。
當樣本量較小（因此功效較低）時，找到任何影響的證據可能很重要。 當樣本量很大（因此功效很高）時，未能發現效果是值得注意的。
聯合管理計劃®特點和提示
本案例使用分佈平台產生長條圖和頻率分佈、建立比例置信區間並進行適合度檢定。
公式編輯器用於產生隨機數據，以說明回歸情況下樣本量和功效的關係。 我們使用 Fit Y by X 來產生散佈圖並擬合迴歸線。
練習
- 對於 Kerrich 拋硬幣練習（克里奇.jmp ），總體是什麼，樣本是什麼？ 樣本是簡單隨機樣本嗎？ 如果樣本不是簡單隨機樣本，你認為它有代表性嗎？ 為什麼或為什麼不？ 你認為拋硬幣是獨立的嗎？
- 皮爾森檢定統計量以著名統計學家卡爾·皮爾森 (Karl Pearson) 的名字命名，他拋硬幣 24,000 次，結果是 12,012 個正面。 在 JMP 中建立一個資料表，並對該資料執行與上方類似的分析。 你的原假設是什麼？ 你能得出什麼結論？
- 在大樣本範例中，我們觀察到 251,000 個正面和 249,000 個反面。 我們預計會看到（對於一枚公平的硬幣）250,000 個正面和 250,000 個反面。
- 使用給定的公式驗證似然比和 Pearson 檢定統計量：
- 許多教科書使用以下測試統計量來執行涉及一個比例的測試（對於公平的硬幣）：
何：p = p哦相對
哈：p≠p哦
對於此測試，測試統計量為： 其中 是樣本中正面的比例，是假設的正面比例，且n是樣本大小。
計算z並驗證。 換句話說，確認這只是 Pearson 檢定統計量的另一種形式（您也可以驗證 p 值是否相同）。
