關鍵思想
實際重要性與統計顯著性，低功耗
背景
約翰·克里奇 (John Kerrich) 是一位英國數學家，二戰期間他發現自己身處丹麥的戰俘營。 這大大釋放了他的日曆。 為了打發時間，他進行了一系列概率實驗。
大多數統計學家聲稱硬幣是公平的，這給了 Kerrich 檢驗這一說法的機會。 他有時間擲硬幣 10,000 次，結果是 5,067 個正面和 4,933 個反面（統計在生命科學中的實踐，第 2 版，Baldi 和 Moore，第 209 頁）。
任務
確定這是否是一枚公平的硬幣。 “公平”意味著出現正面和反面的可能性相同。
數據克里奇.jmp
數據集包含結果和每個結果的計數。
結果正面或反面
計數 10,000 次翻轉中出現正面和反面的次數
分析
我們首先探索 10,000 次翻轉中出現正面和反面的頻率。
圖表 1結果分配
（分析 > 分佈；選擇結果作為 Y，列和數數作為頻率，然後單擊確定。對於水平佈局，請選擇頂部紅色三角形下方的堆疊。）
當然，硬幣出現公平地說——樣本中正面和反面的數量大致相同。
95% 的置信區間（圖表 2）表明最可能出現正面的概率範圍為 0.4969 到 0.5165。
圖表 2 結果的置信區間
（從 Distribution 輸出中，點擊下方的紅色小三角並選擇 Confidence Interval > 0.95。）
這些數據與我們用公平硬幣看到的結果一致。 然而，我們不能說硬幣是公平的——我們不能肯定原假設。
假設檢驗是一種擬合優度檢驗：
何：硬幣是公平的。
哈：硬幣不公平。
擬合優度檢驗（圖表 3）均給出了 0.1802 的 p 值。 我們沒有證據表明硬幣不公平。 同樣，需要雙重否定以避免確認原假設。
圖表 3 結果的擬合優度檢驗
（從 Distribution 輸出中，單擊下方的紅色三角形並選擇 Test Probabilities。 在 Hypoth Prob 下為 Heads 和 Tails 輸入 0.5，然後單擊 Done。）
擬合優度檢驗的工作原理
似然比和 Pearson 檢驗都比較觀察到的計數 ( o我) 到預期計數 (e我). 在這種情況下，觀察到的正面計數為 5,067（ o頭) 和尾巴 4,933 ( o尾巴). 正面和反面的預期計數（電子頭和電子尾巴) 是 5,000。
您可以驗證（一個練習）似然比檢驗統計量是：
皮爾遜檢驗統計量是：
功效和样本量
儘管在這種情況下對數據進行基本分析非常簡單，但它確實提供了一個在簡單上下文中探索一些重要想法的機會。 讓我們考慮另外兩個樣本量非常不同的數據集。
圖表 4一個小樣本（小計數）和一個非常大的樣本（大計數）
對於小數據集，樣本比例為 0.62，而對於大數據集，樣本比例為 0.502。 哪個能提供更有力的證據證明硬幣是不公平的？ 在您熟悉假設檢驗的某些方面之前，結果可能會令人驚訝。
大樣本分析
當然，這枚硬幣看起來很公平（圖表 5）。 很難從圖表中判斷哪個出現得更頻繁，是正面還是反面。 實際上正面朝上的概率只有 50.2%。 對於外行來說，這枚硬幣似乎比約翰·克里奇拋出的那枚硬幣更公平。
圖表 5的分佈結果
推理講述了一個不同的故事。 事實上，有強有力的證據證明硬幣不公平（圖表 6）。p 值為 0.0047！
圖表 6大樣本推理
這是一個錯誤嗎？ 不。 置信區間實際上支持這種說法。 區間估計是，從長遠來看，硬幣正面朝上的概率在 50.006% 到 50.34% 之間。 該間隔不包括 50%，因此硬幣被裝載到地頭。
如果這看起來是一個奇怪的結果，那麼您可能不熟悉大樣本對假設檢驗的影響。 當樣本量很大時，統計檢驗有能力檢測與原假設的非常小的偏差。 在這裡，零假設是硬幣是公平的，硬幣看起來不公平。 當然，這枚硬幣並不是很不公平，但它確實顯得有點偏正面。 這可能是也可能不是您所說的公平硬幣的真正含義。 如果你和你的室友是用這個硬幣來決定誰倒垃圾，這個硬幣可能是完全公平的。 但是，如果一家賭場用這種硬幣押正面，而顧客押反面，並且有 100,000 個每小時 10 美元的賭注，這可能會使賭場發財。
在統計學中，假設檢驗的功效是檢驗在原假設為假時拒絕原假設的概率。 當樣本量很大時，測試具有很大的功效。 事實上，當樣本量非常大時，拒絕原假設可能是常規做法。 這得到了實際重要性和統計意義之間的區別。 表明實際重要性的措施，例如置信區間，R 2個當樣本量很大時，等可能比 p 值更重要。
非常小樣本的分析
現在，我們考慮小樣本的結果。
從圖表 7 中的條形圖和頻率分佈來看，這似乎是硬幣正面遠遠多於反面的明確證據。 在樣本中，硬幣實際正面朝上的概率為 62%，而 Kerrich 的數據為 50.67%。 但是，和以前一樣，推理會講述一個不同的故事。
圖表 7的分佈結果, 非常小的樣本
事實上，p 值均高於 0.05 的顯著性水平，因此我們不能拒絕零假設硬幣是公平的。
圖表 8極小樣本的推斷
對圖表 8 中置信區間的檢查再次揭示了問題。 因為樣本量小，置信區間很寬。 硬幣正面朝上的時間比例的長期估計區間為 0.48 到 0.74。 此區間包括高於和低於 0.50 的值，因此我們確實沒有足夠的證據來排除公平硬幣。
道德
樣本量在統計推斷中起著重要作用。 當樣本量很大時，我們可能會檢測到差異，但差異可能沒有任何實際意義。 當樣本量很小時，我們可能無法檢測到差異（我們的樣本和零假設之間），即使看起來有些事情正在發生。 大樣本通常意味著我們有很大的能力來檢測差異，而小樣本通常會導致低能力。
使用一些隨機生成的數據、散點圖和回歸的示例進一步說明了這一想法。
要在 Kerrich Power.jmp 中生成數據：
首先，2,000 行隨機正態值（錯誤) 是使用 JMP 公式編輯器生成的，均值為零，標準差為 1。
接下來，x 值（ x_大) 生成。 這些值是從 1 到 8 的隨機整數。
最後，y 值（大) 是從隨機正態值 (錯誤) 和 x 值 ( x_大).
它可能看起來不像一條線適合這些數據，但大數據集 (n = 2,000) 會產生一些驚喜。 您在圖表 9 的散點圖中看到趨勢了嗎？
圖表 9大型數據集的散點圖 (大和x_大)
（分析，用 X 擬合 Y；使用大作為 Y，響應和x_大作為 X，因子。）在圖表 10 中，我們對數據擬合了一條回歸線。 一條線是否適合數據？
圖表 10大數據集的回歸 (大和x_大)
（從“雙變量擬合”輸出中，點擊紅色小三角並選擇“擬合線”。）
而 R 2個僅為 0.056，表示只有 5.6% 的變化大由回歸解釋使用x_大，p 值小於 0.0001（零假設是數據中沒有趨勢，備選假設是數據中有趨勢）。
這就是大樣本的力量；檢測到微小趨勢。 然而，趨勢可能沒有任何實際意義。 當然，如果這是我工資上漲的速度，我不會留下深刻印象！
現在，讓我們看一個非常小的樣本，其中 y 和 x 值是從大樣本中提取的。 列y_small和x_small包含五個觀察結果。
在圖表 5 的圖中，數據似乎有很強的線性趨勢。 但是，請記住數據中的清晰模式，但樣本量非常小 (n = 5)。
圖表 10非常小的數據集的回歸 ( y_small和x_small )
我相信您可能已經猜到這是怎麼回事了。
而 R 2個為 64.2%，表明y_small可以通過回歸來解釋x_small ，p 值為 0.1031。 這意味著只有微弱的證據（充其量）表明一條線適合數據。 那麼發生了什麼？
對於一個小數據集，雖然一條線似乎確實符合數據，但我們不能排除機會作為對明顯模式的替代解釋。 P 值是一種評估機會產生這種模式的可能性的方法。 雖然看起來有一個模式，但如果這些點只是隨機產生而沒有真正的關係，那麼我們有 10.04% 的機會得到一個如此強大甚至更強的模式x_small和y_small .
概括
統計見解
大樣本可以檢測到細微的模式，有時這些模式沒有任何實際意義。 非常小的 p 值並不總是意味著發生了重要的事情，尤其是當樣本量很大時。 小樣本可能表明一個相對清晰的模式，但我們不能確定該模式是真實的而不是偶然變化產生的。 大的 p 值並不總是意味著什麼都沒有發生，尤其是當樣本量很小的時候。
啟示
當結果似乎與我們所說的有關功效和样本量的內容相矛盾時，就會出現一些最具信息量的科學結果。 通常，樣本量非常小的試點研究會發現明顯的效果。 在這種情況下，即使 p 值可能不是特別小，科學家們也常常受到鼓勵，因為儘管測試的功效很低，但還是發現了一些東西。 這樣的結果通常值得通過更大規模的研究進一步追求。
另一方面，有時涉及大量樣本的幾項研究未能發現效果。 雖然我們永遠不能肯定原假設，但當幾項非常大的研究都沒有產生任何影響的證據時，在某些時候我們應該對該聲明非常懷疑。
例如，許多（如果不是大多數）籃球迷認為一些球員有熱和冷的投籃命中率。 一組認知心理學家使用來自 NBA 的幾個大型數據集來測試這種說法的各種版本。 他們沒有發現連續投籃的證據（“關於籃球中‘熱手’的冷事實”，Amos Tversky 和 Thomas Gilovich，Chance，第 2 卷，1989 年，第 16-21 頁）。 雖然我們不能說連續射擊不會發生（這意味著肯定零假設），但不同數據集的數量、數據集的大樣本量，以及他們對人們為什麼會誤解隨機模式的解釋，結合起來產生了極端的懷疑將連勝視為一種現象。
當樣本量較小（因此功效較低）時，找到任何影響的證據可能很重要。 當樣本量很大（因此功效很高）時，未能發現效果是值得注意的。
JMP ®功能和提示
本案例使用 Distribution 平台生成條形圖和頻率分佈，為比例創建置信區間，並進行擬合優度檢驗。
公式編輯器用於生成隨機數據，以說明回歸情況下與樣本大小和功效的關係。 我們使用 X 擬合 Y 來生成散點圖和擬合回歸線。
練習
- 對於 Kerrich 拋硬幣練習 (克里奇.jmp )，什麼是總體，什麼是樣本？ 樣本是簡單隨機樣本嗎？ 如果樣本不是簡單隨機樣本，你認為它是代表性樣本嗎？ 為什麼或者為什麼不？ 你認為拋硬幣是獨立的嗎？
- 卡爾·皮爾遜 (Karl Pearson) 是一位著名的統計學家，皮爾遜檢驗統計就是以他的名字命名的，他拋硬幣 24,000 次，結果是 12,012 次正面朝上。 在 JMP 中創建一個數據表，並執行與上述類似的數據分析。 你的原假設是什麼？ 你能得出什麼結論？
- 在大樣本示例中，我們觀察到 251,000 個正面和 249,000 個反面。 我們本來期望看到（對於公平的硬幣）250,000 個正面和 250,000 個反面。
- 使用給定的公式驗證似然比和 Pearson 檢驗統計數據：
- 許多教科書使用以下測試統計來執行涉及一個比例（對於公平硬幣）的測試：
何：p = p o相對
哈：p≠p o
對於這個測試，測試統計量是：樣本中頭的比例在哪裡，是假設的頭部比例，並且n是樣本量。
計算z並驗證。 換句話說，確認這只是 Pearson 檢驗統計量的另一種形式（您還可以驗證 p 值是否相同）。
