如果您對實際數據進行了數百萬次觀察並對兩個變量進行了簡單擬合，那麼如果您沒有得到重大測試，那麼它就是欺詐的有力證據。對於非常高的數據表而言可靠不重要的一種數據是模擬數據。我們生活在一個有許多微妙力量的世界中，以許多複雜的方式行事 - 所以事情通常會有所不同，即使它們並沒有太多不同。
在大數據時代，當我們有數百萬的觀察時，我們可以預期幾乎所有的測試都是重要的。但在大多數情況下，我們並不關心細微差別。我們想知道的是，差異是否大於我們關心的差異。
在工業中，我們通常非常清楚我們關心的變化 - 我們有規格限制，下限規格（LSL）和規格上限（USL）。如果差異大於該規格範圍的某個部分，比如10％，那麼我們就知道我們要關注它。工程數據通常具有規範限制，以指導我們對變更的敏感程度。
如果我們沒有規格限制，我們會使用類似的東西。假設平均差異與自然變化相比較小，並且該過程合理地表現為1的能力，那麼我們使用6 * sigma作為規范范圍。我們使用IQR /（Q（.75）-Q（.25））來估計sigma，其中Q是正常的分位數，然後我們關心該區間的10％。
如果我們在心中有實際差異，那麼我們可以很容易地構建一個假設檢驗，即實際差異的絕對值小於實際差異。如果你有數百萬的觀察結果，這個測試並不總是很重要 - 相反，它往往是非常重要的或相反的。
這是測試如何工作的圖片。假設你關心的實際差異是2，實際差異是4。您可以構建一個學生的t分佈，該分佈由實際差異周圍的差異的標準誤差來縮放。然後計算超過實際差異的尾部概率，在這種情況下約為.3。但這只是一個方向。您還必須查看實際差異的負數，並測量同一分佈尾部的概率。現在你有實際差異測試的p值。這是您應該做的測試，告訴您您關心的更改。
但是，該測試可能與您真正想要的測試相反。如果你想要保證差異很小，那麼使用缺乏證據表明差異不大是沒有意義的。你真的想以相反的方式進行測試，以確保差異小於實際差異。
這個方向的測試被稱為等價測試 。它們最常用於受監管的醫藥和醫療器械行業，以證明變化不會影響結果。應該向入門統計學生講授等效性測試，以便他們理解接受零假設並不能證明無效 - 這只是意味著你沒有足夠的證據來拒絕它。
等效性測試的標準方法是TOST - 兩個單側t檢驗。您測試差異小於實際差異，並且您還測試差異大於實際差異的負值。因此，您證明差異的絕對值小於差異。
假設您關心的差異，實際差異是4，實際差異是2。為了測試差異是否小於實際差異，您將具有適當自由度的學生t分佈放大，並通過實際差異的差異的標準誤差進行縮放，4。請注意，實際差異中低尾區域約為0.01。現在你把學生的t分佈超過了實際差異的負值，-4。你測量右尾區域，這裡非常非常小。然後你取兩個p值的最大值，這裡的結果是.01。因此，您已經證明了.01顯著性水平的實際等價性。
現在我們有兩個工具。因此，當我們比較均值時，參考實際差異，我們有兩個p值和三個可能的結論：實際等價，實際不同和實際上不一致，如果兩個p值都不重要。
在上面的均值比較中，所有測試對於測試平均值為零非常重要;這些是藍色陰影的p值。但是只有三種反應實際上是不同的，即與實際差異有很大不同。這些是以紅色陰影顯示的p值。七個響應實際上是等效的 - 即，差異顯著小於絕對值的實際差異。這些是綠色陰影。其中兩個測試尚無定論 - 差異顯著不同於零，但與實際差異相比沒有顯著差異，也沒有明顯小於實際差異（等效）。
現在，您可以進行比較并快速確定每個響應中的每個響應如何改變其在整個因子中的平均值，即使您有數百萬個觀察值。
實用的差異測試可用於 JMP 11 在響應篩選平台中，可以在那里以及Oneway和新的非線性中獲得等效性測試。
注意： 這是一部分大統計 John Sall撰寫的一系列博客文章。讀完他的全部內容大統計帖子 。
邁克克萊頓中寫道：
這些想法應該在高中STEM課程的網絡研討會格式中詳細闡述。
這些是需要說明的重要概念（如您所做），並且在許多教科書中都沒有很好地說明。我們現在的數據非常豐富，舊的假設檢驗乍一看並沒那麼有用，但是你通過使用實際限制和一個新穎的（對我來說）可視化和表格來挽救大數據的p值（當很多人現在攻擊p值在很多方面都是危險的或無用的。）
警告：我不是統計學家。
