分類資料分析：大樣本量調整的卡方檢驗尊敬的 JMP 社群成員：
我們使用 JMP Pro 16.2.0。我們正在透過網路運行一個包含分類自變數和分類因變數的實驗。關鍵在於，如果參與者數量眾多，且這些參與者能夠確定頻數，那麼卡方檢定總是會達到顯著性。您可以在我提供的 jmp 檔案中的虛構資料以及包含的日誌中的分析中看到這一點。我將低頻乘以 100，您會發現馬賽克圖看起來完全一樣，但在低頻條件下它不顯著，而在高頻條件下它非常顯著。這就是卡方檢定的“問題”，它在樣本量較大的情況下很容易達到顯著性（F= 檢定的靈敏度較低）。
這個問題有解決方案，有時你可以將計數轉換為比例並進行 F 檢驗，但在我們的例子中這是不可能的。另一個解決方案在這篇論文中：
http://expsylab.psych.uoa.gr/fileadmin/expsylab.psych.uoa.gr/uploads/papers/Bergh_2015.pdf
我的問題是：JMP Pro 有沒有針對這個問題的實現，或者您知道有什麼插件嗎？我認為隨著網路上資料收集程式（例如 Amazon Turk、Qualtrics）的普及，處理這些大樣本量變得越來越重要。尤其是在分類資料分析中。也許消費者研究下有一個選項，但我還沒找到。
希望問題清楚，
感謝您的見解，
親切的問候，
雷內
數據探索與視覺化大規模客製化回复：分類數據分析：用於大樣本量調整的卡方你好@RvEDelft ,
歡迎來到社區！
只是簡單地看一下您的問題，您是否嘗試檢查“關聯測量報告”（單擊紅色三角形時可訪問）下可用的其他分析？ 這取決於您的問題是什麼，但還有許多其他選項，有些選項已經考慮到數據集大小：協會措施報告 (jmp.com)
一個例子提供了像你這樣的名義變量：關聯期權度量示例 (jmp.com)在哪裡Lambda 和不確定性度量用於幫助做出決策（一般來說，要知道有多少 Y 的變化可以用 X 的變化來解釋）。
在低級別和高級別使用數據集和頻率列時，您可以看到 Lambda 和不確定性度量不會根據數據集大小/值的頻率而改變。
FREQLOW 與 FREQHIGH：
我不知道你的主題和目標，我也不是這些統計測試方面的專家，但可以在互聯網上找到關於這個主題的文獻。
第一個回答希望對你有幫助
回复：分類數據分析：用於大樣本量調整的卡方我不會直接回答你的問題，因為還有其他人可以更好地回答。但是，總的來說，我認為幾乎所有大型數據集最終都會對您所做的幾乎所有分析顯示出統計顯著性——被測試的 null 沒有關聯，而實際上，事物幾乎總是關聯的。因此，卡方檢驗在大型數據集中始終顯示顯著性這一事實不會讓我感到困擾。就您的問題集中在從 Amazon Turk 等生成大型數據集而言， 我認為一個更大的問題是，這些大樣本量通常不能被視為您希望研究的人群的隨機樣本。也就是說，統計顯著性依賴於隨機抽樣，而您獲得的樣本雖然很大，但不太可能是隨機的。這比一切最終都顯示出統計顯著性更讓我擔心。
回复：分類數據分析：用於大樣本量調整的卡方好的，
我的問題只是關於卡方。 我認為您的評論更多地與測試的有效性相關，而不是與可靠性相關。 第一個是，我認為非常重要。 但大多數情況下，重要性適應會獲勝。 您將永遠找不到結果為空的論文。 真遺憾。 我曾經有一個博士同事，他有一個完美的實驗設計，但從未發現顯著的效果。
進一步詳細說明這一點。 我的學生必須用小樣本進行用戶研究，這有問題。 您可以問自己一個簡單的問題；一個人在特定上下文中與產品交互會遇到問題。 這會是世界上唯一有這個問題的人嗎？ 可能不會，我認為沒有人會反駁，沒有這方面的統計數據......
請留下我最初的問題...
我覺得可以在有效性方面建立另一個鏈接。
雷內
回复：分類數據分析：用於大樣本量調整的卡方好吧，我說過我不會直接回答你的問題。無論如何，我又看了一遍，這不是我的專業領域，但我確實有一個問題，我很樂意得到通知。您將此稱為卡方檢驗的“問題”。我不明白為什麼它被稱為問題。在我看來，測試正在做它應該做的事情——當樣本大小是 240 而不是 24000。我不明白這是一個“問題”的背景。而且，當你進一步解釋你的學生經常有小樣本時，我不認為這是一個可以通過統計操作來解決的問題。小樣本變化很大，因此發現統計顯著性應該更加困難，不是嗎？
由於這不是我的專業領域，我真的很想更好地了解上下文，了解為什麼這被認為是一個問題以及正在尋求什麼樣的“解決方案”。根據我非常有限的理解，我會高度懷疑任何使小樣本案例更明確的解決方案，以及對任何需要更高標準的更大樣本量的統計顯著性的解決方案更加懷疑。關於最後一點，我對 NHST 的主要批評之一是，被檢驗的零假設實際上永遠不會為真，因此通常應該拒絕它。感興趣的是差異的大小或關係的強度，而不是您是否可以拒絕 null。無法拒絕 null 只是告訴我，相對於您的樣本量而言，變異性太大，無法說明任何事情（根據我的經驗，對於大多數使用原始數據的學生調查類型研究而言，情況確實如此）。
