您是否曾使用兩種不同但合適的模型分析相同的數據，從而導致完全不同的推論？那你可能遇到過主悖論 （主，1967年）。
Lord's Paradox（Lord，1967）幾十年來一直困擾著研究人員！特別是那些在無法進行設計實驗的地區工作的人（想想研究養育的心理學家，不能隨意將孩子分配給好父母和壞父母）。
那麼這怎麼可能發生呢？我將用一個例子來解釋。
設置
想像一下，你是一位新興的初創公司新聘請的數據分析師。您的經理非常希望能夠幫助您從最近收集的數據集中發現洞察力。她希望您了解公司第一年的客戶滿意度是如何變化的。
她在公司剛開始時對100位客戶進行了調查，並在幾週前（一年後）再次對他們進行了調查。她特別關注客戶之前與主要競爭對手產品的經驗，以及這是否會影響客戶滿意度在第一年的變化。在將數據交給您之後，您的經理表示希望盡快與您見面以了解您的發現。你用 JMP 打開文件，它看起來像這樣：
圖1。客戶滿意度的模擬數據。請在下面的評論中告訴我們您的分析。
您可以獲得有關客戶在使用之前是否使用過（或未使用過）競爭對手產品的信息。從公司剛剛開始（在時間1或T1）和一年後（幾週前，或T2），您也有客戶滿意度，並且您有“客戶滿意度變化”欄，這就是區別在T2 - T1之間。看起來像一個簡單的項目！
您可能會想到一些分析這些數據的方法，但讓我提請您注意兩個選項：
1） 做一個怎麼樣協方差分析 （又名殘差變化模型）？您可以在JMP（分析 - >適合模型：標準最小二乘個性）中使用Fit Model平台，並在第2時將客戶滿意度作為結果。您將分組變量（使用競爭對手的產品）作為預測變量和時間1的客戶滿意度作為協變量（這兩者都將添加為“構造模型效果”）。您的主要興趣在於分組變量在時間2對客戶滿意度的潛在影響，但您確保在模型中的時間1包括客戶滿意度以控制此變量的基線水平。以下是該模型的估算值（ JMP提示： 您可以通過在分析報告的紅色三角形菜單中選擇此選項來獲取指標參數化：
圖2。協方差分析的結果。結果是客戶滿意度2。
根據這些結果，您可以得出結論，在使用您公司之前使用競爭對手的產品會產生影響！對於那些在使用您的競爭對手產品之前使用您的競爭對手的產品，目前的客戶滿意度顯著降低（約1.02個單位）（您的經理會很高興了解到這一點）！R平方也表明這不是微不足道的;預測因子可以解釋80％的結果差異。
2） 但是等一下，幹什麼呢 T- 測試隨著變化分數？您可以使用Bivariate平台（Analyze - > Fit Y by X - > Means / Anova / Pooled t）輸入Change Customer Satisfaction作為結果，並使用競爭對手的產品作為您的分組變量（這相當於單向進行） ANOVA或以分組變量作為預測變量的簡單線性回歸，也等同於配對樣本 Ť - 測試T1和T2分數，但這是另一篇博客文章的主題）。畢竟，您的經理強調了她對了解客戶滿意度的興趣變化 。我們來看看這個模型的估計值：
圖3。改變分數的t檢驗結果。
嗯......出了什麼問題？根據這個模型（我保證你可以將它放在同一個數據表中），使用競爭對手產品的用戶滿意度與使用競爭對手產品的用戶滿意度之間的差異沒有顯著差異。更引人注目的是這款車型的R平方幾乎為零！
這是Lord's Paradox：基於相同的數據得出完全不同的推論的可能性，但是不同的模型，兩者似乎都是合適的。因此，讓我們揭開這個難題的背後，首先在JMP中使用Graph Builder繪製數據：
揭開謎題
圖4。分組時間1和2的客戶滿意度分散圖（即客戶是否使用了競爭對手的產品）。還顯示了按組分組的最佳擬合線和95％置信區間。請注意，第一次調查（x軸）的客戶滿意度得分在使用競爭對手的產品和未使用競爭對手的產品的系統上有所不同。事實上，在您公司之前使用競爭對手產品的客戶開始時客戶滿意度較低（可能他們很難適應新產品），那些沒有使用競爭對手產品的客戶從一開始就獲得了更高的客戶滿意度。我們也沒有觀察到那些沒有使用競爭對手產品的客戶，他們在第1時報告了很高的滿意度。
那麼，當第二個模型沒有時，為什麼你的第一個模型指向顯著效果？事實證明，協方差分析可以隱含假設您的樣本來自一人口。如果數據真的來自一個人群，那麼我們認為在基線時有群體平均差異是不尋常的（因為我們從群體中隨機抽樣）而我們預計第二次調查意味著，對於那些做過和不做過的人使用你的競爭對手的產品，接近平均值（這個統計工件被稱為向均值回歸 ）。但是在這裡，每個群體中的平均值在時間上保持幾乎相同，並且為了實現這一點 - 當你從一個群體中採樣時 - 必須有一種力量（即效果）使手段不會彼此靠近。這種“力”是協方差分析所確定的效果。另一方面， Ť - 測試不涉及這種假設，結果在零效應中反映了這一點。也許以不同的方式繪製數據可以進一步說明這一點......
圖5。保持平均軌跡不退回到平均值的力量疊加在意大利麵條圖上。我們可以看到個人隨時間變化不大，總體趨勢也沒有變化;那些開始低/高的人的客戶滿意度仍然很低/很高。
因此，鑑於我們現在所知道的，您將與您的經理分享什麼見解？您是否會報告使用競爭對手的產品對客戶滿意度的影響？好吧，如果你在現實生活中遇到過這樣的情況，請務必在這個問題上閱讀更多內容（我當然在這裡過分簡化了）;一篇有用的文章是van Breukelen（2013）。
但就目前而言，讓我澄清一下，如果這些數據是作為設計實驗的一部分收集的，那麼你就不會陷入困境。隨機分配是設計實驗的一個關鍵特徵，它允許我們確保由於客戶的特性在各組之間平均分散而導致的可變性。也就是說，你從一開始就從一個群體中採樣的基本假設將得到滿足，我在這裡描述的兩個模型將得出相同的結論（儘管協方差分析具有更多的權力）。
關鍵點
為了緩解這個話題引起的混淆，我會給你留下一些帶回家的點，當你解決下一個數據驅動的問題時，它可以幫到你：
- 利用可視化工具。在擬合模型之前了解您的數據。通常，我們知道尋找異常值和數據輸入錯誤，但也記得尋找模型假設。
- 我模擬了這個例子的數據，如果你傾向於自己玩它，你可以在這裡訪問該文件。毫無疑問，我創造了一個場景，其中模型之間的差異是驚人的。這有助於我對這些問題進行說明，但這並不意味著您不可能在自己的真實數據分析中遇到Lord's Paradox。
- 觀測數據很棘手。記住這句話，相關性並不意味著因果關係 ？無論您認為哪種型號適合您的數據，都不會告訴您競爭對手的產品是否應該歸咎於客戶的滿意度。
- 使用實驗設計 （DOE）工具 JMP。 我在這裡概述的問題僅在觀察性研究中遇到。如果您進行受控實驗，上述兩種模型都將得出相同的推論。只要您可以隨意將客戶分配到不同的組中，那麼您應該總是喜歡進行實驗，而DOE平台可以幫助您做到這一點！
- 複製，複製，複製。如果我們將這些數據提供給兩個不同的分析師，一個符合協方差分析，另一個分析，那該怎麼辦？ Ť -測試？這篇文章說明了新分析可能無法複製先前發現的眾多原因之一。我們不能忽視可複制性的重要性。無論您的數據是觀察數據還是實驗數據，這一點都至關重要。如果您可以使用獨立樣本驗證結果，請執行此操作。當你這樣做時，確保你的分析方法與原始研究的方法一致。
我是否足以引起您的興趣繼續閱讀這個主題？如果是這樣，請尋找即將發布的帖其中我將線性混合效應模型擬合到這些數據中。
參考
Lord，FM（1967）。群體比較解釋中的一個悖論。心理學公報，68歲， 304-305。
van Breukelen，GJP（2013）。ANCOVA與非隨機研究中基線的變化：差異。多變量行為研究，48， 895-922。
