在
我以前的帖子 ,我們看到了ANOVA和簡單線性回歸之間的關係。雖然我們沒有看到年份和Rhianna歌曲中的不同單詞數量之間存在顯著的線性關係,但我們可以做的一件事是測試2010年之前的Rhianna歌曲與2010年後的Rhianna歌曲之間是否存在差異。通過對我們的連續變量(年)進行分組(或“分箱”),我們可以將簡單線性回歸轉化為ANOVA。這通常可以使事情看起來更簡單,而不是多年,我們現在有兩個整潔的類別。我確實說ANOVA和線性回歸幾乎是一回事,對吧?
好吧,sorta。用於計算ANOVA或簡單線性回歸的線性模型是相似的,它們實際上做了稍微不同的事情。雖然將我們的連續變量分成小組通常很常見,但應該在預訂時完成,我會告訴你原因,所以請緊緊抓住你的小組分裂帽子吧!
在開始之前,我想提醒您,所有這些線性模型都像鏈鋸。它們採用數據點與總體平均值之間的總距離,並將其劃分為不同的類別。

如果你還記得,在ANOVA和簡單線性回歸中,我們以相同的方式計算平方和的總和,我們取每個數據點併計算它與所有數據點的總平均值之間的差異。因此,無論我們是按年度還是在2010年之前或之後持續觀看Rhianna歌曲,總平方和(或SST)都是相同的。那麼區別在哪裡?

不同之處在於平方和“模型”(在回歸中,我們稱之為平方回歸的和;在ANOVA中,我們有時稱之為平方和的和)。無論哪種情況,我們的“模型”都是怎麼樣我們認為X會影響我們的Y,我們感興趣的變量。在回歸的情況下,我們認為一年會有一個連續線性對Y的影響 - X的每個單位都會對Y產生附加影響。在分類ANOVA案例中,我們認為2010年之前或之後會有一個組對Y的影響
請記住我們的平方和模型(SSM) 回歸根據年份預測您的Y值(Rhianna歌曲中不同單詞的數量)。在我們觀察到的數據中,我們看到了一個普遍的下降趨勢,因為每年通過那裡的Rhianna歌曲往往會減少不同的單詞。我們的最佳的揣測對於Rhianna歌曲中不同單詞的數量,無論回歸線預測的是什麼。回歸模型中的誤差是數據點和回歸線之間的距離。

我們的SSM 方差分析 2010年之前的垃圾箱,所以不是一般的下降趨勢,我們只是期望2010年之前的歌曲與2010年後的歌曲相比有更多的獨特詞彙。在這個ANOVA模型下,我們的最佳的揣測對於任何2010年的歌曲將是該組的意思。其他一切都被視為錯誤。
如果我們確實在年份和不同單詞之間存在線性關係,那麼在兩個分箱年份組上運行ANOVA將高估由於“錯誤”導致的平方和的比例。這種情況發生的原因是,與每組的平均值相比,更多的極端點將更傾向於遠離組平均值而不是回歸線。

在我們的Rhianna示例中,您可以從ANOVA表中看到連續和二分模型,它們具有相同的平方和總和,但是模型的平方和(年份與 在2010年之前的二分模型中,2010年之前的情況要少得多。如果存在真正的線性關係,則模型的功效將始終作為連續模型而不是二分法和使用ANOVA更強。
在一個
JMP 模擬
[1] ,我使用BadGirlRiri數據中的近似線性關係來模擬當你對一個連續變量進行二分法時統計功效會發生什麼。隨著真實線性關係周圍的誤差量變得越來越小,最終任何一種方法都將具有幾乎100%的功率。當關係如此強烈時,即使由於二分法而導致的功率降低也將允許幾乎完美的效果檢測。
另一方面,當線性關係周圍存在大量變化時,二分模型和連續模型都難以檢測由於關係周圍的不成比例的大誤差而導致的任何影響。此時,模型周圍的誤差超過了可能隱藏在那裡的任何線性關係(請記住,統計測試會測量模型引起的變化量,並將其與不是由模型引起的變化量進行比較)
[2] 。
大多數實驗者將80%的功率作為他們的門檻
[3] 。這意味著如果確實存在該大小的影響,則實驗將允許我們的統計模型在80%的時間內檢測到該效果。快速回顧統計能力將幫助您記住,有四個主要因素會影響您的能力:樣本大小,效果大小,人口差異和alpha(您的重要性截止標準)。不幸的是,你的效果大小,populaton方差和alpha通常是為你設定的,但是樣本大小是研究者的玩物。然而,細胞培養物,人類受試者和放射性同位素花費了金錢和時間。因此,您希望使用最小的樣本量獲得最強大的測試。

紅色和藍色突出顯示的點之間的垂直距離是二分法時的平均功率差,而將變量保持為連續。當你的連續模型具有80%的功率(n = 20)時,你的二分模型只有大約65%的功率 - 功率減少了15%!要使用二分模型獲得80%的功率,您需要更多的細胞,人類或同位素,NSF將不會為此付出代價!
正如我們所料,當根本沒有統計關係時,兩者都有相同的5%的機會在沒有效果時錯誤地發出效果信號。當我們定義我們的alpha截止標準時,我們選擇的模型即使沒有效果也能找到效果的時間百分比。
我們學到了什麼?如果有理由懷疑存在真正的線性關係,則不應將連續變量分成若干組。 想想您的數據以及您希望X和Y之間的關係。如果您想將連續變量分成組,請確保理論上有理由這樣做,並且不要將自己局限於二分法 - - 人們在中位數處分開,但這可能對您的數據沒有意義。收聽你的數據。

[1]每個模擬的n為20;每個級別或錯誤模擬1000次。對於相同的數據運行連續模型和二分模型,並記錄正響應的數量。更多信息在附加的腳本中。Python和R版本是可用的。
[2]應該注意的是,當您獲得任意大的樣本量時,這些事情不會那麼快發生。這是因為無論你有多少錯誤,你都要把它除以n-1;因此當n接近一些任意大的數字時,與MSmodel相比,你的MSerror仍然可能非常小。TL; DR樣本量越大,兩種型號獲得0%功率之前的變化就越大。