唐納德·特朗普的推文沒有說謊我一直在玩唐納德·特朗普(Donald Trump)發送的推文數據庫( http://www.trumptwitterarchive.com/archive )。 從1月1日開始的每天推文數量來看,事實證明它們遵循Gamma分佈(誰知道)。



上面的PDF和CDF圖上的綠線是擬合的伽瑪分佈。
查看數據,事實證明,唐納德每天發送5條或更少的推文並不像我想的那樣不尋常。 除上週五和周六外,自1月以來已有6天的推文少於5條;
- 1月5日-2條推文
- 1月8日-1條推文
- 2月16日-3條推文
- 3月8日-4條推文
- 7月20日-3條推文
- 8月21日-4條推文
每天的推文中位數為30。
擬合了伽馬分佈之後,我們可以得出任何特定數量的推文的可能性。 週五,週六和周日發推文的可能性為;
- 星期五-2條或以下推文-可能性0.27%,或0.4%以下,置信度為97.5%
- 星期六-3條或以下推文-可能性0.69%,或1.0%以下,置信度為97.5%
- 週日-9條或更少的推文-可能性7.3%,或10.2%或更少,置信度為97.5%
星期一,他發了31條推文。 到目前為止(今天星期二10/6),他已發布了45條推文。 顯然他感覺好些了。
結合上述3種可能性,週五至週日的低發推文數量自然發生的可能性為0.0004%(百萬分之4)或更少,而置信度為97.5%。
我想不出一個比總統每天發推文次數更適合衡量總統福祉的指標。 他病得很重。 他的推文沒有說謊。
我不確定具有特定置信度的數據點組合規則。 似乎將3個概率與97.5%的置信度傷口相結合,得出的概率遠高於97.5%的置信度。 誰能對此有所啟示? 另外,如果任何人都可以在我的分析中看到錯誤(可能有很多),請隨時指出它們。 我已附上原始數據,因此您可以自己使用。
分析工具回复:唐納德·特朗普的推文不會說謊您是否嘗試過簡單的每日推文計數I / mR圖表?回复:唐納德·特朗普的推文不會說謊嗨,P,我還沒有嘗試過。 我考慮過,但對控製圖了解不多。 如果您想試用原始數據並將其發布,則原始數據將附加到原始數據。
回复:唐納德·特朗普的推文不會說謊好決定@P_Bartell這是I,MR圖表的圖片。 發推數不一致。 數據中有一些異常之處。 數據的可靠性如何? 從數據算起的那天起,我們如何確定數據? 但是肯定的是,當事件最近發生時(您試圖將原因歸因於“感覺好與不好”的那條推文)的數目並不罕見(因此,每個Shewhart都無法分配)。

回复:唐納德·特朗普的推文不會說謊謝謝@statman 。 感謝您整理圖表。 是的,積分很可靠。 他們來自http://www.trumptwitterarchive.com/archive如我的原始帖子中所述。 我同意推文的數量不一致(我不希望任何人的每日推文數量是一致的),但是這些數字是準確的。
我一直在考慮這一點,但我認為I,MR圖不是進行此分析的正確工具。 控製圖對遵循正態分佈的參數起作用。 如我的帖子所述,推文的數量不是遵循正態分佈,而是遵循伽馬分佈,該分佈嚴重偏向右側。 由於我正在研究的異常現象發生在分佈的左側,因此I,MR圖表沒有出現也就不足為奇了。
我認為我的原始分析比我的MR圖表更合適,但我對此很是錯誤的,並且非常樂意聽取別人的反饋和建議。
回复:唐納德·特朗普的推文不會說謊控製圖不假定(或要求)正態分佈有效。 請參閱Wheeler and Chambers的“了解統計過程控制”或Shewhart的“製成品質量的經濟控制”或“在危機中確定P. 334-335”。 為了快速閱讀,Wheeler and Neave的論文“ Shewhart的圖表和概率方法,1996”將明確指出這一點。
關於您的聲明“ (我不希望任何人每天發送的推文保持一致)”,不一致和一致與大變化之間存在很大差異。 為什麼不期望任何人的推文中出現隨機變化?
不用爭論,但是您如何知道這些數字是準確的還是可靠的? 該數字是否包括已刪除或審查的推文? 將一條5條推文(由於一條推文的長度所限)的消息算作5還是1? 誰負責維護引用的網站? 他們與任何政治組織無關嗎?
回复:唐納德·特朗普的推文不會說謊感謝您開闊眼界@P_Bartell和@statman 。
我已經閱讀了一些控製圖,現在了解到分佈不一定必須是正態的,但是如果非正態分佈,則需要進行一些調整。 當控制極限(在statman圖表中的控制極限下限每天為-22.6條推文)在物理上不可能時,顯然存在問題。
繼續假設每天的推文數量遵循伽馬分佈,我根據與正態分佈控製圖中的概率相同的概率選擇區域限制(區域A的概率為15.9%和84.1%,區域B的概率為2.28%和97.72% ,以及0.135%和99.865%)。 10月初的兩點被突出顯示為失控,因為它們違反了規則3(A區中3分中的2分)。

很抱歉給您帶來的困惑。 我不太確定“ tweets#前後不一致”是什麼意思。 我同意,如果這些點不是正常分佈的,那麼它們似乎是按照伽馬分佈分佈的。
感謝您要求我仔細檢查數據源。 根據網站本身,它包括從1/27/17起所有已刪除的推文。 在此之前,他們每小時檢查一次Donald的twitter帳戶,因此可能會錯過已發布並很快被刪除的推文。 由於自1/27/17起,他們會實時檢查帳戶,因此請先捕獲推文,然後才能將其刪除。 我不認為是否將一條消息拆分到多個推文中是有意義的,因為這是數據自然變化的一部分。 數據集肯定符合我在Twitter上看到的最新推文。 如果您發現我錯過了一些偏見,請分享。
總而言之,我認為控製圖是突出顯示應該研究的數據區域的好方法。 我認為這不是生成部分數據的特定可能性的好工具。 儘管存在關於如何從組合數據點產生單個置信度水平的開放性問題,但我進行的分析似乎更適合於此。 如果有人對如何產生這種信心有深刻的了解,或者看到分析中的缺陷或執行它的更好方法,請分享。
回复:唐納德·特朗普的推文不會說謊Roly,永遠樂於幫助人們“開闊眼界”!
也許更寬泛...您的聲明“現在了解分佈不一定是正態的如果不正常,則需要進行一些調整“”是不正確的,並突出顯示了對控製圖方法學的主要誤解(如果您不同意,也許可以在文獻中找到支持您論點的部分)。 如果問題是列舉性的,那麼我會對分佈(以及與之相關的概率)感興趣,但是由於問題是分析性的,因此分佈幾乎沒有影響。 我建議你讀定義“關於概率作為行動依據”,美國統計學家,1975年11月,第1期。 29,第4號。誠然,將控制下限截斷為0似乎更為合理,但大多數(如果不是全部)用戶在評估圖表時會意識到這一點。 該軟件只是在做數學運算而無需考慮解釋。 我要說的是,即使不是全部,所有統計輸出都需要在上下文中解釋!
關於您的評論:
“對一貫的混淆感到抱歉。 我不太確定“ tweets#前後不一致”是什麼意思。 我同意,如果這些點不是正常分佈的,那麼它們似乎是按照伽馬分佈分佈的。” 我了解這個概念很難理解。 也許這就是為什麼許多人不知道如何正確使用控製圖的原因。 我再說一遍,不一致與分佈無關。 p。 359,戴明,“擺脫危機”。 Shewhart控製圖的優點在於它們沒有分佈。 它們以圖形方式顯示時間序列中的數據(這在任何分佈分析中都將丟失!)。 “分佈僅表示過程性能的累積歷史,而與它的功能無關...可以通過使用控製圖而不通過分佈來實現並確認過程的能力”,戴明,“擺脫危機,第314頁。 範圍圖回答了這個問題:子組內的變化(由於變量在子組內變化)是否一致,穩定並因此可預測? 在本參考資料中一致表示預期的變化量。 對於MR圖,要回答的問題是相似的:連續數據點中的變化(由於變量在連續數據點之間變化)是否一致,穩定且可預測? 因此,當我說推文數量不一致時,這意味著發布推文的過程是不可預測的,隨機且不穩定的。 很難有把握地用任何枚舉統計來總結此過程,也很難做出任何概率陳述,因為統計/概率將取決於什麼時候您查看了數據。
關於數據源...您可能無法回答誰發送了這些推文,只是他們來了一些註冊到“ Donald”的帳戶。 我不了解推文的實際數量,也不知道是誰發的。 測量過程中是否存在偏見? 數字準確嗎? 我無法回答。 但是我可以建議一個抽樣計劃以提供見識。
具有相關概率的分佈分析不適用於不一致,非隨機且不可預測的過程。
我再次引用戴明的話(上面引用的論文:):
書中講授的方差分析,t檢驗,置信區間和其他統計技術,無論多麼有趣,都是不適當的,因為它們沒有提供預測依據,而且因為它們掩蓋了生產順序中包含的信息。 所謂的大多數(即使不是全部)用於數據分析的計算機軟件包,提供了效率低下的明顯例子。”
回复:唐納德·特朗普的推文不會說謊嗨,比爾。 我發現您的帖子非常令人困惑,並且花了幾天時間對這些帖子進行了思考,然後才做出回應。
我最近發現最困惑的部分是“您無法回答誰發送了這些推文,只是他們來了某個註冊到“ Donald”的帳戶而已”。 http://www.trumptwitterarchive.com/archive聲稱是@realDonaldTrump的帖子的存檔。 當我查看與我的Twitter feed上列出的最新帖子時,它們會匹配。 我沒有瀏覽列出的54K帖子,並檢查它們是否都匹配,但是所有我檢查過的都匹配。 我同意檢查數據源的準確性是關鍵。 但是,我更喜歡使用數據而不是if。 如果您發現存檔不是@realDonaldTrump的推文的準確記錄,或者@realDonaldTrump發送的推文不是來自我們的總裁,請分享。
您顯然對我在控製圖上了解得更多,但我仍在為您的聲明而苦苦掙扎,因為“由於問題是可分析的,所以分佈無關緊要”。 我非常同意統計輸出需要在上下文中進行解釋,並且需要考慮的上下文之一是原始數據所遵循的分佈。 我無權訪問您參考的書或論文。 如果您可以共享指向他們的鏈接,那將有所幫助。 我用於調整非正常數據的控製圖的參考是https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data 。 在他們概述的4種方法中,第4種(如果分佈是正常的,則調整區域限制以匹配其百分位數)對我來說似乎最適合這種情況,並完全解決了我最初擔心的下限控制在物理上無法實現的問題。
我確實設法找到了Wheeler和Neave的論文“ Shewhart的圖表和概率方法,1996年( http://www.spcpress.com/pdf/DJW088.pdf )。 一個非常有趣的閱讀。 感謝你的分享。 從論文中我看到,我對區域進行的調整意味著圖表不再像Shewhart所期望的那樣成為真正的控制聊天。 但是,我無法克服控製圖產生一個物理上不可能實現的控制極限的問題(每天的負面推文)。 這消除了控製圖區分均值以下數據點的受控變化和非受控變化(其目的)的能力。 也許我們都可以同意,控製圖不是調查@realDonaldTrump在10/2上僅發送2條推文和在10/3上僅發送3條推文的可能性的合適工具(抱歉@P_Bartell )。
除非您想討論的更多,否則我將停止在此主題上發布,並設置一個新主題,向我提出有關如何結合置信度限制進行連續觀察的原始問題。
感謝您花時間來回复我的帖子。 非常感謝您的反饋。
回复:唐納德·特朗普的推文不會說謊我也會將此作為我的最後回應。 我只能說我嘗試過。 對不起,我無法傳達自己的觀點。 以下是指向報告的鏈接,這些報告說@realDonaldTrump發出的推文可能不僅來自總統。
https://www.npr.org/2018/04/19/603904858/who-is-the-mystery-man-behind-realdonaldtrump-besides-the-president
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
谷歌一下。 如果您不信任測量系統,則不確定您對哪種分析有信心?
我已經為您提供了正確使用和解釋控製圖方法的多種來源。 是的,有很多不當使用控製圖的例子。 此報價來自您的參考資料“您是否聽說過必須先正態分佈數據,然後才能使用控製圖繪製數據?在談論個人控製圖時,您經常會聽到此消息。這是一個神話。在使用控製圖之前,不必按正態分佈數據,包括單個控製圖。 ”。
戴明的“走出危機”( https://mitpress.mit.edu/books/out-crisis )
德明的論文: https://www.jstor.org/stable/i326388
舒瓦特的書: https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarbooks
順便說一句,您似乎只使用了2020年的數據。這是2009年以來的推文圖。 它也有多個類別,分別是“原始”,“重新推文”,“答复”,“鏈接/圖像”,“推文”。
