ドナルド・トランプ氏のツイートは嘘をつかない私はドナルド・トランプが発信したツイートのデータベースで遊んでいます（ http://www.trumptwitterarchive.com/archive ）。 1 月 1 日からの 1 日あたりのツイート数を見ると、ガンマ分布に従っていることがわかります (誰にもわかりませんでした)。
上の PDF および CDF プロット上の緑色の線は、近似されたガンマ分布です。
データを見ると、ドナルドの 1 日あたりのツイート数が 5 件未満であることは、私が思っていたほど珍しいことではないことがわかりました。 先週の金曜日と土曜日を除くと、1 月以降 6 日間ツイートが 5 件以下でした。
- 1 月 5 日 - 2 ツイート
- 1 月 8 日 - 1 ツイート
- 2 月 16 日 - 3 ツイート
- 3 月 8 日 - 4 ツイート
- 7 月 20 日 - 3 ツイート
- 8 月 21 日 - 4 ツイート
1日あたりのツイート数の中央値は30です。
ガンマ分布をフィッティングした後、特定の数のツイートの可能性を導き出すことができます。 金、土、日のツイート数の可能性は次のとおりです。
- 金曜日 - ツイートが 2 つ以下 - 可能性は 0.27%、または信頼度 97.5% で 0.4% 以下
- 土曜日 - ツイートが 3 つ以下 - 可能性は 0.69%、または信頼度 97.5% で 1.0% 以下
- 日曜日 - ツイートが 9 件以下 - 確率 7.3%、または 10.2% 以下 (信頼度 97.5%)
月曜日には31件のツイートがあった。 今日（10/6火曜日）までに、彼のツイートは45件ありました。 明らかに彼の気分は良くなっている。
上記の 3 つの可能性を組み合わせると、金曜日から日曜日までのツイート数の少なさが自然に発生する可能性は 0.0004% (100 万分の 4) 以下で、97.5% の信頼度です。
大統領の健康状態を測るのに、1日あたりのツイート回数以上に適した指標は思いつかない。 彼は非常に重篤な病気でした。 彼のツイートは嘘をつきません。
データポイントを特定の信頼度で結合するためのルールがわかりません。 3 つの確率を 97.5% の信頼度の傷と組み合わせると、97.5% よりもはるかに高い信頼度の確率が得られるようです。 誰かこれに光を当てることができますか? また、私の分析に間違いがあることに気付いた人がいたら (おそらくたくさんあるでしょう)、遠慮なく指摘してください。 生データを添付しましたので、実際に遊んでみてください。
データアクセスデータの探索と視覚化Re: ドナルド・トランプのツイートは嘘をつかないこれも最後の回答とさせていただきます。 私が言えることは、私は試してみたということだけです。 ポイントを伝えるのが難しくて申し訳ありません。 以下は、@realDonaldTrump のツイートが大統領だけからのものではない可能性があるという報道へのリンクです。
https://www.npr.org/2018/04/19/603904858/who-is-the-mystery-man-behind-realdonaldtrump-besides-the-president
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
ググってみてください。 測定システムが信頼できない場合、どの分析に自信があるのかわかりません。
管理図法の正しい使用法と解釈に関する複数の情報源をすでに紹介しました。 そして確かに、管理図の不適切な使用例は非常にたくさんあります。 この引用はあなたの参照からのものです。」管理図を使用してデータをプロットするには、データが正規分布する必要があるということを聞いたことがありますか?個人管理図について話すときに、これをよく聞きます。これは神話です。個別管理図を含め、管理図を使用する前にデータを正規分布する必要はありません。 」。
デミングの『アウト・オブ・ザ・危機" （ https://mitpress.mit.edu/books/out-crisis )
デミングの論文: https://www.jstor.org/stable/i326388
シューハートの本: https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarbooks
ちなみに、2020年のデータのみを使用しているようです。これは2009年からのツイートのグラフです。 オリジナル、リツイート、返信、リンク/画像、ツイートなどの複数のカテゴリもあります。
Re: ドナルド・トランプのツイートは嘘をつかないこんにちは、ビル。 あなたの投稿は非常にわかりにくいと思い、返信するまでに数日かかりました。
あなたの最新の投稿の中で私が最も困惑しているのは、「誰がツイートを送信したかについてはおそらく答えられないが、ツイートが「ドナルド」に登録されているアカウントに送信されたということだけだ」という部分です。 http://www.trumptwitterarchive.com/archive @realDonaldTrump からの投稿のアーカイブであると主張します。 私の Twitter フィードにリストされている最新の投稿を確認すると、それらは一致します。 リストされている 54,000 件の投稿を調べて、すべてが一致するかどうかを確認したわけではありませんが、確認したものはすべて一致しています。 データソースの信頼性を確認することが重要であるということに私も同意します。 ただし、私は「もしも」を考えるよりも、データを扱うことを好みます。 アーカイブが @realDonaldTrump のツイートの正確な記録ではない、または @realDonaldTrump が送信したツイートが大統領からのものではないというデータをお持ちの場合は、共有してください。
あなたは管理図については私よりもはるかに勉強しているのは明らかですが、「問題は分析的なものであるため、分布はほとんど重要ではない」というあなたの言葉に私はまだ苦労しています。 統計出力はコンテキストに基づいて解釈する必要があるという点に私は非常に同意します。考慮する必要があるコンテキストの 1 つは、元のデータが従う分布です。 私はあなたが参照した本や論文にアクセスすることができません。 リンクを共有していただければ助かります。 非正規データの管理図を調整する方法について私が使用したリファレンスは次のとおりです。 https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data 。 彼らが概説している 4 つの方法のうち、4 番目 (分布が正規である場合にパーセンタイルに一致するようにゾーン制限を調整する) がこの状況に最も適しているように私には思え、管理下限が物理的に達成不可能であるという当初の懸念は完全に解決されました。
私はウィーラーとニーブの論文「シューハートのチャートと確率アプローチ、1996 年」のコピーをなんとか見つけました ( http://www.spcpress.com/pdf/DJW088.pdf ）。 とても興味深い読み物です。 共有していただきありがとうございます。 論文によると、私が行ったゾーン調整は、チャートがシューハートが意図したような実際のコントロール チャットではなくなったことを意味していることがわかります。 しかし、管理図が物理的に達成不可能な管理限界 (1 日あたりの否定的なツイート) を生成するという問題を克服できません。 これにより、管理図では、平均を下回るデータ ポイントについて制御された変動と制御されていない変動を区別する機能 (その目的) が削除されます。 @realDonaldTrump が 10 月 2 日に 2 つのツイートだけを送信し、10 月 3 日には 3 つのツイートだけを送信する可能性を調査するのに管理図は適切なツールではないという点ではおそらく私たちも同意できるでしょう (申し訳ありません) @P_Bartel ）。
他に議論したいことがなければ、このスレッドへの投稿を中止し、逐次観測の信頼限界をどのように組み合わせるかという最初の質問をする新しいスレッドを設定します。
私の投稿にご返信いただき、ありがとうございました。 皆様からのフィードバックに本当に感謝しています。
Re: ドナルド・トランプのツイートは嘘をつかないローリーさん、いつも喜んで人々の「視野を広げる」お手伝いをします！
おそらくもう少し範囲が広がるかもしれません...あなたの声明」分布が正規分布である必要はないことは理解できましたが、正常でない場合は調整が必要です." は誤りであり、管理図の方法論に対する大きな誤解を浮き彫りにしています (同意しない場合は、あなたの議論を裏付ける文献のセクションを参照してください)。 問題が列挙的なものであれば、分布 (およびそれに関連する確率) に興味があるでしょうが、問題は分析的なものであるため、分布はあまり重要ではありません。 読むことをお勧めしますデミング「行動の基礎としての確率について」アメリカの統計学者、１９７５年１１月、Ｖｏｌ．確かに、下限管理限界を 0 に切り捨てた方が合理的であるように見えますが、すべてではないにせよ、ほとんどのユーザーがチャートの評価においてこれを認識しています。 ソフトウェアは解釈を考慮せずに単純に計算を実行します。 すべてではないにしても、ほとんどの統計出力はコンテキスト内で解釈する必要があると言えます。
あなたのコメントに関して：
「一貫性について混乱させてしまい申し訳ありません。 「ツイート数が一貫していない」というのが何を意味するのかよくわかりません。 ポイントが正規分布していないということであれば、私も同意します、それらはガンマ分布で分布しているように見えます。」 この概念が理解しにくいことは理解しています。 おそらくこれが、多くの人が管理図の適切な使用方法を知らない理由です。 もう一度言いますが、不一致はディストリビューションとは何の関係もありません。 p. 359、デミング、「危機からの脱却」。 シューハート管理図の利点は、分布を前提としないことです。 これらは、時系列のデータをグラフィカルに表示します (これは、分布分析では失われます!)。 「分布は、プロセスのパフォーマンスの蓄積された履歴を表示するだけであり、その能力については何も表示しません...プロセスの能力は、分布ではなく管理図を使用することによって達成および確認できます。」デミング、「危機からの脱却」 、314ページ。 範囲グラフは、次の質問に答えます: サブグループ内の変動 (サブグループ内で変化する変数による) は一貫していて安定しており、したがって予測可能ですか? この参照での一貫性とは、ある範囲内を意味します。予想される、予測可能な変化量。 MR 図の場合も、答えられる質問は同様です。連続するデータ ポイントの変動 (連続するデータ ポイント間で変化する変数による) は一貫していて安定しており、したがって予測可能ですか? したがって、ツイートの数に一貫性がないというのは、ツイートの投稿プロセスが予測不可能であり、ランダムではなく、不安定であることを意味します。 このプロセスを列挙統計で自信を持って要約したり、統計/確率が依存するため確率を述べたりすることは困難です。いつあなたはデータを見ました。
データソースについては...誰がツイートを送信したかについてはおそらく答えられず、「ドナルド」に登録されているアカウントに送信されたということだけがわかります。 実際のツイート数や送信者については直接知りません。 測定プロセスに偏りはありますか? 数値は正確ですか? それには答えられません。 ただし、洞察を得るためにサンプリング計画を提案することはできます。
関連する確率を伴う分布分析は、一貫性がなく、ランダムでなく、予測不可能なプロセスには不適切です。
再びデミングからの引用を残しておきます (上記の論文、:
「本で教えられる分散分析、t 検定、信頼区間、その他の統計手法は、たとえ興味深いものであっても、予測の根拠を提供せず、生産順序に含まれる情報を埋もれてしまうため、不適切です。 データ分析用のコンピュータ パッケージ (いわゆる、すべてではないにしても) のほとんどは、非効率性の明らかな例を提供します。」
Re: ドナルド・トランプのツイートは嘘をつかない視野を広げてくれてありがとう@P_Bartelそして@スタットマン。
管理図を少し読んで、分布が正規である必要はないが、正規でない場合は調整が必要であることを理解しました。 管理限界 (統計管理者のグラフの下限管理限界として 1 日あたり -22.6 ツイート) が物理的に不可能な場合は、明らかに何か問題があります。
1 日のツイート数がガンマ分布に従うという仮定を継続し、正規分布管理図と同じ確率に基づいてゾーン制限を選択しました (ゾーン A では 15.9% と 84.1%、ゾーン B では 2.28% と 97.72%)。 、0.135% と 99.865%)。 10 月初旬の 2 つのポイントは、ルール 3 (ゾーン A の 3 ポイントのうち 2 ポイント) に違反しているため、制御不能として強調表示されます。
一貫性について混乱して申し訳ありません。 「ツイート数が一貫していない」というのが何を意味するのかよくわかりません。 ポイントが正規分布していないということであれば、私も同意します。それらはガンマ分布で分布しているように見えます。
データ ソースを再確認するようリクエストしていただきありがとうございます。 サイト自体によると、2017 年 1 月 27 日以降に削除されたすべてのツイートが含まれています。 これに先立って、彼らはドナルドのツイッターアカウントを1時間ごとにチェックしていたため、投稿されてすぐに削除されたツイートを見逃す可能性がありました。 2017 年 1 月 27 日以来、彼らはリアルタイムでアカウントをチェックしているため、削除される前にツイートをキャプチャします。 単一のメッセージが複数のツイートに分割されているかどうかは、データの自然な変動の一部であるため、私はあまり関係ないと考えています。 このデータセットは、twitter で見た最新のツイートと確かに一致します。 私が見逃していた偏見に気づいた場合は、共有してください。
要約すると、管理図は調査すべきデータ領域を強調する良い方法だと思います。 これがデータのセクションの特定の可能性を生成するのに適したツールであるとは思いません。 結合されたデータポイントから単一の信頼水準を生成する方法については未解決の疑問があるにもかかわらず、私が実行した分析はこれに適していると思われます。 そのような自信を生み出す方法について洞察を持っている人、または分析の欠陥やそれを実行するより良い方法を見つけた人がいたら、共有してください。
Re: ドナルド・トランプのツイートは嘘をつかない管理図は、正規分布が有効であることを前提としていません (または必要としません)。 Wheeler と Chambers の「統計的プロセス管理の理解」または Shewhart の「製造製品の品質の経済的管理」または Deming の「危機からの脱出」P. 334-335 を参照してください。 ちょっと読んでみると、Wheeler と Neave の論文「Shewhart's Charts and the Probability Approach (1996 年)」では、この点が明確に述べられています。
あなたの発言に関しては「 (誰の毎日のツイート数が一定であるとは期待しません)",ばらつきが大きい場合と一貫性がない場合とでは大きな違いがあります。 誰かのツイートにランダムな変動が生じることをなぜ期待しないのでしょうか?
議論するわけではありませんが、数値が正確であるか信頼できるかはどうやってわかるのでしょうか? この数には削除または検閲されたツイートも含まれますか? 5 ツイート必要なメッセージ (ツイートの長さの制限により) は 5 としてカウントされますか? 1 としてカウントされますか? 参照された Web サイトの保守の責任は誰にありますか? 彼らはいかなる政治団体にも所属していないのでしょうか？
Re: ドナルド・トランプのツイートは嘘をつかないありがとう@スタットマン。 チャートをまとめていただきありがとうございます。 はい、ポイントは信頼できます。 彼らはどこから来たのですかhttp://www.trumptwitterarchive.com/archive私の元の投稿で述べたように。 ツイート数が一貫していないことには同意します (誰の毎日のツイート数が一貫しているとは期待しません) が、数値は正確です。
私はこれについて考えてきましたが、I, MRチャートがこの分析に適切なツールであるとは思えません。 管理図は、正規分布に従うパラメータを処理します。 私の投稿で述べたように、ツイート数は正規分布に従いませんが、右に大きく偏ったガンマ分布に従います。 私が調査している異常は分布の左側をはるかに超えて発生しているため、I, MR チャートがそれを検出しないのは驚くべきことではありません。
私のオリジナルの分析は I, MR チャートよりも適切であると思いますが、これについて間違っていることをオープンに受け入れており、他の人のフィードバックや提案を聞くことに非常にオープンです。
Re: ドナルド・トランプのツイートは嘘をつかない良い通話@P_BartelこれはI、MRチャートの写真です。 ツイート数が矛盾しています。 データにはいくつか異常な点があります。 データはどの程度信頼できますか? データがカウントされた日のものであることはどの程度確実ですか? しかし確かに、最近起こったイベント（「気分が良くなったかどうか」に原因を割り当てようとしているイベント）では、ツイートの数は異常ではありませんでした（したがって、シューハートごとに割り当てることはできません）。
Re: ドナルド・トランプのツイートは嘘をつかないこんにちは、P、私はそれを試したことはありません。 考えてみたのですが、管理図についてはあまり詳しくありません。 試して見つけたものを投稿したい場合は、生データが元の投稿に添付されています。
Re: ドナルド・トランプのツイートは嘘をつかない毎日のツイート数の単純な I/mR グラフを試してみたことがありますか?
