Die Tweets von Donald Trump lügen nichtIch habe mit der Datenbank der von Donald Trump verschickten Tweets herumgespielt ( http://www.trumptwitterarchive.com/archive ). Betrachtet man die Anzahl der Tweets pro Tag ab dem 1. Januar, stellt sich heraus, dass sie einer Gamma-Verteilung folgen (wer hätte das gedacht).
Die grüne Linie in den PDF- und CDF-Diagrammen oben ist die angepasste Gammaverteilung.
Wenn man sich die Daten ansieht, stellt sich heraus, dass es nicht so ungewöhnlich ist, wie ich dachte, dass Donald weniger als 5 Tweets pro Tag hat. Abgesehen vom letzten Freitag und Samstag gab es seit Januar sechs Tage mit fünf oder weniger Tweets;
- 5. Januar – 2 Tweets
- 8. Januar – 1 Tweet
- 16. Februar – 3 Tweets
- 8. März – 4 Tweets
- 20. Juli – 3 Tweets
- 21. August – 4 Tweets
Die durchschnittliche Anzahl an Tweets pro Tag liegt bei 30.
Nachdem wir die Gammaverteilung angepasst haben, können wir die Wahrscheinlichkeit einer bestimmten Anzahl von Tweets ableiten. Die Wahrscheinlichkeit der Anzahl der Tweets am Freitag, Samstag und Sonntag beträgt:
- Freitag – 2 oder weniger Tweets – 0,27 % wahrscheinlich oder 0,4 % oder weniger mit 97,5 %iger Sicherheit
- Samstag – 3 oder weniger Tweets – 0,69 % wahrscheinlich oder 1,0 % oder weniger mit 97,5 %iger Sicherheit
- Sonntag – 9 oder weniger Tweets – 7,3 % wahrscheinlich oder 10,2 % oder weniger mit 97,5 %iger Sicherheit
Am Montag hatte er 31 Tweets. Bisher hatte er heute (Dienstag, 6.10.) 45 Tweets. Offensichtlich geht es ihm besser.
Kombiniert man die drei oben genannten Wahrscheinlichkeiten, beträgt die Wahrscheinlichkeit 0,0004 % (4 Teile pro Million) oder weniger mit einer Sicherheit von 97,5 %, dass die geringe Anzahl an Tweets von Freitag bis Sonntag auf natürliche Weise eintreten würde.
Ich kann mir keine Kennzahl vorstellen, die das Wohlergehen des Präsidenten besser messen lässt als die Häufigkeit, mit der er pro Tag twittert. Er war sehr schwer krank. Seine Tweets lügen nicht.
Ich bin mir nicht sicher, welche Regeln zum Kombinieren von Datenpunkten mit einer bestimmten Konfidenz gelten. Es scheint, dass die Kombination von drei Wahrscheinlichkeiten mit einer Konfidenz von 97,5 % zu einer Wahrscheinlichkeit mit einer Konfidenz von weit über 97,5 % führt. Kann jemand Licht ins Dunkel bringen? Auch wenn jemand Fehler in meiner Analyse sieht (wahrscheinlich gibt es viele), kann er mich gerne darauf hinweisen. Ich habe die Rohdaten angehängt, damit Sie selbst damit spielen können.
DatenzugriffDatenexploration und -visualisierungBetreff: Donald Trumps Tweets lügen nichtIch werde dies auch zu meiner letzten Antwort machen. Ich kann nur sagen, dass ich es versucht habe. Es tut mir leid, dass ich Schwierigkeiten habe, meine Punkte zu kommunizieren. Hier sind Links zu Berichten, dass Tweets von @realDonaldTrump möglicherweise nicht nur vom Präsidenten stammen.
https://www.npr.org/2018/04/19/603904858/who-is-the-mystery-man-behind-realdonaldtrump-besides-the-president
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
Google es. Wenn Sie dem Messsystem nicht vertrauen können, bin ich mir nicht sicher, welcher Analyse Sie vertrauen?
Ich habe Ihnen bereits mehrere Quellen für die korrekte Verwendung und Interpretation der Kontrolldiagrammmethode genannt. Und ja, es gibt viele, viele Beispiele für den unangemessenen Einsatz von Kontrollkarten. Dieses Zitat stammt aus Ihrer Referenz „ Haben Sie gehört, dass Daten normalverteilt sein müssen, bevor Sie die Daten mithilfe einer Kontrollkarte darstellen können?Sehr oft hört man das, wenn es um eine Kontrollkarte für Einzelpersonen geht.Das ist ein Mythos.Daten müssen nicht normalverteilt sein, bevor eine Kontrollkarte verwendet werden kann – einschließlich der Personenkontrollkarte. ".
Demings „Out of the Krise“ ( https://mitpress.mit.edu/books/out-crisis )
Demings Artikel: https://www.jstor.org/stable/i326388
Shewharts Buch: https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarbooks
Es sieht übrigens so aus, als hätten Sie nur Daten aus dem Jahr 2020 verwendet. Hier ist eine Grafik der Tweets seit 2009. Es gibt auch mehrere Kategorien für Original, Re-Tweet, Antworten, Links/Bilder und Tweets.
Betreff: Donald Trumps Tweets lügen nichtHallo Bill. Ich finde Ihre Beiträge ziemlich verwirrend und habe ein paar Tage gebraucht, um darüber nachzudenken, bevor ich geantwortet habe.
Der Teil Ihres letzten Beitrags, der mich am meisten verwirrt, ist: „Sie können unmöglich antworten, wer die Tweets gesendet hat, sondern nur, dass sie für ein Konto kamen, das bei „Donald“ registriert ist.“ http://www.trumptwitterarchive.com/archive soll ein Archiv der Beiträge von @realDonaldTrump sein. Wenn ich die aktuellsten Beiträge mit denen in meinem Twitter-Feed überprüfe, stimmen sie überein. Ich habe die aufgelisteten 54.000 Beiträge nicht durchgesehen und überprüft, ob sie alle übereinstimmen, aber alle, die ich überprüft habe, stimmen überein. Ich stimme zu, dass es von entscheidender Bedeutung ist, die Richtigkeit der Datenquellen zu überprüfen. Allerdings arbeite ich lieber mit Daten als mit Was-wäre-wenns. Wenn Sie Daten haben, die belegen, dass das Archiv keine genaue Aufzeichnung der Tweets von @realDonaldTrump ist oder dass die von @realDonaldTrump gesendeten Tweets nicht von unserem Präsidenten stammen, teilen Sie uns dies bitte mit.
Sie sind offensichtlich viel besser informiert über Kontrollkarten als ich, aber ich habe immer noch Probleme mit Ihrer Aussage, dass „da das Problem analytisch ist, die Verteilung von geringer Bedeutung ist“. Ich stimme voll und ganz zu, dass statistische Ergebnisse im Kontext interpretiert werden müssen, und einer der Kontexte, die berücksichtigt werden müssen, ist die Verteilung, der die Originaldaten folgen. Ich habe keinen Zugriff auf das Buch oder die Artikel, auf die Sie verweisen. Wenn Sie Links zu ihnen teilen könnten, wäre das hilfreich. Die Referenz, die ich zum Anpassen von Kontrolldiagrammen für nicht normale Daten verwendet habe, lautet https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data . Von den vier Methoden, die sie beschreiben, erschien mir die vierte (Anpassung der Zonengrenzen an ihre Perzentile bei normaler Verteilung) für diese Situation am besten geeignet und löst meine ursprünglichen Bedenken, dass die untere Kontrollgrenze physikalisch unerreichbar sei, vollständig aus.
Es ist mir gelungen, eine Kopie von Wheeler und Neaves Aufsatz „Shewhart's Charts and the Probability Approach, 1996“ zu finden ( http://www.spcpress.com/pdf/DJW088.pdf ). Eine sehr interessante Lektüre. Ich danke Ihnen für das Teilen. Aus dem Papier erkenne ich, dass die Zonenanpassungen, die ich vorgenommen habe, dazu führen, dass das Diagramm kein echter Kontrollchat mehr ist, wie Shewhart es beabsichtigt hatte. Allerdings kann ich das Problem nicht lösen, dass eine Kontrollkarte eine Kontrollgrenze erzeugt, die physisch nicht erreicht werden kann (negative Tweets pro Tag). Dadurch wird der Kontrollkarte die Möglichkeit entzogen, zwischen kontrollierter und unkontrollierter Variation (ihrem Zweck) für Datenpunkte unterhalb des Mittelwerts zu unterscheiden. Vielleicht sind wir uns beide einig, dass ein Kontrolldiagramm kein geeignetes Werkzeug ist, um die Wahrscheinlichkeit zu untersuchen, dass @realDonaldTrump am 2.10. nur 2 Tweets und am 3.10. nur 3 Tweets sendet (sorry). @P_Bartell ).
Sofern Sie nicht noch mehr besprechen möchten, höre ich auf, in diesem Thread zu posten, und eröffne einen neuen Thread mit meiner ursprünglichen Frage, wie man die Konfidenzgrenzen für sequentielle Beobachtungen kombiniert.
Vielen Dank für die Zeit, die Sie damit verbracht haben, auf meine Beiträge zu antworten. Ich freue mich sehr über Ihr Feedback.
Betreff: Donald Trumps Tweets lügen nichtRoly, ich bin immer gerne bereit, Leuten dabei zu helfen, „ihren Horizont zu erweitern“!
Vielleicht etwas weiter gefasst...Ihre Aussage " Verstehen Sie jetzt, dass die Verteilung nicht normal sein muss, sondern Wenn es nicht normal ist, ist eine gewisse Anpassung erforderlich .“ ist falsch und verdeutlicht ein großes Missverständnis der Kontrolldiagrammmethodik (wenn Sie anderer Meinung sind, können Sie vielleicht den Abschnitt der Literatur finden, der Ihre Argumentation stützt). Wenn das Problem enumerativ wäre, würde mich die Verteilung (und die damit verbundenen Wahrscheinlichkeiten) interessieren, aber da das Problem analytisch ist, hat die Verteilung keine große Bedeutung. Ich empfehle Ihnen, es zu lesen Deming „Über die Wahrscheinlichkeit als Grundlage des Handelns“, Der amerikanische Statistiker , November 1975, Bd. 29, Nr. 4. Zugegebenermaßen würde es rationaler erscheinen, wenn die untere Kontrollgrenze auf 0 verkürzt würde, aber die meisten, wenn nicht alle Benutzer erkennen dies bei ihrer Beurteilung der Diagramme. Die Software führt einfach die Berechnung durch, ohne Rücksicht auf die Interpretation. Ich würde sagen, die meisten, wenn nicht alle statistischen Ergebnisse müssen IM KONTEXT interpretiert werden!
Zu Deinem Kommentar:
„Entschuldigen Sie die Verwirrung bezüglich der Konsistenz. Ich bin mir nicht ganz sicher, was Sie mit „Die Anzahl der Tweets ist inkonsistent“ meinen. Wenn die Punkte nicht normal verteilt sind, stimme ich zu, sie scheinen mit einer Gammaverteilung verteilt zu sein. Ich verstehe, dass dieses Konzept schwer zu verstehen ist. Vielleicht ist dies der Grund dafür, dass so viele nicht wissen, wie man Kontrollkarten richtig nutzt. Ich sage es noch einmal: Inkonsistenz hat nichts mit einer Verteilung zu tun. P. 359, Deming, „Aus der Krise“. Das Schöne an den Shewhart-Kontrollkarten ist, dass sie keine Verteilung voraussetzen. Sie bieten einen grafischen Blick auf die Daten in einer Zeitreihe (dieser geht bei jeder Verteilungsanalyse verloren!). „Eine Verteilung stellt nur den akkumulierten Leistungsverlauf eines Prozesses dar, nichts über seine Leistungsfähigkeit … Die Leistungsfähigkeit eines Prozesses kann durch die Verwendung eines Kontrolldiagramms erreicht und bestätigt werden, nicht durch eine Verteilung“, Deming, „Out of the Crisis.“ , S. 314. Das Bereichsdiagramm beantwortet die Frage: Ist die Variation innerhalb der Untergruppe (aufgrund der sich innerhalb der Untergruppe ändernden Variablen) konsistent, stabil und daher vorhersehbar? Konsistent bedeutet in dieser Referenz innerhalb eines erwartet, vorhersehbar Ausmaß der Variation. Für das MR-Diagramm lautet die zu beantwortende Frage ähnlich: Ist die Variation in aufeinanderfolgenden Datenpunkten (aufgrund der Variablen, die sich zwischen aufeinanderfolgenden Datenpunkten ändern) konsistent, stabil und daher vorhersehbar? Wenn ich also sage, dass die Anzahl der Tweets inkonsistent ist, bedeutet das, dass der Prozess des Postens von Tweets nicht vorhersehbar, nicht zufällig und instabil ist. Es wäre schwierig, diesen Prozess zuverlässig mit einer Aufzählungsstatistik zusammenzufassen oder Wahrscheinlichkeitsaussagen zu treffen, von denen die Statistiken/Wahrscheinlichkeiten abhängen würden Wann Du hast dir die Daten angesehen.
Was die Datenquelle betrifft ... Sie können unmöglich antworten, wer die Tweets gesendet hat, sondern nur, dass sie für ein Konto kamen, das bei „Donald“ registriert ist. Ich habe keine direkte Kenntnis über die tatsächliche Anzahl der Tweets und auch nicht darüber, wer sie gesendet hat. Gibt es Verzerrungen im Messprozess? Sind die Zahlen korrekt? Das kann ich nicht beantworten. Aber ich könnte einen Probenahmeplan vorschlagen, um Einblicke zu gewinnen.
Die Verteilungsanalyse mit zugehörigen Wahrscheinlichkeiten ist für einen Prozess ungeeignet, der inkonsistent, nicht zufällig und unvorhersehbar ist.
Ich überlasse Ihnen dieses Zitat, wiederum von Deming (Artikel, auf den oben verwiesen wurde:
„Varianzanalysen, T-Tests, Konfidenzintervalle und andere statistische Techniken, die in den Büchern gelehrt werden, so interessant sie auch sein mögen, sind ungeeignet, weil sie keine Grundlage für Vorhersagen bieten und weil sie die in der Produktionsreihenfolge enthaltenen Informationen verdecken. Die meisten, wenn nicht alle Computerpakete zur Datenanalyse, wie sie genannt werden, liefern eklatante Beispiele für Ineffizienz.“
Betreff: Donald Trumps Tweets lügen nichtVielen Dank, dass Sie meinen Horizont erweitert haben @P_Bartell Und @statman .
Ich habe mich ein wenig über Kontrollkarten informiert und verstehe jetzt, dass die Verteilung nicht normal sein muss, aber eine gewisse Anpassung erforderlich ist, wenn sie nicht normal ist. Es stimmt eindeutig etwas nicht, wenn eine Kontrollgrenze (-22,6 Tweets pro Tag für die untere Kontrollgrenze im Statman-Diagramm) physikalisch nicht möglich ist.
Unter der Annahme, dass die tägliche Anzahl an Tweets einer Gammaverteilung folgt, habe ich Zonengrenzen ausgewählt, die auf den gleichen Wahrscheinlichkeiten wie in einem normalverteilten Kontrolldiagramm basieren (15,9 % und 84,1 % für Zone A, 2,28 % und 97,72 % für Zone 
. und 0,135 % und 99,865 %). Die beiden Punkte Anfang Oktober werden als außer Kontrolle hervorgehoben, da sie gegen Regel 3 verstoßen (2 von 3 Punkten in Zone A).
Entschuldigung für die Verwirrung bezüglich der Konsistenz. Ich bin mir nicht ganz sicher, was Sie mit „Die Anzahl der Tweets ist inkonsistent“ meinen. Wenn die Punkte nicht normal verteilt sind, stimme ich zu, sie scheinen mit einer Gammaverteilung verteilt zu sein.
Vielen Dank für Ihre Bitte, die Datenquelle noch einmal zu überprüfen. Nach Angaben der Website selbst sind alle gelöschten Tweets ab dem 27.01.17 enthalten. Zuvor überprüften sie stündlich Donalds Twitter-Konto und konnten so einen geposteten und dann schnell wieder gelöschten Tweet übersehen. Seit dem 27.01.17 überprüfen sie das Konto in Echtzeit, erfassen also Tweets, bevor sie gelöscht werden können. Ich halte es nicht für relevant, ob eine einzelne Nachricht auf mehrere Tweets aufgeteilt wird, da dies Teil der natürlichen Variabilität der Daten ist. Der Datensatz stimmt sicherlich mit den aktuellsten Tweets überein, die ich auf Twitter sehe. Wenn Sie eine Voreingenommenheit erkennen, die ich übersehen habe, teilen Sie sie bitte mit.
Zusammenfassend denke ich, dass ein Kontrolldiagramm eine gute Methode ist, um Bereiche der Daten hervorzuheben, die untersucht werden sollten. Ich glaube nicht, dass es sich um ein gutes Werkzeug zur Generierung der spezifischen Wahrscheinlichkeit eines Datenabschnitts handelt. Die von mir durchgeführte Analyse scheint hierfür geeigneter zu sein, ungeachtet der offenen Frage, wie aus kombinierten Datenpunkten ein einziges Konfidenzniveau ermittelt werden kann. Wenn jemand Einblick hat, wie man ein solches Vertrauen aufbauen kann, oder Fehler in der Analyse oder bessere Möglichkeiten zur Durchführung erkennen kann, teilen Sie uns dies bitte mit.
Betreff: Donald Trumps Tweets lügen nichtRegelkarten gehen nicht von der Annahme aus (oder erfordern), dass eine Normalverteilung wirksam ist. Siehe Wheeler und Chambers „Understanding Statistical Process Control“ oder Shewhart „Economic Control of Quality of Manufactured Product“ oder Deming „Out of the Crisis S. 334–335“. Für eine schnelle Lektüre wird Wheeler und Neaves Aufsatz „Shewhart's Charts and the Probability Approach, 1996“ diesen Punkt deutlich machen.
Zu Ihrer Aussage „ (Ich würde nicht erwarten, dass die tägliche Anzahl der Tweets von irgendjemandem konstant ist)“, Es gibt einen großen Unterschied zwischen inkonsistent und konsistent mit großer Variation. Warum sollte man bei den Tweets von niemandem zufällige Variationen erwarten?
Ich möchte nicht argumentieren, aber woher wissen Sie, dass die Zahlen korrekt oder zuverlässig sind? Beinhaltet diese Zahl gelöschte oder zensierte Tweets? Zählt eine Nachricht, die 5 Tweets erfordert (aufgrund der begrenzten Länge eines Tweets), als 5 oder 1? Wer ist für die Pflege der referenzierten Website verantwortlich? Sind sie keiner politischen Organisation angeschlossen?
Betreff: Donald Trumps Tweets lügen nichtDanke @statman . Vielen Dank für die Zusammenstellung der Diagramme. Ja, die Punkte sind zuverlässig. Sie kamen von http://www.trumptwitterarchive.com/archive wie in meinem ursprünglichen Beitrag erwähnt. Ich stimme zu, dass die Anzahl der Tweets inkonsistent ist (ich würde nicht erwarten, dass die tägliche Anzahl der Tweets von irgendjemandem konsistent ist), aber die Zahlen sind korrekt.
Ich habe darüber nachgedacht und glaube nicht, dass ein I-MR-Diagramm das richtige Werkzeug für diese Analyse ist. Kontrolldiagramme arbeiten mit Parametern, die einer Normalverteilung folgen. Wie in meinem Beitrag erwähnt, folgt die Anzahl der Tweets keiner Normalverteilung, sondern einer Gammaverteilung, die stark rechtsschief ist. Da die Anomalie, die ich untersuche, weit links in der Verteilung auftritt, ist es nicht verwunderlich, dass das I, MR-Diagramm sie nicht erfasst.
Ich denke, dass meine ursprüngliche Analyse angemessener ist als ein I-MR-Diagramm, aber ich bin offen dafür, mich in dieser Hinsicht zu irren, und bin sehr offen für Rückmeldungen und Vorschläge anderer.
Betreff: Donald Trumps Tweets lügen nichtGuter Anruf @P_Bartell Hier ist ein Bild des I,MR-Diagramms. Die Anzahl der Tweats ist inkonsistent. Es gibt einige ungewöhnliche Punkte in den Daten. Wie zuverlässig sind die Daten? Wie sicher sind wir, dass die Daten vom Tag der Zählung an vorliegen? Aber sicherlich war die Anzahl der Tweets nicht ungewöhnlich (und daher laut Shewhart nicht zuordenbar), als die Ereignisse vor Kurzem auftraten (die Sie als Ursache dafür verantwortlich machen wollen, ob es Ihnen besser geht oder nicht).
Betreff: Donald Trumps Tweets lügen nichtHallo P, das habe ich noch nicht ausprobiert. Ich habe darüber nachgedacht, weiß aber nicht viel über Kontrollkarten. Die Rohdaten sind dem Originalbeitrag beigefügt, wenn Sie es ausprobieren und veröffentlichen möchten, was Sie finden.
Betreff: Donald Trumps Tweets lügen nichtHaben Sie ein einfaches I/mR-Diagramm der täglichen Tweet-Anzahl ausprobiert?
