Donald Trumps Tweets lügen nichtIch habe mit der Datenbank der von Donald Trump gesendeten Tweets gespielt ( http://www.trumptwitterarchive.com/archive ). Betrachtet man die Anzahl der Tweets pro Tag ab dem 1. Januar, so stellt sich heraus, dass sie einer Gamma-Verteilung folgen (wer wusste).
Die grüne Linie in den PDF- und CDF-Diagrammen oben ist die angepasste Gammaverteilung.
Wenn ich mir die Daten anschaue, stellt sich heraus, dass es nicht so ungewöhnlich ist, wie ich dachte, dass Donald 5 oder weniger Tweets pro Tag hat. Anders als am letzten Freitag und Samstag gab es seit Januar 6 Tage mit 5 oder weniger Tweets.
- 5. Januar - 2 Tweets
- 8. Januar - 1 Tweet
- 16. Februar - 3 Tweets
- 8. März - 4 Tweets
- 20. Juli - 3 Tweets
- 21. August - 4 Tweets
Die mittlere Anzahl von Tweets pro Tag beträgt 30.
Nach dem Anpassen der Gammaverteilung können wir die Wahrscheinlichkeit einer bestimmten Anzahl von Tweets ableiten. Die Wahrscheinlichkeit der Anzahl der Tweets am Freitag, Samstag und Sonntag ist;
- Freitag - 2 oder weniger Tweets - 0,27% wahrscheinlich oder 0,4% oder weniger mit 97,5% Vertrauen
- Samstag - 3 oder weniger Tweets - 0,69% wahrscheinlich oder 1,0% oder weniger mit 97,5% Vertrauen
- Sonntag - 9 oder weniger Tweets - 7,3% wahrscheinlich oder 10,2% oder weniger mit 97,5% Vertrauen
Am Montag hatte er 31 Tweets. Bisher (Dienstag, den 06.10.) Hatte er bisher 45 Tweets. Offensichtlich geht es ihm besser.
Wenn man die drei oben genannten Wahrscheinlichkeiten kombiniert, ist die Wahrscheinlichkeit 0,0004% (4 Teile pro Million) oder weniger mit 97,5% iger Sicherheit, dass die geringe Anzahl von Tweets von Freitag bis Sonntag natürlich auftreten würde.
Ich kann mir keine Metrik vorstellen, die besser geeignet ist, das Wohlbefinden des Präsidenten zu messen, als die Häufigkeit, mit der er pro Tag twittert. Er war sehr schwer krank. Seine Tweets lügen nicht.
Ich bin mir der Regeln für die Kombination von Datenpunkten mit einem bestimmten Vertrauen nicht sicher. Es scheint, dass die Kombination von 3 Wahrscheinlichkeiten mit einer Wunde von 97,5% Konfidenz zu einer Wahrscheinlichkeit mit einer Konfidenz von viel mehr als 97,5% führt. Kann jemand Licht ins Dunkel bringen? Wenn jemand Fehler in meiner Analyse sehen kann (es gibt wahrscheinlich viele), können Sie ihn auch darauf hinweisen. Ich habe die Rohdaten angehängt, damit Sie selbst damit spielen können.
AnalytikRe: Donald Trumps Tweets lügen nichtHaben Sie ein einfaches I / mR-Diagramm der täglichen Tweet-Anzahl ausprobiert?Re: Donald Trumps Tweets lügen nichtHallo P, das habe ich nicht versucht. Ich habe darüber nachgedacht, weiß aber nicht viel über Kontrollkarten. Die Rohdaten werden an den ursprünglichen Beitrag angehängt, wenn Sie sie ausprobieren und veröffentlichen möchten, was Sie finden.
Re: Donald Trumps Tweets lügen nichtGuter Anruf @P_Bartell Hier ist ein Bild des I, MR-Diagramms. Die Anzahl der Tweats ist inkonsistent. Es gibt einige ungewöhnliche Punkte in den Daten. Wie zuverlässig sind die Daten? Wie sicher sind wir uns die Daten von dem Tag an, an dem sie gezählt werden? Aber sicherlich war die Anzahl der Tweets nicht ungewöhnlich (und daher nicht pro Shewhart zuweisbar), als die Ereignisse kürzlich eintraten (diejenigen, die Sie versuchen, "sich besser fühlen oder nicht" eine Ursache zuzuweisen).
Re: Donald Trumps Tweets lügen nichtVielen Dank @ Statman . Vielen Dank, dass Sie die Charts zusammengestellt haben. Ja, die Punkte sind zuverlässig. Sie kamen von http://www.trumptwitterarchive.com/archive wie in meinem ursprünglichen Beitrag angegeben. Ich bin damit einverstanden, dass die Anzahl der Tweets inkonsistent ist (ich würde nicht erwarten, dass die tägliche Anzahl der Tweets von irgendjemandem konsistent ist), aber die Zahlen sind korrekt.
Ich habe darüber nachgedacht und glaube nicht, dass ein I, MR-Diagramm das richtige Werkzeug für diese Analyse ist. Regelkarten arbeiten mit Parametern, die einer Normalverteilung folgen. Wie in meinem Beitrag erwähnt, folgt die Anzahl der Tweets nicht einer Normalverteilung, sondern einer Gammaverteilung, die stark nach rechts geneigt ist. Da die Anomalie, die ich untersuche, weit links von der Verteilung auftritt, ist es nicht überraschend, dass das I, MR-Diagramm sie nicht aufnimmt.
Ich denke, dass meine ursprüngliche Analyse angemessener ist als ein I, MR-Diagramm, aber ich bin offen dafür, falsch zu liegen, und sehr offen dafür, Feedback und Vorschläge anderer zu hören.
Re: Donald Trumps Tweets lügen nichtRegelkarten setzen keine Normalverteilung voraus (oder erfordern sie), um wirksam zu sein. Siehe Wheeler und Chambers "Verständnis der statistischen Prozesskontrolle" oder Shewhart "Wirtschaftliche Kontrolle der Qualität des hergestellten Produkts" oder "Deming aus der Krise" S. 334-335. Für eine schnelle Lektüre wird Wheeler und Neaves Artikel "Shewhart's Charts and the Probability Approach, 1996" diesen Punkt klar herausstellen.
In Bezug auf Ihre Aussage " (Ich würde nicht erwarten, dass die tägliche Anzahl von Tweets von irgendjemandem konsistent ist) ", Es gibt einen großen Unterschied zwischen inkonsistent und konsistent mit großen Abweichungen. Warum würden Sie keine zufälligen Abweichungen in den Tweets von irgendjemandem erwarten?
Nicht zu streiten, aber wie wissen Sie, dass die Zahlen genau oder zuverlässig sind? Enthält diese Nummer gelöschte oder zensierte Tweets? Zählt eine Nachricht, die 5 Tweets enthält (aufgrund der begrenzten Länge eines Tweets), als 5 oder 1? Wer ist für die Pflege der Website verantwortlich, auf die verwiesen wird? Sind sie keiner politischen Organisation angeschlossen?
Re: Donald Trumps Tweets lügen nichtVielen Dank, dass Sie meinen Horizont erweitert haben @P_Bartell und @ Statman .
Ich habe einige Kontrollkarten gelesen und verstehe jetzt, dass die Verteilung nicht normal sein muss, aber einige Anpassungen erforderlich sind, wenn sie nicht normal ist. Es stimmt eindeutig etwas nicht, wenn ein Kontrolllimit (-22,6 Tweets pro Tag für das untere Kontrolllimit in der Statman-Tabelle) physikalisch nicht möglich ist.
Unter der Annahme, dass die tägliche Anzahl von Tweets einer Gammaverteilung folgt, habe ich Zonengrenzen basierend auf den gleichen Wahrscheinlichkeiten wie in einem normalverteilten Kontrolldiagramm ausgewählt (15,9% und 84,1% für Zone A, 2,28% und 97,72% für Zone B. und 0,135% und 99,865%). Die beiden Punkte Anfang Oktober werden als außer Kontrolle geraten hervorgehoben, da sie gegen Regel 3 verstoßen (2 von 3 Punkten in Zone A).
Entschuldigen Sie die Verwirrung über die Konsistenz. Ich bin mir nicht ganz sicher, was Sie unter "Die Anzahl der Tweets ist inkonsistent" verstehen. Wenn die Punkte nicht normal verteilt sind, stimme ich zu, scheinen sie mit einer Gammaverteilung verteilt zu sein.
Vielen Dank, dass Sie mich gebeten haben, die Datenquelle zu überprüfen. Laut der Website selbst enthält es alle gelöschten Tweets ab dem 27.01.17. Zuvor überprüften sie stündlich Donalds Twitter-Account, sodass sie einen Tweet verpassen konnten, der gepostet und dann schnell gelöscht wurde. Seit dem 27.01.17 überprüfen sie das Konto in Echtzeit, erfassen also Tweets, bevor sie gelöscht werden können. Ich sehe es nicht als relevant an, ob eine einzelne Nachricht auf mehrere Tweets aufgeteilt wird, da dies ein Teil der natürlichen Variabilität der Daten ist. Der Datensatz stimmt mit den neuesten Tweets überein, die ich auf Twitter sehe. Wenn Sie eine Voreingenommenheit sehen, die ich verpasst habe, teilen Sie sie bitte mit.
Zusammenfassend denke ich, dass ein Kontrolldiagramm eine gute Methode ist, um Bereiche der Daten hervorzuheben, die untersucht werden sollten. Ich denke nicht, dass es ein gutes Werkzeug ist, um die spezifische Wahrscheinlichkeit eines Abschnitts der Daten zu generieren. Die von mir durchgeführte Analyse scheint dafür angemessener zu sein, ungeachtet der offenen Frage, wie aus kombinierten Datenpunkten ein einziges Konfidenzniveau erzeugt werden kann. Wenn jemand einen Einblick in die Generierung eines solchen Vertrauens hat oder Fehler in der Analyse oder bessere Möglichkeiten zur Durchführung feststellen kann, teilen Sie diese bitte mit.
Re: Donald Trumps Tweets lügen nichtRoly, immer gerne dabei, Leuten zu helfen, "ihren Horizont zu erweitern"!
Vielleicht etwas erweiternder ... Ihre Aussage " Jetzt verstehe, dass die Verteilung nicht normal sein muss, aber Einige Anpassungen sind erforderlich, wenn dies nicht normal ist . "ist falsch und weist auf ein schwerwiegendes Missverständnis der Kontrolldiagramm-Methodik hin (wenn Sie nicht einverstanden sind, können Sie möglicherweise den Abschnitt der Literatur veröffentlichen, der Ihre Argumentation stützt). Wenn das Problem aufzählend wäre, würde mich die Verteilung (und die damit verbundenen Wahrscheinlichkeiten) interessieren, aber da das Problem analytisch ist, ist die Verteilung von geringer Bedeutung. Ich schlage vor, Sie lesen Deming "Zur Wahrscheinlichkeit als Handlungsgrundlage", Der amerikanische Statistiker November 1975, Bd. 29, Nr. 4. Zwar erscheint es rationaler, wenn die untere Kontrollgrenze auf 0 gekürzt würde, aber die meisten, wenn nicht alle Benutzer erkennen dies in ihrer Bewertung der Diagramme. Die Software rechnet einfach ohne Rücksicht auf die Interpretation. Ich würde sagen, die meisten, wenn nicht alle statistischen Ausgaben müssen im Kontext interpretiert werden!
Zu Ihrem Kommentar:
"Entschuldigen Sie die Verwirrung über die Konsistenz. Ich bin mir nicht ganz sicher, was Sie unter "Die Anzahl der Tweets ist inkonsistent" verstehen. Wenn die Punkte nicht normal verteilt sind, stimme ich zu, scheinen sie mit einer Gammaverteilung verteilt zu sein. " Ich verstehe, dass dieses Konzept schwer zu verstehen ist. Vielleicht ist dies der Grund, warum so viele nicht wissen, wie sie Kontrollkarten angemessen verwenden sollen. Ich sage es noch einmal, Inkonsistenz hat nichts mit einer Verteilung zu tun. p. 359, Deming, "Aus der Krise". Das Schöne an den Shewhart-Regelkarten ist, dass sie keine Verteilung annehmen. Sie bieten einen grafischen Überblick über die Daten in einer Zeitreihe (dies geht bei jeder Verteilungsanalyse verloren!). "Eine Verteilung zeigt nur die akkumulierte Leistungshistorie eines Prozesses an, nichts über seine Fähigkeit ... Die Fähigkeit eines Prozesses kann mithilfe eines Kontrolldiagramms erreicht und bestätigt werden, nicht durch eine Verteilung", Deming, "Out of the Crisis" S. 314. Das Bereichsdiagramm beantwortet die Frage: Ist die Variation innerhalb der Untergruppe (aufgrund der sich innerhalb der Untergruppe ändernden Variablen) konsistent, stabil und daher vorhersehbar? Konsistent in dieser Referenz bedeutet innerhalb eines erwartet, vorhersehbar Ausmaß der Variation. Für das MR-Diagramm ist die zu beantwortende Frage ähnlich: Ist die Variation aufeinanderfolgender Datenpunkte (aufgrund der Variablen, die sich zwischen aufeinanderfolgenden Datenpunkten ändern) konsistent, stabil und daher vorhersehbar? Wenn ich also sage, dass die Anzahl der Tweets inkonsistent ist, bedeutet dies, dass das Posten von Tweets nicht vorhersehbar, nicht zufällig und instabil ist. Es wäre schwierig, diesen Prozess mit Sicherheit mit Aufzählungsstatistiken zusammenzufassen oder Wahrscheinlichkeitsaussagen zu machen, von denen die Statistiken / Wahrscheinlichkeiten abhängen würden wann Sie haben sich die Daten angesehen.
In Bezug auf die Datenquelle ... Sie können unmöglich antworten, wer die Tweets gesendet hat, nur dass sie für ein Konto bei "Donald" registriert wurden. Ich habe keine direkte Kenntnis von der tatsächlichen Anzahl der Tweets und auch nicht davon, wer sie gesendet hat. Gibt es eine Verzerrung im Messprozess? Sind die Zahlen korrekt? Das kann ich nicht beantworten. Aber ich könnte einen Stichprobenplan vorschlagen, um Einblicke zu gewähren.
Die Verteilungsanalyse mit zugehörigen Wahrscheinlichkeiten ist für einen inkonsistenten, nicht zufälligen und unvorhersehbaren Prozess ungeeignet.
Ich überlasse Ihnen dieses Zitat erneut von Deming (oben genanntes Papier:
„Die Analyse von Varianz, T-Test, Konfidenzintervallen und anderen statistischen Techniken, die in den Büchern gelehrt werden, ist zwar interessant, aber unangemessen, da sie keine Grundlage für Vorhersagen bieten und die in der Produktionsreihenfolge enthaltenen Informationen begraben. Die meisten, wenn nicht alle Computerpakete zur Analyse von Daten, wie sie genannt werden, liefern eklatante Beispiele für Ineffizienz. “
Re: Donald Trumps Tweets lügen nichtHallo Bill. Ich finde Ihre Postings ziemlich verwirrend und habe ein paar Tage gebraucht, um darüber nachzudenken, bevor ich antwortete.
Der Teil Ihres letzten Beitrags, den ich am verwirrendsten finde, ist "Sie können unmöglich antworten, wer die Tweets gesendet hat, nur, dass sie für einen bei" Donald "registrierten Account gekommen sind". http://www.trumptwitterarchive.com/archive gibt vor, ein Archiv der Beiträge von @realDonaldTrump zu sein. Wenn ich die neuesten Beiträge in meinem Twitter-Feed überprüfe, stimmen sie überein. Ich habe nicht die aufgelisteten 54K-Postings durchgesehen und überprüft, ob sie alle übereinstimmen, sondern alle, die ich überprüft habe, stimmen überein. Ich bin damit einverstanden, dass es wichtig ist, die Richtigkeit von Datenquellen zu überprüfen. Ich arbeite jedoch lieber mit Daten als mit Was-wäre-wenn. Wenn Sie Daten haben, dass das Archiv keine genaue Aufzeichnung der Tweets von @realDonaldTrump ist oder dass die von @realDonaldTrump gesendeten Tweets nicht von unserem Präsidenten stammen, teilen Sie diese bitte mit.
Sie sind deutlich erfahrener als ich in Kontrollkarten, aber ich kämpfe immer noch mit Ihrer Aussage, dass "da das Problem analytisch ist, die Verteilung von geringer Bedeutung ist". Ich stimme sehr zu, dass statistische Ergebnisse im Kontext interpretiert werden müssen, und einer der Kontexte, die berücksichtigt werden müssen, ist die Verteilung, der die Originaldaten folgen. Ich habe keinen Zugriff auf das Buch oder die Papiere, auf die Sie verweisen. Wenn Sie Links zu ihnen teilen könnten, wäre das hilfreich. Die Referenz, die ich zum Anpassen von Regelkarten für nicht normale Daten verwendet habe, ist https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data . Von den 4 Methoden, die sie skizzieren, schien mir die vierte (Anpassung der Zonengrenzen an ihre Perzentile bei normaler Verteilung) für diese Situation am besten geeignet zu sein und löst meine ursprüngliche Sorge, dass die untere Kontrollgrenze physikalisch nicht erreichbar ist, vollständig.
Ich habe es geschafft, eine Kopie von Wheeler und Neaves Artikel "Shewhart's Charts and the Probability Approach, 1996 ( http://www.spcpress.com/pdf/DJW088.pdf ). Eine sehr interessante Lektüre. Ich danke Ihnen für das Teilen. Aus dem Papier geht hervor, dass die von mir vorgenommenen Zonenanpassungen bedeuten, dass das Diagramm kein echter Kontroll-Chat mehr ist, wie Shewhart es beabsichtigt hat. Ich kann jedoch das Problem einer Kontrollkarte nicht überwinden, die eine Kontrollgrenze erzeugt, die physikalisch nicht erreicht werden kann (negative Tweets pro Tag). Dies beseitigt die Fähigkeit des Kontrolldiagramms, für Datenpunkte unterhalb des Mittelwerts zwischen kontrollierter und unkontrollierter Variation (ihrem Zweck) zu unterscheiden. Vielleicht können wir uns beide einig sein, dass ein Kontrolldiagramm kein geeignetes Werkzeug ist, um die Wahrscheinlichkeit zu untersuchen, dass @realDonaldTrump nur 2 Tweets am 02.10. Und nur 3 Tweets am 03.10. Sendet (sorry @P_Bartell ).
Sofern Sie nicht mehr diskutieren möchten, werde ich aufhören, in diesem Thread zu posten, und einen neuen Thread einrichten, in dem meine ursprüngliche Frage gestellt wird, wie die Vertrauensgrenzen für sequentielle Beobachtungen kombiniert werden können.
Vielen Dank für die Zeit, die Sie damit verbracht haben, auf meine Beiträge zu antworten. Ich freue mich sehr über Ihr Feedback.
Re: Donald Trumps Tweets lügen nichtIch werde dies auch meine letzte Antwort machen. Ich kann nur sagen, dass ich es versucht habe. Es tut mir leid, dass ich Probleme habe, meine Punkte zu kommunizieren. Hier finden Sie Links zu Berichten, dass Tweets von @realDonaldTrump möglicherweise nicht nur vom Präsidenten stammen.
https://www.npr.org/2018/04/19/603904858/who-is-the-mystery-man-behind-realdonaldtrump-besides-the-president
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
Google es. Wenn Sie dem Messsystem nicht vertrauen können, bin ich mir nicht sicher, auf welche Analyse Sie vertrauen?
Ich habe Ihnen bereits mehrere Quellen für die korrekte Verwendung und Interpretation der Kontrollkartenmethode angegeben. Und ja, es gibt viele, viele Beispiele für die unangemessene Verwendung von Regelkarten. Dieses Zitat stammt aus Ihrer Referenz " Haben Sie gehört, dass Daten normal verteilt werden müssen, bevor Sie die Daten mithilfe einer Kontrollkarte zeichnen können?Sehr oft hört man das, wenn man über eine Kontrollkarte für Einzelpersonen spricht.Das ist ein Mythos.Daten müssen nicht normal verteilt werden, bevor ein Kontrolldiagramm verwendet werden kann - einschließlich des Kontrolldiagramms für Einzelpersonen. ".
Demings "Out of the Krise "( https://mitpress.mit.edu/books/out-crisis )
Demings Papier: https://www.jstor.org/stable/i326388
Shewharts Buch: https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarbooks
Es sieht übrigens so aus, als hätten Sie nur Daten aus dem Jahr 2020 verwendet. Hier ist eine Grafik der Tweets seit 2009. Es hat auch mehrere Kategorien für Original, Re-Tweet, Antworten, Links / Bilder, Tweets.
