Les tweets de Donald Trump ne mentent pasJ'ai joué avec la base de données des tweets envoyés par Donald Trump ( http://www.trumptwitterarchive.com/archive ). En regardant le nombre de tweets par jour à partir du 1er janvier, il s'avère qu'ils suivent une distribution Gamma (qui savait).
La ligne verte sur les graphiques PDF et CDF ci-dessus est la distribution gamma ajustée.
En regardant les données, il s'avère qu'il n'est pas aussi inhabituel que je le pensais que Donald ait 5 tweets ou moins par jour. Mis à part vendredi et samedi derniers, il y a eu 6 jours depuis janvier avec 5 tweets ou moins;
- 5 janvier - 2 tweets
- 8 janvier - 1 tweet
- 16 février - 3 tweets
- 8 mars - 4 tweets
- 20 juillet - 3 tweets
- 21 août - 4 tweets
Le nombre médian de tweets par jour est de 30.
Après avoir ajusté la distribution gamma, nous pouvons déduire la probabilité d'un nombre particulier de tweets. La probabilité du nombre de tweets le vendredi, samedi et dimanche est;
- Vendredi - 2 tweets ou moins - 0,27% de probabilité, ou 0,4% ou moins avec 97,5% de confiance
- Samedi - 3 tweets ou moins - 0,69% de probabilité, ou 1,0% ou moins avec 97,5% de confiance
- Dimanche - 9 tweets ou moins - 7,3% de probabilité, ou 10,2% ou moins avec 97,5% de confiance
Lundi, il avait 31 tweets. Jusqu'à présent aujourd'hui (mardi 10/6), il a eu 45 tweets. Il se sent clairement mieux.
En combinant les 3 probabilités ci-dessus, il est probable de 0,0004% (4 parties par million) ou moins avec 97,5% de confiance que le faible nombre de tweets du vendredi au dimanche se produirait naturellement.
Je ne peux pas penser à une métrique mieux adaptée pour mesurer le bien-être du président que le nombre de tweets par jour. Il était très gravement malade. Ses tweets ne mentent pas.
Je ne suis pas sûr des règles pour combiner des points de données avec une confiance particulière. Il semble que la combinaison de 3 probabilités avec une confiance de 97,5% entraîne une probabilité avec une confiance bien supérieure à 97,5%. Quelqu'un peut-il nous éclairer à ce sujet? Aussi, si quelqu'un peut voir des erreurs dans mon analyse (il y en a probablement beaucoup), n'hésitez pas à les signaler. J'ai joint les données brutes pour que vous puissiez jouer avec vous-même.
AnalytiqueRe: Les tweets de Donald Trump ne mentent pasAvez-vous essayé un simple graphique I / mR du nombre quotidien de tweets?Re: Les tweets de Donald Trump ne mentent pasSalut P, je n'ai pas essayé ça. J'y ai pensé, mais je ne connais pas grand chose aux cartes de contrôle. Les données brutes sont jointes à la publication d'origine si vous souhaitez l'essayer et publier ce que vous trouvez.
Re: Les tweets de Donald Trump ne mentent pasBon appel @P_Bartell Voici une photo du graphique I, MR. Le nombre de tweats est incohérent. Il y a des points inhabituels dans les données. Quelle est la fiabilité des données? Dans quelle mesure sommes-nous sûrs que les données proviennent du jour où elles sont comptées? Mais certainement le nombre de tweets n'était pas inhabituel (et donc non assignable par Shewhart) lorsque les événements se sont produits récemment (ceux que vous essayez d'attribuer une cause à "se sentir mieux ou pas").
Re: Les tweets de Donald Trump ne mentent pasMerci @statman . Merci d'avoir rassemblé les graphiques. Oui, les points sont fiables. Ils viennent de http://www.trumptwitterarchive.com/archive comme indiqué dans mon message original. Je conviens que le nombre de tweets est incohérent (je ne m'attendrais pas à ce que le nombre quotidien de tweets de quiconque soit cohérent), mais les chiffres sont exacts.
J'y ai réfléchi et je ne pense pas qu'un graphique I, MR soit le bon outil pour cette analyse. Les cartes de contrôle fonctionnent sur des paramètres qui suivent une distribution normale. Comme indiqué dans mon article, le nombre de tweets ne suit pas une distribution normale, mais une distribution gamma, qui est fortement biaisée vers la droite. Comme l'anomalie que je regarde se produit bien à gauche de la distribution, il n'est pas surprenant que le graphique I, MR ne la détecte pas.
Je pense que mon analyse originale est plus appropriée qu'un diagramme I, MR, mais je suis ouvert à me tromper à ce sujet et très ouvert à entendre les commentaires et suggestions des autres.
Re: Les tweets de Donald Trump ne mentent pasLes cartes de contrôle ne supposent pas (ou n'exigent pas) une distribution normale pour être efficaces. Voir Wheeler and Chambers «Understanding Statistical Process Control» ou Shewhart «Economic Control of Quality of Manufactured Product» ou Deming «Out of the Crisis P. 334-335. Pour une lecture rapide, l'article de Wheeler et Neave «Les graphiques de Shewhart et l'approche des probabilités, 1996, fera clairement ressortir ce point.
Concernant votre déclaration " (Je ne m'attendrais pas à ce que le nombre quotidien de tweets de quiconque soit cohérent) ", Il existe une grande différence entre incohérent et cohérent avec une grande variation. Pourquoi ne vous attendez-vous pas à une variation aléatoire dans les tweets de quelqu'un?
Ne pas argumenter, mais comment SAVOIR que les chiffres sont exacts ou fiables? Ce nombre inclut-il les tweets qui ont été supprimés ou censurés? Un message qui prend 5 tweets (en raison de la limitation de la longueur d'un tweet) compte-t-il pour 5 ou 1? Qui est responsable de la maintenance du site Web référencé? Ne sont-ils affiliés à aucune organisation politique?
Re: Les tweets de Donald Trump ne mentent pasMerci d'avoir élargi mes horizons @P_Bartell et @statman .
J'ai fait quelques lectures sur les cartes de contrôle et je comprends maintenant que la distribution ne doit pas nécessairement être normale, mais un ajustement est nécessaire si elle n'est pas normale. Il y a clairement quelque chose qui ne va pas lorsqu'une limite de contrôle (-22,6 tweets par jour pour la limite de contrôle inférieure dans le diagramme de statman) n'est pas physiquement possible.
Partant de l'hypothèse que le nombre quotidien de tweets suit une distribution gamma, j'ai sélectionné des limites de zone basées sur les mêmes probabilités que celles d'une carte de contrôle normalement distribuée (15,9% et 84,1% pour la zone A, 2,28% et 97,72% pour la zone B et 0,135% et 99,865%). Les deux points début octobre sont mis en évidence comme incontrôlables car ils enfreignent la règle 3 (2 points sur 3 dans la zone A).
Désolé pour la confusion concernant la cohérence. Je ne sais pas trop ce que vous entendez par "Le nombre de tweets est incohérent". Si c'est que les points ne sont pas distribués normalement, je suis d'accord, ils semblent être distribués avec une distribution gamma.
Merci d'avoir demandé que je vérifie la source de données. Selon le site lui-même, il comprend tous les tweets supprimés à partir du 27/01/17. Auparavant, ils vérifiaient le compte Twitter de Donald toutes les heures, et pouvaient donc rater un tweet posté puis rapidement supprimé. Depuis le 27/01/17, ils vérifient le compte en temps réel, alors capturez les tweets avant de pouvoir les supprimer. Je ne pense pas qu'il soit pertinent qu'un seul message soit divisé entre plusieurs tweets, car cela fait partie de la variabilité naturelle des données. L'ensemble de données correspond certainement aux tweets les plus récents que je vois sur Twitter. Si vous voyez des préjugés que j'ai manqués, partagez-les.
Pour résumer, je pense qu'une carte de contrôle est une bonne méthode pour mettre en évidence les zones de données qui devraient être examinées. Je ne pense pas que ce soit un bon outil pour générer la probabilité spécifique d'une section des données. L'analyse que j'ai effectuée semble plus appropriée pour cela, malgré la question ouverte sur la façon de produire un niveau de confiance unique à partir de points de données combinés. Si quelqu'un a un aperçu de la façon de générer une telle confiance, ou peut voir des défauts dans l'analyse ou de meilleures façons de l'exécuter, veuillez partager.
Re: Les tweets de Donald Trump ne mentent pasRoly, toujours heureux d'aider les gens à "élargir leurs horizons"!
Peut-être un peu plus large ... Votre déclaration " comprenez maintenant que la distribution ne doit pas être normale, mais un ajustement est nécessaire s'il n'est pas normal . "est incorrecte et met en évidence une idée fausse majeure de la méthodologie de la carte de contrôle (si vous n'êtes pas d'accord, vous pouvez peut-être placer la section de la littérature qui soutient votre argument). Si le problème était énumératif, je serais intéressé par la distribution (et les probabilités qui y sont associées), mais comme le problème est analytique, la distribution est de peu de conséquence. Je vous suggère de lire Deming "Sur la probabilité comme base d'action", Le statisticien américain , Novembre 1975, Vol. 29, No. 4. Certes, il semblerait plus rationnel que la limite de contrôle inférieure soit tronquée à 0, mais la plupart sinon tous les utilisateurs le reconnaissent dans leur évaluation des cartes. Le logiciel fait simplement le calcul sans égard à l'interprétation. Je dirais que la plupart sinon tous les produits statistiques doivent être interprétés EN CONTEXTE!
Concernant votre commentaire:
"Désolé pour la confusion concernant la cohérence. Je ne sais pas trop ce que vous entendez par "Le nombre de tweets est incohérent". Si c'est que les points ne sont pas distribués normalement, je suis d'accord, ils semblent être distribués avec une distribution gamma. " Je comprends que ce concept est difficile à comprendre. C'est peut-être la raison pour laquelle tant de personnes ne savent pas comment utiliser correctement les cartes de contrôle. Je le répète, l'incohérence n'a rien à voir avec une distribution. p. 359, Deming, "Out of the Crisis". La beauté des cartes de contrôle de Shewhart est qu'elles ne supposent aucune distribution. Ils fournissent un regard graphique sur les données d'une série chronologique (cela se perd dans toute analyse distributionnelle!). "Une distribution ne présente que l'historique accumulé des performances d'un processus, rien sur sa capacité ... La capacité d'un processus peut être atteinte et confirmée par l'utilisation d'une carte de contrôle, pas par une distribution", Deming, "Out of the Crisis , P. 314. Le diagramme des fourchettes répond à la question: la variation au sein du sous-groupe (due aux variables changeant au sein du sous-groupe) est-elle cohérente, stable et donc prévisible? Cohérent dans cette référence signifie dans un attendu, prévisible quantité de variation. Pour le diagramme MR, la question à laquelle on répond est similaire: la variation des points de données consécutifs (en raison des variables changeant entre les points de données consécutifs) est-elle cohérente, stable et donc prévisible? Donc, quand je dis que le nombre de tweets est incohérent, cela signifie que le processus de publication de tweets n'est pas prévisible, pas aléatoire et instable. Il serait difficile de résumer, avec une quelconque confiance, ce processus avec des statistiques énumératives ou de faire des déclarations de probabilité car les statistiques / probabilités dépendraient de quand vous avez regardé les données.
Concernant la source de données ... Vous ne pouvez pas répondre à qui a envoyé les tweets, seulement qu'ils sont venus pour un compte enregistré sur "Donald". Je ne connais pas directement le nombre réel de tweets, ni qui les a envoyés. Y a-t-il un biais dans le processus de mesure? Les chiffres sont-ils exacts? Je ne peux pas répondre à cela. Mais je pourrais suggérer un plan d'échantillonnage pour donner un aperçu.
L'analyse distributionnelle avec les probabilités associées ne convient pas à un processus incohérent, non aléatoire et imprévisible.
Je vous laisse avec cette citation, toujours de Deming (article référencé ci-dessus,:
«L'analyse de la variance, le test t, les intervalles de confiance et d'autres techniques statistiques enseignées dans les livres, aussi intéressantes soient-elles, sont inappropriées car elles ne fournissent aucune base de prédiction et parce qu'elles enterrent les informations contenues dans l'ordre de production. La plupart sinon la totalité des progiciels d'analyse des données, comme on les appelle, fournissent des exemples flagrants d'inefficacité. »
Re: Les tweets de Donald Trump ne mentent pasSalut Bill. Je trouve vos messages assez déroutants et j'ai mis quelques jours à les ruminer avant de répondre.
La partie de votre publication la plus récente que je trouve la plus perplexe est "Vous ne pouvez pas répondre à qui a envoyé les tweets, seulement qu'ils sont venus pour un compte enregistré sur" Donald "". http://www.trumptwitterarchive.com/archive prétend être une archive des messages de @realDonaldTrump. Lorsque je passe en revue les articles les plus récents répertoriés sur mon fil Twitter, ils correspondent. Je n'ai pas parcouru les 54000 messages répertoriés et vérifié qu'ils correspondent tous, mais tous ceux que j'ai vérifiés correspondent. Je reconnais qu'il est essentiel de vérifier la véracité des sources de données. Cependant, je préfère travailler avec des données plutôt qu'avec des si. Si vous avez des données indiquant que l'archive n'est pas un enregistrement précis des tweets de @realDonaldTrump, ou que les tweets envoyés par @realDonaldTrump ne proviennent pas de notre président, veuillez les partager.
Vous êtes clairement beaucoup plus savant que moi sur les cartes de contrôle, mais j'ai encore du mal avec votre affirmation selon laquelle "puisque le problème est analytique, la distribution n'a que peu de conséquences". Je suis tout à fait d'accord pour dire que les produits statistiques doivent être interprétés dans leur contexte, et l'un des contextes à prendre en compte est la distribution que suivent les données originales. Je n'ai pas accès au livre ou aux articles auxquels vous faites référence. Si vous pouviez partager des liens vers eux, ce serait utile. La référence que j'ai utilisée pour ajuster les cartes de contrôle pour les données non normales est https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data . Des 4 méthodes qu'ils décrivent, la 4e (ajuster les limites de zone pour correspondre à leurs percentiles si la distribution était normale) m'a semblé la plus appropriée pour cette situation, et résout complètement mon souci initial de la limite inférieure de contrôle étant physiquement irréalisable.
J'ai réussi à trouver une copie de l'article de Wheeler et Neave "Shewhart's Charts and the Probability Approach, 1996 ( http://www.spcpress.com/pdf/DJW088.pdf ). Une lecture très intéressante. Merci pour le partage. D'après le document, je vois que les ajustements de zone que j'ai effectués signifient que le graphique n'est plus un véritable chat de contrôle comme Shewhart l'avait prévu. Cependant, je ne parviens pas à surmonter le problème d'une carte de contrôle produisant une limite de contrôle qu'il n'est pas physiquement possible d'atteindre (tweets négatifs par jour). Cela supprime la possibilité pour la carte de contrôle de faire la distinction entre la variation contrôlée et non contrôlée (son objectif) pour les points de données inférieurs à la moyenne. Peut-être pouvons-nous tous les deux convenir qu'une carte de contrôle n'est pas un outil approprié pour étudier la probabilité que @realDonaldTrump n'envoie que 2 tweets le 10/2 et seulement 3 tweets le 10/3 (désolé @P_Bartell ).
À moins que vous ne souhaitiez en discuter davantage, je cesserai de publier sur ce fil et j'en créerai un nouveau en posant ma question initiale sur la manière de combiner les limites de confiance pour les observations séquentielles.
Merci pour le temps que vous avez passé à répondre à mes messages. J'apprécie vraiment vos commentaires.
Re: Les tweets de Donald Trump ne mentent pasJ'en ferai aussi ma dernière réponse. Tout ce que je peux dire, c'est que j'ai essayé. Je suis désolé d'avoir du mal à communiquer mes points. Voici des liens vers des rapports selon lesquels les tweets de @realDonaldTrump ne proviennent peut-être pas uniquement du président.
https://www.npr.org/2018/04/19/603904858/who-is-the-mystery-man-behind-realdonaldtrump-besides-the-president
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
Recherche le sur Google. Si vous ne pouvez pas faire confiance au système de mesure, je ne sais pas à quelle analyse vous faites confiance?
Je vous ai déjà donné plusieurs sources sur l'utilisation et l'interprétation correctes de la méthode des cartes de contrôle. Et oui, il existe de très nombreux exemples d'utilisation inappropriée des cartes de contrôle. Cette citation est de votre référence " Avez-vous entendu dire que les données doivent être normalement distribuées avant de pouvoir tracer les données à l'aide d'une carte de contrôle?Très souvent, vous entendez cela lorsque vous parlez d'une carte de contrôle des individus.Ceci est un mythe.Il n'est pas nécessaire que les données soient normalement distribuées avant qu'une carte de contrôle puisse être utilisée - y compris la carte de contrôle individuelle. ".
Deming's "Hors de la Crise" ( https://mitpress.mit.edu/books/out-crisis )
Article de Deming: https://www.jstor.org/stable/i326388
Le livre de Shewhart: https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarbooks
Au fait, il semble que vous n'ayez utilisé que les données de 2020. Voici un graphique des tweets depuis 2009. Il comporte également plusieurs catégories pour l'original, le re-tweet, les réponses, les liens / images, les tweets.
