Les tweets de Donald Trump ne mentent pasJ'ai joué avec la base de données des tweets envoyés par Donald Trump ( http://www.trumptwitterarchive.com/archive ). En regardant le nombre de tweets par jour depuis le 1er janvier, il s'avère qu'ils suivent une distribution Gamma (qui savait).
La ligne verte sur les tracés PDF et CDF ci-dessus correspond à la distribution gamma ajustée.
En regardant les données, il s'avère qu'il n'est pas aussi inhabituel que je le pensais que Donald ait moins de 5 tweets par jour. Hormis vendredi et samedi derniers, il y a eu 6 jours depuis janvier avec 5 tweets ou moins ;
- 5 janvier - 2 tweets
- 8 janvier - 1 tweet
- 16 février - 3 tweets
- 8 mars - 4 tweets
- 20 juillet - 3 tweets
- 21 août - 4 tweets
Le nombre médian de tweets par jour est de 30.
Après avoir ajusté la distribution gamma, nous pouvons déduire la probabilité d'un nombre particulier de tweets. La probabilité du nombre de tweets vendredi, samedi et dimanche est :
- Vendredi – 2 tweets ou moins – 0,27 % de probabilité, ou 0,4 % ou moins avec un niveau de confiance de 97,5 %
- Samedi – 3 tweets ou moins – 0,69 % de probabilité, ou 1,0 % ou moins avec un niveau de confiance de 97,5 %
- Dimanche – 9 tweets ou moins – 7,3 % de probabilité, ou 10,2 % ou moins avec un niveau de confiance de 97,5 %
Lundi, il avait 31 tweets. Jusqu’à présent aujourd’hui (mardi 10/6), il a eu 45 tweets. De toute évidence, il se sent mieux.
En combinant les 3 probabilités ci-dessus, il y a une probabilité de 0,0004 % (4 parties par million) ou moins avec un niveau de confiance de 97,5 % que le faible nombre de tweets de vendredi à dimanche se produirait naturellement.
Je ne vois pas de mesure mieux adaptée pour mesurer le bien-être du président que le nombre de fois qu’il tweete par jour. Il était très gravement malade. Ses tweets ne mentent pas.
Je ne suis pas sûr des règles permettant de combiner des points de données avec une confiance particulière. Il semble que la combinaison de 3 probabilités avec un niveau de confiance de 97,5 % donne une probabilité avec un niveau de confiance bien supérieur à 97,5 %. Quelqu'un peut-il nous éclairer à ce sujet? De plus, si quelqu'un voit des erreurs dans mon analyse (il y en a probablement beaucoup), n'hésitez pas à les signaler. J'ai joint les données brutes afin que vous puissiez jouer avec vous-mêmes.
Accès aux donnéesExploration et visualisation des donnéesRe: Les tweets de Donald Trump ne mentent pasJ'en ferai également ma dernière réponse. Tout ce que je peux dire, c'est que j'ai essayé. Je suis désolé, j'ai du mal à communiquer mes arguments. Voici des liens vers des rapports selon lesquels les tweets de @realDonaldTrump ne proviennent peut-être pas uniquement du président.
^ https://www.npr.org/2018/04/19/603904858/who-is-the-mystery-man-behind-realdonaldtrump-besides-the-president
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
Recherche le sur Google. Si vous ne pouvez pas faire confiance au système de mesure, je ne sais pas à quelle analyse vous faites confiance ?
Je vous ai déjà donné plusieurs sources sur l'utilisation et l'interprétation correctes de la méthode des cartes de contrôle. Et oui, il existe de très nombreux exemples d’utilisation inappropriée des cartes de contrôle. Cette citation est issue de votre référence " Avez-vous entendu dire que les données doivent être distribuées normalement avant de pouvoir les tracer à l'aide d'une carte de contrôle ?Très souvent, vous entendez cela lorsque vous parlez d’une carte de contrôle individuelle.C'est un mythe.Il n’est pas nécessaire que les données soient distribuées normalement avant qu’une carte de contrôle puisse être utilisée – y compris la carte de contrôle des individus. ".
"Hors du Crise" ( https://mitpress.mit.edu/books/out-crisis )
L'article de Deming : https://www.jstor.org/stable/i326388
Le livre de Shewhart : https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarbooks
D’ailleurs, il semble que vous n’ayez utilisé que les données de 2020. Voici un graphique des tweets depuis 2009. Il comporte également plusieurs catégories pour l'original, le re-tweet, les réponses, les liens/images, les tweets.
Re: Les tweets de Donald Trump ne mentent pasSalut Bill. Je trouve vos messages assez déroutants et j'ai pris quelques jours pour y réfléchir avant de répondre.
La partie de votre message le plus récent que je trouve la plus perplexe est "Vous ne pouvez pas répondre qui a envoyé les tweets, seulement qu'ils sont venus pour un compte enregistré auprès de "Donald"". http://www.trumptwitterarchive.com/archive prétend être une archive des messages de @realDonaldTrump. Lorsque j'examine les publications les plus récentes répertoriées avec celles de mon fil Twitter, elles correspondent. Je n'ai pas parcouru les 54 000 messages répertoriés et vérifié qu'ils correspondent tous, mais tous ceux que j'ai vérifiés correspondent. Je suis d'accord qu'il est essentiel de vérifier la véracité des sources de données. Cependant, je préfère travailler avec des données plutôt qu’avec des hypothèses. Si vous disposez de données indiquant que les archives ne constituent pas un enregistrement précis des tweets de @realDonaldTrump, ou que les tweets envoyés par @realDonaldTrump ne proviennent pas de notre président, veuillez les partager.
Vous êtes clairement beaucoup plus instruit que moi sur les cartes de contrôle, mais j'ai toujours du mal avec votre affirmation selon laquelle "puisque le problème est analytique, la distribution a peu d'importance". Je suis tout à fait d’accord sur le fait que les résultats statistiques doivent être interprétés dans leur contexte, et l’un des contextes à prendre en compte est la distribution suivie par les données originales. Je n'ai pas accès au livre ou aux articles auxquels vous faites référence. Si vous pouviez partager des liens vers eux, ce serait utile. La référence que j'ai utilisée pour ajuster les cartes de contrôle pour les données non normales est https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data . Parmi les 4 méthodes qu'ils décrivent, la 4ème (ajuster les limites de zone pour qu'elles correspondent à leurs percentiles si la distribution était normale) m'a semblé la plus appropriée à cette situation, et résout complètement ma préoccupation initiale selon laquelle la limite inférieure de contrôle était physiquement irréalisable.
J'ai réussi à trouver une copie de l'article de Wheeler et Neave "Shewhart's Charts and the Probability Approach, 1996 ( http://www.spcpress.com/pdf/DJW088.pdf ). Une lecture très intéressante. Merci pour le partage. D'après le document, je vois que les ajustements de zone que j'ai effectués signifient que la carte n'est plus un véritable chat de contrôle comme le voulait Shewhart. Cependant, je ne peux pas surmonter le problème d’une carte de contrôle produisant une limite de contrôle qu’il n’est physiquement pas possible d’atteindre (tweets négatifs par jour). Cela supprime la capacité de la carte de contrôle à faire la distinction entre les variations contrôlées et incontrôlées (son objectif) pour les points de données inférieurs à la moyenne. Peut-être pouvons-nous tous les deux convenir qu'une carte de contrôle n'est pas un outil approprié pour étudier la probabilité que @realDonaldTrump envoie seulement 2 tweets le 10/2 et seulement 3 tweets le 10/3 (désolé @P_Bartel ).
À moins que vous souhaitiez discuter d'autres choses, j'arrêterai de poster sur ce fil et j'en créerai un nouveau posant ma question initiale sur la façon de combiner les limites de confiance pour les observations séquentielles.
Merci pour le temps que vous avez passé à répondre à mes messages. J'apprécie vraiment vos commentaires.
Re: Les tweets de Donald Trump ne mentent pasRoly, toujours heureux d'aider les gens à « élargir leurs horizons » !
Peut-être un peu plus large... Votre déclaration " comprenez maintenant que la distribution ne doit pas nécessairement être normale, mais un ajustement est nécessaire si ce n’est pas normal . " est incorrect et met en évidence une idée fausse majeure sur la méthodologie des cartes de contrôle (si vous n'êtes pas d'accord, vous pouvez peut-être localiser la section de la littérature qui soutient votre argument). Si le problème était énumératif, je serais intéressé par la distribution (et les probabilités qui y sont associées), mais comme le problème est analytique, la distribution a peu d'importance. je te suggère de lire Deming "De la probabilité comme base d'action", Le statisticien américain , novembre 1975, vol. 29, n° 4. Certes, il semblerait plus rationnel que la limite inférieure de contrôle soit tronquée à 0, mais la plupart, sinon la totalité, des utilisateurs le reconnaissent dans leur évaluation des cartes. Le logiciel fait simplement le calcul sans se soucier de l'interprétation. Je dirais que la plupart, sinon la totalité, des résultats statistiques doivent être interprétés EN CONTEXTE !
Concernant votre commentaire :
"Désolé pour la confusion concernant la cohérence. Je ne suis pas sûr de ce que vous entendez par « Le nombre de tweets est incohérent ». Si les points ne sont pas distribués normalement, j'en conviens, ils semblent être distribués avec une distribution gamma." Je comprends que ce concept est difficile à comprendre. C’est peut-être la raison pour laquelle tant de personnes ne savent pas comment utiliser correctement les cartes de contrôle. Je le répète, l'incohérence n'a rien à voir avec une distribution. p. 359, Deming, « Hors de la crise ». La beauté des cartes de contrôle Shewhart est qu’elles ne supposent aucune distribution. Ils fournissent un aperçu graphique des données dans une série chronologique (cela se perd dans toute analyse distributionnelle !). "Une distribution ne présente que l'historique accumulé des performances d'un processus, rien sur sa capacité... La capacité d'un processus peut être atteinte et confirmée par l'utilisation d'une carte de contrôle, et non par une distribution", Deming, "Out of the Crisis , P. 314. Le graphique de plage répond à la question : la variation au sein du sous-groupe (due aux variables changeant au sein du sous-groupe) est-elle cohérente, stable et donc prévisible ? Cohérent dans cette référence signifie dans un attendu, prévisible quantité de variation. Pour le graphique MR, la question à laquelle on répond est similaire : la variation des points de données consécutifs (due au changement des variables entre les points de données consécutifs) est-elle cohérente, stable et donc prévisible ? Ainsi, lorsque je dis que le nombre de tweets est incohérent, cela signifie que le processus de publication des tweets n’est pas prévisible, ni aléatoire ni instable. Il serait difficile de résumer, avec certitude, ce processus avec des statistiques énumératives ou de faire des déclarations de probabilité, car les statistiques/probabilités dépendraient de quand vous avez regardé les données.
Concernant la source des données... Vous ne pouvez pas répondre qui a envoyé les tweets, seulement qu'ils proviennent d'un compte enregistré auprès de "Donald". Je n’ai pas de connaissance directe du nombre réel de tweets, ni de qui les a envoyés. Y a-t-il des biais dans le processus de mesure ? Les chiffres sont-ils exacts ? Je ne peux pas répondre à cela. Mais je pourrais suggérer un plan d’échantillonnage pour donner un aperçu.
L'analyse distributionnelle avec les probabilités associées est inappropriée pour un processus incohérent, non aléatoire et imprévisible.
Je vous laisse avec cette citation, toujours de Deming (article référencé ci-dessus, :
« L’analyse de la variance, le test t, les intervalles de confiance et autres techniques statistiques enseignées dans les livres, aussi intéressantes soient-elles, sont inappropriées car elles ne fournissent aucune base de prédiction et parce qu’elles enfouissent les informations contenues dans l’ordre de production. La plupart, sinon la totalité, des progiciels informatiques destinés à l’analyse des données, comme on les appelle, fournissent des exemples flagrants d’inefficacité.
Re: Les tweets de Donald Trump ne mentent pasMerci d'avoir élargi mes horizons @P_Bartel et @statman .
J'ai fait quelques lectures sur les cartes de contrôle et je comprends maintenant que la distribution ne doit pas nécessairement être normale, mais qu'un ajustement est nécessaire si elle n'est pas normale. Il y a clairement quelque chose qui ne va pas lorsqu'une limite de contrôle (-22,6 tweets par jour pour la limite de contrôle inférieure dans le graphique de Statman) n'est pas physiquement possible.
En partant de l'hypothèse que le nombre quotidien de tweets suit une distribution gamma, j'ai sélectionné des limites de zone basées sur les mêmes probabilités que celles d'une carte de contrôle normalement distribuée (15,9% et 84,1% pour la zone A, 2,28% et 97,72% pour la zone 
. , et 0,135 % et 99,865 %). Les deux points de début octobre sont signalés comme hors de contrôle car ils violent la règle 3 (2 points sur 3 dans la zone A).
Désolé pour la confusion sur la cohérence. Je ne suis pas sûr de ce que vous entendez par « Le nombre de tweets est incohérent ». Si les points ne sont pas distribués normalement, j'en conviens, ils semblent être distribués avec une distribution gamma.
Merci de m'avoir demandé de vérifier la source des données. Selon le site lui-même, il inclut tous les tweets supprimés à partir du 27/01/17. Avant cela, ils vérifiaient le compte Twitter de Donald toutes les heures, et pouvaient donc manquer un tweet publié puis rapidement supprimé. Depuis le 27/01/17, ils vérifient le compte en temps réel, donc capturez les tweets avant qu'ils puissent être supprimés. Je ne pense pas qu'il soit pertinent qu'un seul message soit réparti entre plusieurs tweets, car cela fait partie de la variabilité naturelle des données. L'ensemble de données correspond certainement aux tweets les plus récents que je vois sur Twitter. Si vous constatez des préjugés que j'ai manqués, partagez-les.
Pour résumer, je pense qu'une carte de contrôle est une bonne méthode pour mettre en évidence les domaines de données qui devraient être examinés. Je ne pense pas que ce soit un bon outil pour générer la probabilité spécifique d’une section de données. L’analyse que j’ai effectuée semble plus appropriée à cet égard, malgré la question ouverte de savoir comment produire un niveau de confiance unique à partir de points de données combinés. Si quelqu'un sait comment générer une telle confiance, ou peut voir des défauts dans l'analyse ou de meilleures façons de la réaliser, merci de la partager.
Re: Les tweets de Donald Trump ne mentent pasLes cartes de contrôle ne supposent pas (ni n'exigent) une distribution normale pour être efficaces. Voir Wheeler et Chambers « Comprendre le contrôle statistique des processus » ou Shewhart « Contrôle économique de la qualité du produit manufacturé » ou Deming « Out of the Crisis P. 334-335. Pour une lecture rapide, l'article de Wheeler et Neave « Shewhart's Charts and the Probability Approach, 1996 » fera clairement ressortir ce point.
Concernant votre déclaration " (Je ne m'attendrais pas à ce que le nombre quotidien de tweets de quiconque soit cohérent)", Il y a une grande différence entre incohérent et cohérent avec de grandes variations. Pourquoi ne vous attendez-vous pas à des variations aléatoires dans les tweets de qui que ce soit ?
Il ne s’agit pas de discuter, mais comment savoir si les chiffres sont exacts ou fiables ? Ce nombre inclut-il les tweets supprimés ou censurés ? Un message qui nécessite 5 tweets (en raison de la limitation de longueur d'un tweet) compte-t-il pour 5 ou 1 ? Qui est responsable de la maintenance du site Internet référencé ? Ne sont-ils affiliés à aucune organisation politique ?
Re: Les tweets de Donald Trump ne mentent pasMerci @statman . Merci d'avoir rassemblé les graphiques. Oui, les points sont fiables. Ils viennent de http://www.trumptwitterarchive.com/archive comme indiqué dans mon message original. Je suis d’accord que le nombre de tweets est incohérent (je ne m’attendrais pas à ce que le nombre quotidien de tweets de quiconque soit cohérent), mais les chiffres sont exacts.
J'y ai réfléchi et je ne pense pas qu'un graphique I, MR soit le bon outil pour cette analyse. Les cartes de contrôle fonctionnent sur des paramètres qui suivent une distribution normale. Comme indiqué dans mon message, le nombre de tweets ne suit pas une distribution normale, mais une distribution gamma, fortement asymétrique vers la droite. Comme l'anomalie que j'examine se produit bien à gauche de la distribution, il n'est pas surprenant que le graphique I, MR ne la détecte pas.
Je pense que mon analyse originale est plus appropriée qu'un graphique I, MR, mais je suis prêt à me tromper à ce sujet et très ouvert à entendre les commentaires et suggestions des autres.
Re: Les tweets de Donald Trump ne mentent pasBon appel @P_Bartel Voici une photo du graphique I, MR. Le nombre de tweets est incohérent. Il y a des points inhabituels dans les données. Quelle est la fiabilité des données ? Dans quelle mesure sommes-nous sûrs que les données datent du jour où elles ont été comptabilisées ? Mais le nombre de tweets n'était certainement pas inhabituel (et donc non attribuable selon Shewhart) lorsque les événements se sont produits récemment (ceux auxquels vous essayez d'attribuer une cause au "se sentir mieux ou pas").
Re: Les tweets de Donald Trump ne mentent pasSalut P, je n'ai pas essayé ça. J'y ai réfléchi, mais je ne connais pas grand chose aux cartes de contrôle. Les données brutes sont jointes à la publication originale si vous souhaitez l'essayer et publier ce que vous trouvez.
Re: Les tweets de Donald Trump ne mentent pasAvez-vous essayé un simple graphique I/mR du nombre quotidien de tweets ?
