I tweet di Donald Trump non mentonoHo giocato con il database dei tweet inviati da Donald Trump ( http://www.trumptwitterarchive.com/archive ). Guardando il numero di tweet al giorno dal 1 gennaio, si scopre che seguono una distribuzione Gamma (chi lo sapeva).
La linea verde sui grafici PDF e CDF sopra è la distribuzione gamma adattata.
Guardando i dati, si scopre che non è così insolito come pensavo che Donald avesse 5 o meno tweet al giorno. Oltre agli ultimi venerdì e sabato, da gennaio sono trascorsi 6 giorni con 5 o meno tweet;
- 5 gennaio - 2 tweet
- 8 gennaio - 1 tweet
- 16 febbraio - 3 tweet
- 8 marzo - 4 tweet
- 20 luglio - 3 tweet
- 21 agosto - 4 tweet
Il numero medio di tweet al giorno è 30.
Dopo aver adattato la distribuzione gamma, possiamo ricavare la probabilità di un numero particolare di tweet. Le probabilità del numero di tweet venerdì, sabato e domenica sono;
- Venerdì - 2 o meno tweet - 0,27% di probabilità o 0,4% o meno con il 97,5% di confidenza
- Sabato - 3 o meno tweet - 0,69% di probabilità, o 1,0% o meno con il 97,5% di confidenza
- Domenica - 9 tweet o meno - 7,3% di probabilità, o 10,2% o meno con il 97,5% di confidenza
Lunedì ha ricevuto 31 tweet. Finora oggi (martedì 10/6), ha ricevuto 45 tweet. Chiaramente si sente meglio.
Combinando le 3 probabilità di cui sopra, è probabile dello 0,0004% (4 parti per milione) o meno con il 97,5% di confidenza che il basso numero di tweet dal venerdì alla domenica si verifichi naturalmente.
Non riesco a pensare a una metrica più adatta a misurare il benessere del presidente rispetto al numero di volte che twitta al giorno. Era molto gravemente malato. I suoi tweet non mentono.
Non sono sicuro delle regole per combinare i punti dati con una particolare sicurezza. Sembra che combinando 3 probabilità con una ferita di confidenza del 97,5% si ottenga una probabilità con una confidenza molto superiore al 97,5%. Qualcuno può far luce su questo? Inoltre, se qualcuno può vedere errori nella mia analisi (ce ne sono probabilmente molti) sentiti libero di segnalarli. Ho allegato i dati grezzi in modo che possiate giocarci da soli.
AnalyticsRe: i tweet di Donald Trump non mentonoHai provato un semplice grafico I / mR del conteggio giornaliero dei tweet?Re: i tweet di Donald Trump non mentonoCiao P, non l'ho provato. Ci ho pensato, ma non so molto sulle carte di controllo. I dati grezzi sono allegati al post originale se vuoi provarlo e pubblicare ciò che trovi.
Re: i tweet di Donald Trump non mentonoOttima scelta @P_Bartell Ecco una foto del grafico I, MR. Il numero di tweat è incoerente. Ci sono alcuni punti insoliti nei dati. Quanto sono affidabili i dati? Quanto siamo sicuri che i dati provengano dal giorno in cui vengono conteggiati? Ma certamente il numero di tweet non era insolito (e quindi non assegnabile per Shewhart) quando si sono verificati gli eventi di recente (quelli a cui si sta cercando di assegnare una causa per "sentirsi meglio o meno").
Re: i tweet di Donald Trump non mentonoGrazie @statman . Grazie per aver messo insieme le classifiche. Sì, i punti sono affidabili. Sono venuti da http://www.trumptwitterarchive.com/archive come notato nel mio intervento originale. Sono d'accordo sul fatto che il numero di tweet sia incoerente (non mi aspetterei che il numero giornaliero di tweet da chiunque sia coerente), ma i numeri sono accurati.
Ci stavo pensando e non credo che un grafico I, MR sia lo strumento giusto per questa analisi. Le carte di controllo funzionano su parametri che seguono una distribuzione normale. Come notato nel mio intervento, il numero di tweet non segue una distribuzione normale, ma una distribuzione gamma, che è fortemente sbilanciata a destra. Poiché l'anomalia che sto esaminando si verifica molto a sinistra della distribuzione, non sorprende che il grafico I, MR non la rilevi.
Penso che la mia analisi originale sia più appropriata di un grafico I, MR, ma sono aperto a sbagliare su questo e molto aperto ad ascoltare feedback e suggerimenti degli altri.
Re: i tweet di Donald Trump non mentonoLe carte di controllo non presuppongono (o richiedono) una distribuzione normale per essere efficace. Vedere Wheeler and Chambers "Comprendere il controllo statistico dei processi" o Shewhart "Controllo economico della qualità del prodotto fabbricato" o Deming "Out of the Crisis P. 334-335. Per una rapida lettura, l'articolo di Wheeler e Neave "Shewhart's Charts and the Probability Approach, 1996, chiarirà questo punto.
Per quanto riguarda la tua dichiarazione " (Non mi aspetto che il numero giornaliero di tweet di nessuno sia coerente) ", C'è una grande differenza tra incoerente e coerente con una grande variazione. Perché non ti aspetti variazioni casuali nei tweet di qualcuno?
Non per discutere, ma come fai a SAPERE che i numeri sono accurati o affidabili? Quel numero include i tweet che sono stati cancellati o censurati? Un messaggio che richiede 5 tweet (a causa della limitazione della lunghezza di un tweet) conta come 5 o 1? Chi è responsabile della manutenzione del sito Web di riferimento? Non sono affiliati ad alcuna organizzazione politica?
Re: i tweet di Donald Trump non mentonoGrazie per aver ampliato i miei orizzonti @P_Bartell e @statman .
Ho letto alcune carte di controllo e ora capisco che la distribuzione non deve essere normale, ma sono necessari alcuni aggiustamenti se non è normale. C'è chiaramente qualcosa di sbagliato quando un limite di controllo (-22,6 tweet al giorno per il limite di controllo inferiore nel grafico di Statman) non è fisicamente possibile.
Continuando con l'ipotesi che il numero giornaliero di tweet segua una distribuzione gamma, ho selezionato i limiti di zona sulla base delle stesse probabilità di quelli in una carta di controllo distribuita normalmente (15,9% e 84,1% per la zona A, 2,28% e 97,72% per la zona B e 0,135% e 99,865%). I due punti di inizio ottobre sono evidenziati come fuori controllo perché violano la Regola 3 (2 punti su 3 in Zona A).
Ci scusiamo per la confusione sulla coerenza. Non sono del tutto sicuro di cosa intendi per "Il numero di tweet non è coerente". Se è che i punti non sono distribuiti normalmente, sono d'accordo, sembrano essere distribuiti con una distribuzione gamma.
Grazie per aver richiesto di ricontrollare l'origine dati. Secondo il sito stesso, include tutti i tweet cancellati dal 27/01/17 in poi. Prima di questo, controllavano ogni ora l'account Twitter di Donald, quindi potevano perdere un tweet che era stato pubblicato e poi rapidamente cancellato. Dal 27/01/17 controllano l'account in tempo reale, quindi acquisisci i tweet prima che possano essere eliminati. Non credo sia rilevante se un singolo messaggio viene suddiviso tra più tweet, poiché questo fa parte della variabilità naturale dei dati. Il set di dati corrisponde sicuramente ai tweet più recenti che vedo su Twitter. Se riesci a vedere qualche pregiudizio che mi sono perso, per favore condividi.
Per riassumere, penso che una carta di controllo sia un buon metodo per evidenziare le aree dei dati che dovrebbero essere esaminate. Non credo che sia un buon strumento per generare la probabilità specifica di una sezione dei dati. L'analisi che ho eseguito sembra più appropriata per questo, nonostante la domanda aperta su come produrre un unico livello di confidenza da punti dati combinati. Se qualcuno ha un'idea di come generare una tale fiducia, o può vedere difetti nell'analisi o modi migliori per eseguirla, per favore condividi.
Re: i tweet di Donald Trump non mentonoRoly, sempre felice di aiutare la gente ad "ampliare i propri orizzonti"!
Forse un po 'più di ampliamento ... La tua dichiarazione " ora capisci che la distribuzione non deve essere normale, ma è necessario qualche aggiustamento se non è normale . "non è corretto ed evidenzia un grave malinteso sulla metodologia della carta di controllo (se non sei d'accordo, forse puoi posizionare la sezione della letteratura che supporta la tua argomentazione). Se il problema fosse enumerativo, sarei interessato alla distribuzione (e alle probabilità ad essa associate), ma poiché il problema è analitico, la distribuzione ha poca importanza. Ti suggerisco di leggere Deming "Sulla probabilità come base per l'azione", Lo statistico americano , Novembre 1975, vol. 29, n. 4. Certo, sembrerebbe più razionale se il limite di controllo inferiore fosse troncato a 0, ma la maggior parte se non tutti gli utenti lo riconoscono nella loro valutazione dei grafici. Il software sta semplicemente facendo i conti senza tener conto dell'interpretazione. Direi che la maggior parte se non tutti gli output statistici devono essere interpretati NEL CONTESTO!
Per quanto riguarda il tuo commento:
"Ci scusiamo per la confusione sulla coerenza. Non sono del tutto sicuro di cosa intendi per "Il numero di tweet non è coerente". Se è che i punti non sono distribuiti normalmente, sono d'accordo, sembrano essere distribuiti con una distribuzione gamma ". Capisco che questo concetto sia difficile da capire. Forse questo è il motivo per cui tanti non sanno come utilizzare le carte di controllo in modo appropriato. Lo ripeto ancora, l'incoerenza non ha nulla a che fare con una distribuzione. p. 359, Deming, "Out of the Crisis". La bellezza delle carte di controllo di Shewhart è che non presumono alcuna distribuzione. Forniscono uno sguardo grafico ai dati in una serie temporale (questo va perso in qualsiasi analisi distributiva!). "Una distribuzione presenta solo la storia accumulata delle prestazioni di un processo, nulla sulla sua capacità ... La capacità di un processo può essere raggiunta e confermata utilizzando una carta di controllo, non da una distribuzione", Deming, "Out of the Crisis , P. 314. Il grafico degli intervalli risponde alla domanda: la variazione all'interno del sottogruppo (a causa delle variabili che cambiano all'interno del sottogruppo) è coerente, stabile e quindi prevedibile? Coerentemente con questo riferimento significa all'interno di un file previsto, prevedibile quantità di variazione. Per il grafico MR, la domanda a cui è stata data risposta è simile: la variazione nei punti dati consecutivi (dovuta al cambiamento delle variabili tra punti dati consecutivi) è coerente, stabile e quindi prevedibile? Quindi, quando dico che il numero di tweet è incoerente, significa che il processo di pubblicazione dei tweet non è prevedibile, non casuale e instabile. Sarebbe difficile riassumere, con una certa sicurezza, questo processo con qualsiasi statistica enumerativa o fare dichiarazioni di probabilità in quanto le statistiche / probabilità dipenderebbero quando hai guardato i dati.
Per quanto riguarda la fonte dei dati ... Non puoi assolutamente rispondere a chi ha inviato i tweet, solo che sono arrivati per qualche account registrato a "Donald". Non ho una conoscenza diretta del numero effettivo di tweet, né di chi li ha inviati. C'è un errore nel processo di misurazione? I numeri sono accurati? Non posso rispondere. Ma potrei suggerire un piano di campionamento per fornire informazioni.
L'analisi distributiva con le probabilità associate non è appropriata per un processo che è incoerente, non casuale e imprevedibile.
Vi lascio con questa citazione, ancora una volta da Deming (documento di cui sopra,:
“L'analisi della varianza, il test t, gli intervalli di confidenza e altre tecniche statistiche insegnate nei libri, per quanto interessanti, sono inappropriate perché non forniscono alcuna base per la previsione e perché seppelliscono le informazioni contenute nell'ordine di produzione. La maggior parte se non tutti i pacchetti di computer per l'analisi dei dati, come vengono chiamati, forniscono esempi flagranti di inefficienza ".
Re: i tweet di Donald Trump non mentonoCiao Bill. Trovo i tuoi messaggi abbastanza confusi e ho impiegato alcuni giorni per rimuginare su di essi prima di rispondere.
La parte del tuo post più recente che trovo più sconcertante è "Non puoi assolutamente rispondere a chi ha inviato i tweet, solo che sono arrivati per un account registrato a" Donald "". http://www.trumptwitterarchive.com/archive pretende di essere un archivio dei post di @realDonaldTrump. Quando esamino i post più recenti elencati a quelli sul mio feed Twitter, corrispondono. Non ho esaminato i 54K post elencati e verificato che corrispondano tutti, ma tutti quelli che ho controllato corrispondono. Sono d'accordo sul fatto che sia fondamentale verificare la veridicità delle fonti di dati. Tuttavia, preferisco lavorare con i dati piuttosto che con what ifs. Se hai dati che l'archivio non è una registrazione accurata dei tweet di @realDonaldTrump o che i tweet inviati da @realDonaldTrump non provengono dal nostro presidente, ti preghiamo di condividerlo.
Sei chiaramente molto più istruito di me sulle carte di controllo, ma sto ancora lottando con la tua affermazione che "poiché il problema è analitico, la distribuzione è di scarsa importanza". Sono assolutamente d'accordo sul fatto che i risultati statistici debbano essere interpretati nel contesto, e uno dei contesti che deve essere considerato è la distribuzione che segue i dati originali. Non ho accesso al libro o ai documenti a cui fai riferimento. Se potessi condividere link ad essi, sarebbe utile. Il riferimento che ho usato per come regolare le carte di controllo per i dati non normali è https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data . Dei 4 metodi che descrivono, il 4 ° (aggiustare i limiti di zona in modo che corrispondano ai loro percentili se la distribuzione fosse normale) mi è sembrato il più appropriato per questa situazione e risolve completamente la mia preoccupazione originaria che il limite di controllo inferiore fosse fisicamente irrealizzabile.
Sono riuscito a trovare una copia dell'articolo di Wheeler e Neave "Shewhart's Charts and the Probability Approach, 1996 ( http://www.spcpress.com/pdf/DJW088.pdf ). Una lettura molto interessante. Grazie per aver condiviso. Dal giornale vedo che gli aggiustamenti di zona che ho fatto significano che il grafico non è più una vera chat di controllo come voleva Shewhart. Tuttavia, non riesco a superare il problema di una carta di controllo che produca un limite di controllo che non è fisicamente possibile raggiungere (tweet negativi al giorno). Ciò elimina la capacità della carta di controllo di distinguere tra variazione controllata e non controllata (il suo scopo) per i punti dati al di sotto della media. Forse possiamo essere entrambi d'accordo sul fatto che una carta di controllo non sia uno strumento adatto per indagare sulla probabilità che @realDonaldTrump invii solo 2 tweet il 10/2 e solo 3 tweet il 10/3 (scusate @P_Bartell ).
A meno che non ci sia altro di cui vorresti discutere, smetterò di postare su questo thread e ne creerò uno nuovo chiedendo la mia domanda originale su come combinare i limiti di confidenza per le osservazioni sequenziali.
Grazie per il tempo che hai dedicato a rispondere ai miei post. Apprezzo molto il tuo feedback.
Re: i tweet di Donald Trump non mentonoFarò anche questa la mia ultima risposta. Tutto quello che posso dire è che ci ho provato. Mi dispiace di avere problemi a comunicare i miei punti. Ecco i collegamenti ai rapporti secondo cui i tweet di @realDonaldTrump potrebbero non provenire solo dal presidente.
https://www.npr.org/2018/04/19/603904858/who-is-the-mystery-man-behind-realdonaldtrump-besides-the-president
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
Google. Se non puoi fidarti del sistema di misurazione, non sono sicuro di quale analisi ti fidi?
Ti ho già fornito più fonti del corretto utilizzo e interpretazione del metodo della carta di controllo. E sì, ci sono molti, molti esempi di uso inappropriato delle carte di controllo. Questa citazione proviene dal tuo riferimento " Hai sentito che i dati devono essere distribuiti normalmente prima di poter tracciare i dati utilizzando una carta di controllo?Molto spesso senti questo quando parli di una carta di controllo individuale.Questo è un mito.I dati non devono essere distribuiti normalmente prima di poter utilizzare una carta di controllo, inclusa la carta di controllo individuale. ".
Deming è "Out of the Crisi" ( https://mitpress.mit.edu/books/out-crisis )
L'articolo di Deming: https://www.jstor.org/stable/i326388
Il libro di Shewhart: https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarbooks
A proposito, sembra che tu abbia utilizzato solo i dati del 2020. Ecco un grafico dei tweet dal 2009. Ha anche più categorie per originale, re-tweet, risposte, link / immagini, tweet.
