I tweet di Donald Trump non mentonoHo giocato con il database dei tweet inviati da Donald Trump ( http://www.trumptwitterarchive.com/archive ). Osservando il numero di tweet al giorno dal 1° gennaio, risulta che seguono una distribuzione Gamma (chi lo sapeva).
La linea verde sui grafici PDF e CDF sopra è la distribuzione gamma adattata.
Osservando i dati, si scopre che non è così insolito come pensavo che Donald abbia meno di 5 tweet al giorno. A parte venerdì e sabato scorsi, da gennaio ci sono stati 6 giorni con 5 o meno tweet;
- 5 gennaio - 2 tweet
- 8 gennaio - 1 tweet
- 16 febbraio - 3 tweet
- 8 marzo - 4 tweet
- 20 luglio - 3 tweet
- 21 agosto - 4 tweet
Il numero medio di tweet al giorno è 30.
Dopo aver adattato la distribuzione gamma, possiamo ricavare la probabilità di un numero particolare di tweet. La probabilità del numero di tweet venerdì, sabato e domenica è;
- Venerdì - 2 o meno tweet - 0,27% di probabilità, o 0,4% o meno con una confidenza del 97,5%
- Sabato - 3 o meno tweet - 0,69% di probabilità, o 1,0% o meno con una confidenza del 97,5%
- Domenica - 9 o meno tweet - 7,3% di probabilità, o 10,2% o meno con una confidenza del 97,5%
Lunedì aveva 31 tweet. Finora oggi (martedì 6/10) ha ricevuto 45 tweet. Chiaramente si sente meglio.
Combinando le 3 probabilità di cui sopra, è probabile lo 0,0004% (4 parti per milione) o meno con una confidenza del 97,5% che il basso numero di tweet dal venerdì alla domenica si verifichi in modo naturale.
Non riesco a pensare a un parametro più adatto a misurare il benessere del presidente rispetto al numero di volte che twitta al giorno. Era molto gravemente malato. I suoi tweet non mentono.
Non sono sicuro delle regole per combinare i punti dati con una confidenza particolare. Sembra che combinando 3 probabilità con una ferita di confidenza del 97,5% si ottenga una probabilità con una confidenza molto superiore al 97,5%. Qualcuno può far luce su questo? Inoltre, se qualcuno vede degli errori nella mia analisi (probabilmente ce ne sono molti), si senta libero di segnalarli. Ho allegato i dati grezzi in modo che possiate giocarci voi stessi.
Accesso ai datiEsplorazione e visualizzazione dei datiRe: I tweet di Donald Trump non mentonoFarò di questa anche la mia ultima risposta. Tutto quello che posso dire è che ci ho provato. Mi dispiace, ho difficoltà a comunicare i miei punti. Ecco i collegamenti ai rapporti secondo cui i tweet di @realDonaldTrump potrebbero non provenire solo dal presidente.
https://www.npr.org/2018/04/19/603904858/who-is-the-mystery-man-behind-realdonaldtrump-besides-the-president
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
Cercalo su Google. Se non puoi fidarti del sistema di misurazione, non sono sicuro di quale analisi hai fiducia?
Ti ho già fornito diverse fonti sull'uso e l'interpretazione corretti del metodo delle carte di controllo. E sì, ci sono moltissimi esempi di uso inappropriato delle carte di controllo. Questa citazione proviene dal tuo riferimento " Hai sentito dire che i dati devono essere distribuiti normalmente prima di poterli tracciare utilizzando una carta di controllo?Molto spesso si sente questo quando si parla di una carta di controllo individuale.Questo è un mito.Non è necessario che i dati siano distribuiti normalmente prima di poter utilizzare una carta di controllo, inclusa la carta di controllo individuale. ".
"Fuori dal." di Deming Crisi" ( https://mitpress.mit.edu/books/out-crisis )
L'articolo di Deming: https://www.jstor.org/stable/i326388
Il libro di Shewhart: https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarlibri
A proposito, sembra che tu abbia utilizzato solo i dati del 2020. Ecco un grafico dei tweet dal 2009. Dispone inoltre di più categorie per Originale, Retweet, Risposte, Collegamenti/immagini, Tweet.
Re: I tweet di Donald Trump non mentonoCiao Bill. Trovo che i tuoi post siano piuttosto confusi e ho impiegato alcuni giorni per rifletterci sopra prima di rispondere.
La parte del tuo post più recente che trovo più sconcertante è "Non puoi rispondere chi ha inviato i tweet, solo che provengono da un account registrato a" Donald "". http://www.trumptwitterarchive.com/archive pretende di essere un archivio dei post di @realDonaldTrump. Quando rivedo i post più recenti elencati con quelli sul mio feed Twitter, corrispondono. Non ho esaminato i 54K messaggi elencati e non ho controllato che corrispondessero tutti, ma tutti quelli che ho controllato corrispondono. Sono d'accordo che sia fondamentale verificare la veridicità delle fonti dei dati. Tuttavia, preferisco lavorare con i dati piuttosto che con i se. Se disponi di dati che dimostrano che l'archivio non è una registrazione accurata dei tweet di @realDonaldTrump o che i tweet inviati da @realDonaldTrump non provengono dal nostro Presidente, per favore condividili.
Chiaramente sei molto più esperto di me sulle carte di controllo, ma sto ancora lottando con la tua affermazione secondo cui "poiché il problema è analitico, la distribuzione ha poche conseguenze". Sono assolutamente d’accordo sul fatto che i risultati statistici debbano essere interpretati nel contesto, e uno dei contesti da considerare è la distribuzione che seguono i dati originali. Non ho accesso al libro o ai documenti a cui fai riferimento. Se potessi condividere i link ad essi, sarebbe utile. Il riferimento che ho usato per come regolare le carte di controllo per i dati non normali è https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data . Dei 4 metodi delineati, il 4° (regolare i limiti di zona in modo che corrispondano ai loro percentili se la distribuzione fosse normale) mi è sembrato il più appropriato per questa situazione e risolve completamente la mia preoccupazione originaria che il limite di controllo inferiore fosse fisicamente irraggiungibile.
Sono riuscito a trovare una copia dell'articolo di Wheeler e Neave "Shewhart's Charts and the Probability Approach, 1996" ( http://www.spcpress.com/pdf/DJW088.pdf ). Una lettura molto interessante Grazie per aver condiviso. Dal documento vedo che le regolazioni di zona che ho apportato significano che il grafico non è più una vera e propria chat di controllo come intendeva Shewhart. Tuttavia, non riesco a superare il problema di una carta di controllo che produce un limite di controllo che non è fisicamente possibile raggiungere (tweet negativi al giorno). Ciò elimina la capacità del grafico di controllo di distinguere tra variazione controllata e non controllata (il suo scopo) per i punti dati al di sotto della media. Forse possiamo essere entrambi d'accordo sul fatto che una carta di controllo non è uno strumento adatto per indagare sulla probabilità che @realDonaldTrump invii solo 2 tweet il 2/10 e solo 3 tweet il 3/10 (scusate @P_Bartell ).
A meno che non ci sia altro di cui vorresti discutere, smetterò di postare in questo thread e ne creerò uno nuovo ponendo la mia domanda originale su come combinare i limiti di confidenza per le osservazioni sequenziali.
Grazie per il tempo che hai dedicato a rispondere ai miei post. Apprezzo davvero il tuo feedback.
Re: I tweet di Donald Trump non mentonoRoly, sempre felice di aiutare le persone ad "allargare i propri orizzonti"!
Forse un po' più ampio...La tua affermazione " ora capisci che la distribuzione non deve essere normale, ma è necessario qualche aggiustamento se non è normale ." non è corretto ed evidenzia un grave malinteso sulla metodologia della carta di controllo (se non sei d'accordo, forse puoi individuare la sezione della letteratura che supporta la tua argomentazione). Se il problema fosse enumerativo, sarei interessato alla distribuzione (e alle probabilità ad essa associate), ma poiché il problema è analitico, la distribuzione ha poche conseguenze. Ti suggerisco di leggere Deming "Sulla probabilità come base per l'azione", Lo statistico americano , novembre 1975, vol. 29, n. 4. Certamente sembrerebbe più razionale se il limite inferiore di controllo fosse troncato a 0, ma la maggior parte se non tutti gli utenti lo riconoscono nella loro valutazione dei grafici. Il software sta semplicemente facendo i conti senza riguardo all'interpretazione. Direi che la maggior parte, se non tutti, i risultati statistici devono essere interpretati NEL CONTESTO!
Per quanto riguarda il tuo commento:
"Ci scusiamo per la confusione sulla coerenza. Non sono del tutto sicuro di cosa intendi con "Il numero di tweet è incoerente". Se è che i punti non sono distribuiti normalmente, sono d'accordo, sembrano essere distribuiti con una distribuzione gamma." Capisco che questo concetto sia difficile da capire. Forse questo è il motivo per cui così tanti non sanno come utilizzare le carte di controllo in modo appropriato. Lo ripeto, l'incoerenza non ha nulla a che fare con una distribuzione. P. 359, Deming, "Fuori dalla crisi". La bellezza delle carte di controllo di Shewhart è che non presuppongono alcuna distribuzione. Forniscono uno sguardo grafico ai dati in una serie temporale (questo si perde in qualsiasi analisi distributiva!). "Una distribuzione presenta solo la storia accumulata delle prestazioni di un processo, nulla sulla sua capacità... La capacità di un processo può essere raggiunta e confermata mediante l'uso di una carta di controllo, non mediante una distribuzione", Deming, "Out of the Crisis , pag. 314. Il grafico dell'intervallo risponde alla domanda: la variazione all'interno del sottogruppo (a causa delle variabili che cambiano all'interno del sottogruppo) è coerente, stabile e quindi prevedibile? Coerente con questo riferimento significa all'interno di un atteso, prevedibile quantità di variazione. Per il grafico MR, la domanda a cui si risponde è simile: la variazione nei punti dati consecutivi (a causa delle variabili che cambiano tra punti dati consecutivi) è coerente, stabile e quindi prevedibile? Quindi, quando dico che il numero di tweet non è coerente, significa che il processo di pubblicazione dei tweet non è prevedibile, non è casuale e instabile. Sarebbe difficile riassumere, con certezza, questo processo con statistiche enumerative o fare dichiarazioni di probabilità poiché le statistiche/probabilità dipenderebbero da Quando hai guardato i dati
Per quanto riguarda la fonte dei dati...non è possibile rispondere chi ha inviato i tweet, solo che provenivano da un account intestato a "Paperino". Non ho conoscenza diretta del numero effettivo di tweet, né di chi li ha inviati. Ci sono errori nel processo di misurazione? I numeri sono accurati? Non posso rispondere. Ma potrei suggerire un piano di campionamento per fornire informazioni.
L'analisi distribuzionale con le probabilità associate è inappropriata per un processo incoerente, non casuale e imprevedibile.
Vi lascio con questa citazione, sempre di Deming (articolo citato sopra:
“L’analisi della varianza, il t-test, gli intervalli di confidenza e altre tecniche statistiche insegnate nei libri, per quanto interessanti, sono inadeguate perché non forniscono alcuna base per la previsione e perché seppelliscono le informazioni contenute nell’ordine di produzione. La maggior parte, se non tutti, i pacchetti informatici per l’analisi dei dati, come vengono chiamati, forniscono esempi flagranti di inefficienza”.
Re: I tweet di Donald Trump non mentonoGrazie per aver ampliato i miei orizzonti @P_Bartell E @statman .
Ho letto un po' le carte di controllo e ora capisco che la distribuzione non deve essere normale, ma se non è normale sono necessari alcuni aggiustamenti. C'è chiaramente qualcosa di sbagliato quando un limite di controllo (-22,6 tweet al giorno per il limite di controllo inferiore nel grafico di Statman) non è fisicamente possibile.
Partendo dal presupposto che il numero giornaliero di tweet segua una distribuzione gamma, ho selezionato i limiti di zona in base alle stesse probabilità di quelli in una tabella di controllo normalmente distribuita (15,9% e 84,1% per la zona A, 2,28% e 97,72% per la zona B e 0,135% e 99,865%). I due punti di inizio ottobre vengono segnalati come fuori controllo perché violano la Regola 3 (2 punti su 3 in Zona A).
Ci scusiamo per la confusione sulla coerenza. Non sono del tutto sicuro di cosa intendi con "Il numero di tweet è incoerente". Se è che i punti non sono distribuiti normalmente, sono d'accordo, sembrano distribuiti con una distribuzione gamma.
Grazie per aver richiesto di ricontrollare l'origine dati. Secondo il sito stesso, include tutti i tweet cancellati dal 27/01/17 in poi. Prima di ciò, controllavano l'account Twitter di Donald ogni ora, quindi potevano perdere un tweet che era stato pubblicato e poi cancellato rapidamente. Dal 27/01/17 controllano l'account in tempo reale, quindi catturano i tweet prima che possano essere cancellati. Non ritengo rilevante il fatto che un singolo messaggio sia suddiviso tra più tweet, poiché ciò fa parte della naturale variabilità dei dati. Il set di dati corrisponde sicuramente ai tweet più recenti che vedo su Twitter. Se riesci a vedere qualche pregiudizio che mi è sfuggito, per favore condividilo.
Per riassumere, penso che una carta di controllo sia un buon metodo per evidenziare aree di dati che dovrebbero essere esaminate. Non penso che sia un buon strumento per generare la verosimiglianza specifica di una sezione dei dati. L'analisi che ho eseguito sembra più appropriata per questo, nonostante la questione aperta su come produrre un unico livello di confidenza da punti dati combinati. Se qualcuno ha informazioni su come generare tale fiducia o può vedere difetti nell'analisi o modi migliori per eseguirla, si prega di condividere.
Re: I tweet di Donald Trump non mentonoLe carte di controllo non presuppongono (o richiedono) una distribuzione normale per essere efficaci. Vedi Wheeler e Chambers "Understanding Statistical Process Control" o Shewhart "Economic Control of Quality of Manufactured Product" o Deming "Out of the Crisis P. 334-335. Per una lettura veloce, l'articolo di Wheeler e Neave "Shewhart's Charts and the Probability Approach, 1996", chiarirà chiaramente questo punto.
Per quanto riguarda la tua affermazione " (Non mi aspetterei che il numero giornaliero di tweet di qualcuno fosse coerente)", C'è una grande differenza tra incoerente e coerente con ampie variazioni. Perché non dovresti aspettarti variazioni casuali nei tweet di qualcuno?
Non per discutere, ma come fai a sapere che i numeri sono accurati o affidabili? Quel numero include i tweet che sono stati cancellati o censurati? Un messaggio che richiede 5 tweet (a causa della limitazione della lunghezza di un tweet) conta come 5 o 1? Chi è responsabile della manutenzione del sito web di riferimento? Non sono affiliati a nessuna organizzazione politica?
Re: I tweet di Donald Trump non mentonoGrazie @statman . Grazie per aver messo insieme le classifiche. Sì, i punti sono affidabili. Sono venuti da http://www.trumptwitterarchive.com/archive come notato nel mio intervento originale. Sono d'accordo sul fatto che il numero di tweet non sia coerente (non mi aspetterei che il numero giornaliero di tweet di qualcuno sia coerente), ma i numeri sono accurati.
Ci ho pensato e non penso che un grafico I, MR sia lo strumento giusto per questa analisi. Le carte di controllo funzionano su parametri che seguono una distribuzione normale. Come notato nel mio intervento, il numero di tweet non segue una distribuzione normale, ma una distribuzione gamma, che è fortemente sbilanciata verso destra. Poiché l'anomalia che sto esaminando si verifica molto a sinistra della distribuzione, non sorprende che il grafico I, MR non la rilevi.
Penso che la mia analisi originale sia più appropriata di un grafico I, MR, ma sono aperto a sbagliarmi su questo e molto aperto ad ascoltare feedback e suggerimenti degli altri.
Re: I tweet di Donald Trump non mentonoOttima scelta @P_Bartell Ecco una foto del grafico I, MR. Il numero di tweat non è coerente. Ci sono alcuni punti insoliti nei dati. Quanto sono affidabili i dati? Quanto siamo sicuri che i dati risalgano al giorno in cui vengono conteggiati? Ma certamente il numero di tweet non era insolito (e quindi non assegnabile secondo Shewhart) quando si sono verificati eventi recenti (quelli a cui stai cercando di attribuire una causa al "sentirsi meglio o meno").
Re: I tweet di Donald Trump non mentonoCiao P, non l'ho provato. Ci ho pensato, ma non so molto di carte di controllo. I dati grezzi sono allegati al post originale se vuoi provarli e pubblicare quello che trovi.
Re: I tweet di Donald Trump non mentonoHai provato un semplice grafico I/mR del conteggio giornaliero dei tweet?
