Los tuits de Donald Trump no mientenHe estado jugando con la base de datos de tweets enviados por Donald Trump ( http://www.trumptwitterarchive.com/archive ). Mirando la cantidad de tweets por día desde el 1 de enero, resulta que siguen una distribución Gamma (quién sabía).
La línea verde en los gráficos PDF y CDF anteriores es la distribución gamma ajustada.
Mirando los datos, resulta que no es tan inusual como pensé que Donald tenga 5 o menos tweets por día. Aparte del viernes y sábado pasado, ha habido 6 días desde enero con 5 tweets o menos;
- 5 de enero - 2 tweets
- 8 de enero - 1 tweet
- 16 de febrero - 3 tweets
- 8 de marzo - 4 tweets
- 20 de julio - 3 tweets
- 21 de agosto - 4 tweets
La mediana de tweets por día es 30.
Después de ajustar la distribución gamma, podemos derivar la probabilidad de cualquier número particular de tweets. La probabilidad del número de tweets el viernes, sábado y domingo es;
- Viernes - 2 o menos tweets - 0,27% de probabilidad, o 0,4% o menos con 97,5% de confianza
- Sábado - 3 o menos tweets - 0.69% de probabilidad, o 1.0% o menos con 97.5% de confianza
- Domingo - 9 o menos tweets - 7.3% de probabilidad, o 10.2% o menos con 97.5% de confianza
El lunes tenía 31 tuits. En lo que va de hoy (martes 6/10), ha tenido 45 tuits. Claramente se siente mejor.
Combinando las 3 probabilidades anteriores, es 0,0004% de probabilidad (4 partes por millón) o menos con un 97.5% de confianza de que la baja cantidad de tweets de viernes a domingo ocurriría naturalmente.
No se me ocurre una métrica más adecuada para medir el bienestar del presidente que el número de veces que tuitea al día. Estaba muy gravemente enfermo. Sus tweets no mienten.
No estoy seguro de las reglas para combinar puntos de datos con una confianza particular. Parece que la combinación de 3 probabilidades con una herida de confianza del 97,5% da como resultado una probabilidad con una confianza mucho mayor que el 97,5%. ¿Alguien puede aclarar esto? Además, si alguien puede ver errores en mi análisis (probablemente hay muchos), no dude en señalarlos. He adjuntado los datos sin procesar para que puedan jugar con ellos.
AnalíticaRe: los tuits de Donald Trump no mienten¿Has probado un gráfico simple de I / mR del recuento diario de tweets?Re: los tuits de Donald Trump no mientenHola P, no lo he probado. Lo pensé, pero no sé mucho sobre gráficos de control. Los datos sin procesar se adjuntan a la publicación original si desea probarlos y publicar lo que encuentre.
Re: los tuits de Donald Trump no mientenBuena llamada @P_Bartell Aquí hay una foto del gráfico I, MR. El número de tweats es inconsistente. Hay algunos puntos inusuales en los datos. ¿Qué tan confiables son los datos? ¿Qué tan seguros estamos de los datos desde el día en que se cuentan? Pero ciertamente el número de tweets no fue inusual (y por lo tanto no se puede asignar según Shewhart) cuando ocurrieron los eventos recientemente (los que está tratando de asignar una causa a "sentirse mejor o no").
Re: los tuits de Donald Trump no mientenGracias @statman . Gracias por armar los gráficos. Sí, los puntos son fiables. Vinieron de http://www.trumptwitterarchive.com/archive como se indica en mi publicación original. Estoy de acuerdo en que la cantidad de tweets es inconsistente (no esperaría que la cantidad diaria de tweets de nadie fuera constante), pero las cifras son precisas.
He estado pensando en esto y no creo que un gráfico I, MR sea la herramienta adecuada para este análisis. Los gráficos de control funcionan con parámetros que siguen una distribución normal. Como señalé en mi publicación, la cantidad de tweets no sigue una distribución normal, sino una distribución gamma, que está muy sesgada hacia la derecha. Como la anomalía que estoy investigando se produce a la izquierda de la distribución, no es de extrañar que el gráfico I, MR no la capte.
Creo que mi análisis original es más apropiado que un gráfico I, MR, pero estoy abierto a equivocarme al respecto y muy abierto a escuchar comentarios y sugerencias de otros.
Re: los tuits de Donald Trump no mientenLos gráficos de control no asumen (ni requieren) una distribución normal para ser efectivos. Consulte Wheeler and Chambers "Comprensión del control estadístico de procesos" o Shewhart "Control económico de la calidad del producto manufacturado" o Deming "Fuera de la crisis, págs. 334-335. Para una lectura rápida, el artículo de Wheeler y Neave "Shewhart's Charts and the Probability Approach, 1996, dejará claro este punto.
Respecto a tu declaración " (No esperaría que la cantidad diaria de tweets de nadie fuera constante) ", Existe una gran diferencia entre inconsistente y consistente con una gran variación. ¿Por qué no esperaría una variación aleatoria en los tweets de nadie?
No es para discutir, pero ¿cómo sabe que los números son precisos o confiables? ¿Ese número incluye tweets que fueron eliminados o censurados? ¿Un mensaje que toma 5 tweets (debido a la limitación de longitud de un tweet) cuenta como 5 o 1? ¿Quién es responsable de mantener el sitio web de referencia? ¿No están afiliados a ninguna organización política?
Re: los tuits de Donald Trump no mientenGracias por ampliar mis horizontes @P_Bartell y @statman .
He leído un poco sobre los gráficos de control y ahora entiendo que la distribución no tiene que ser normal, pero se necesita algún ajuste si no es normal. Es evidente que algo anda mal cuando un límite de control (-22,6 tweets por día para el límite de control inferior en el gráfico de statman) no es físicamente posible.
Continuando con el supuesto de que el número diario de tweets sigue una distribución gamma, seleccioné los límites de zona en función de las mismas probabilidades que las de un gráfico de control distribuido normalmente (15,9% y 84,1% para la Zona A, 2,28% y 97,72% para la zona B y 0,135% y 99,865%). Los dos puntos a principios de octubre se destacan como fuera de control porque violan la Regla 3 (2 de 3 puntos en la Zona A).
Perdón por la confusión sobre la coherencia. No estoy muy seguro de lo que quiere decir con "El número de tweets es inconsistente". Si es que los puntos no están distribuidos normalmente, estoy de acuerdo, parecen estar distribuidos con una distribución gamma.
Gracias por solicitar que vuelva a verificar la fuente de datos. Según el propio sitio, incluye todos los tweets eliminados desde el 27/1/17 en adelante. Antes de esto, revisaban la cuenta de Twitter de Donald cada hora, por lo que podían perder un tweet que se publicó y luego se eliminó rápidamente. Desde el 27/1/17 verifican la cuenta en tiempo real, por lo que capturan tweets antes de que se puedan eliminar. No creo que sea relevante si un solo mensaje se divide entre varios tweets, ya que esto es parte de la variabilidad natural de los datos. El conjunto de datos ciertamente coincide con los tweets más recientes que veo en Twitter. Si puede ver algún sesgo que he pasado por alto, por favor compártalo.
Para resumir, creo que un gráfico de control es un buen método para resaltar áreas de los datos que deben examinarse. No creo que sea una buena herramienta para generar la probabilidad específica de una sección de los datos. El análisis que realicé parece más apropiado para esto, a pesar de la pregunta abierta sobre cómo producir un solo nivel de confianza a partir de puntos de datos combinados. Si alguien tiene información sobre cómo generar tal confianza, o puede ver fallas en el análisis o mejores formas de realizarlo, por favor comparta.
Re: los tuits de Donald Trump no mientenRoly, ¡Siempre feliz de ayudar a la gente a "ampliar sus horizontes"!
Quizás un poco más ampliando ... Tu declaración " ahora entiendo que la distribución no tiene por qué ser normal, pero se necesita algún ajuste si no es normal . "es incorrecta y destaca un error importante de la metodología del gráfico de control (si no está de acuerdo, tal vez pueda ubicar la sección de la literatura que respalda su argumento). Si el problema fuera enumerativo, me interesaría la distribución (y las probabilidades asociadas con ella), pero como el problema es analítico, la distribución tiene pocas consecuencias. Te sugiero que leas Deming "Sobre la probabilidad como base para la acción", El estadístico estadounidense , Noviembre de 1975, vol. 29, No. 4. Es cierto que parecería más racional si el límite de control inferior se truncara a 0, pero la mayoría, si no todos, los usuarios reconocen esto en su evaluación de los gráficos. El software simplemente hace los cálculos sin tener en cuenta la interpretación. Yo diría que la mayoría, si no todos los resultados estadísticos, deben interpretarse EN CONTEXTO.
Respecto a tu comentario:
"Perdón por la confusión sobre la coherencia. No estoy muy seguro de lo que quiere decir con "El número de tweets es inconsistente". Si es que los puntos no están distribuidos normalmente, estoy de acuerdo, parecen estar distribuidos con una distribución gamma ". Entiendo que este concepto es difícil de entender. Quizás esta sea la razón por la que muchos no saben cómo usar los gráficos de control de manera adecuada. Lo diré de nuevo, la inconsistencia no tiene nada que ver con una distribución. pags. 359, Deming, "Fuera de la crisis". La belleza de los gráficos de control de Shewhart es que no asumen distribución. Proporcionan una visión gráfica de los datos en una serie de tiempo (¡esto se pierde en cualquier análisis distributivo!). "Una distribución solo presenta el historial acumulado del desempeño de un proceso, nada sobre su capacidad ... La capacidad de un proceso puede lograrse y confirmarse mediante el uso de un gráfico de control, no mediante una distribución", Deming, "Fuera de la crisis , Pág. 314. El gráfico de rango responde a la pregunta: ¿Es la variación dentro del subgrupo (debido a que las variables cambian dentro del subgrupo) consistente, estable y por lo tanto predecible? Consistente en esta referencia significa dentro de un esperado, predecible cantidad de variación. Para el gráfico MR, la pregunta que se responde es similar: ¿Es la variación en puntos de datos consecutivos (debido a que las variables cambian entre puntos de datos consecutivos) consistente, estable y por lo tanto predecible? Entonces, cuando digo que la cantidad de tweets es inconsistente, esto significa que el proceso de publicación de tweets no es predecible, no es aleatorio e inestable. Sería difícil resumir, con alguna confianza, este proceso con estadísticas enumerativas o hacer declaraciones de probabilidad, ya que las estadísticas / probabilidades dependerían de cuando miraste los datos.
En cuanto a la fuente de datos ... No es posible responder quién envió los tweets, solo que vinieron para alguna cuenta registrada a nombre de "Donald". No tengo conocimiento directo de la cantidad real de tweets ni de quién los envió. ¿Existe sesgo en el proceso de medición? ¿Son exactos los números? No puedo contestar eso. Pero podría sugerir un plan de muestreo para proporcionar información.
El análisis distributivo con probabilidades asociadas es inapropiado para un proceso que es inconsistente, no aleatorio e impredecible.
Los dejo con esta cita, nuevamente de Deming (documento mencionado anteriormente,:
“El análisis de varianza, la prueba t, los intervalos de confianza y otras técnicas estadísticas enseñadas en los libros, por interesantes que sean, son inapropiadas porque no proporcionan una base para la predicción y porque ocultan la información contenida en el orden de producción. La mayoría, si no todos los paquetes informáticos para el análisis de datos, como se les llama, proporcionan ejemplos flagrantes de ineficiencia ".
Re: los tuits de Donald Trump no mientenHola Bill. Encuentro sus publicaciones bastante confusas y me tomó unos días reflexionar sobre ellas antes de responder.
La parte de su publicación más reciente que encuentro más desconcertante es "No es posible que responda quién envió los tweets, solo que vinieron para alguna cuenta registrada a nombre de" Donald "". http://www.trumptwitterarchive.com/archive pretende ser un archivo de las publicaciones de @realDonaldTrump. Cuando reviso las publicaciones más recientes enumeradas con las de mi cuenta de Twitter, coinciden. No he revisado las 54.000 publicaciones enumeradas y comprobado que todas coinciden, pero todas las que he comprobado coinciden. Estoy de acuerdo en que es clave comprobar la veracidad de las fuentes de datos. Sin embargo, prefiero trabajar con datos que con qué pasaría si. Si tiene datos de que el archivo no es un registro preciso de los tweets de @realDonaldTrump, o que los tweets enviados por @realDonaldTrump no provienen de nuestro presidente, por favor comparta.
Es evidente que ha aprendido mucho más que yo en los gráficos de control, pero todavía estoy luchando con su afirmación de que "dado que el problema es analítico, la distribución tiene poca importancia". Estoy muy de acuerdo en que los resultados estadísticos deben interpretarse en contexto, y uno de los contextos que debe considerarse es la distribución que siguen los datos originales. No tengo acceso al libro o los artículos a los que hace referencia. Si pudiera compartir enlaces a ellos, sería útil. La referencia que usé sobre cómo ajustar los gráficos de control para datos no normales es https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data . De los 4 métodos que describen, el cuarto (ajustar los límites de la zona para que coincidan con sus percentiles si la distribución fuera normal) me pareció el más apropiado para esta situación, y resuelve completamente mi preocupación original de que el límite de control inferior sea físicamente inalcanzable.
Me las arreglé para encontrar una copia del artículo de Wheeler y Neave "Shewhart's Charts and the Probability Approach, 1996 ( http://www.spcpress.com/pdf/DJW088.pdf ). Una lectura muy interesante. Gracias por compartir. En el documento veo que los ajustes de zona que hice significan que el gráfico ya no es un chat de control real como pretendía Shewhart. Sin embargo, no puedo superar el problema de un gráfico de control que produce un límite de control que no es físicamente posible alcanzar (tweets negativos por día). Esto elimina la capacidad del gráfico de control para distinguir entre variación controlada y no controlada (su propósito) para puntos de datos por debajo de la media. Quizás ambos podamos estar de acuerdo en que un gráfico de control no es una herramienta adecuada para investigar la probabilidad de que @realDonaldTrump envíe solo 2 tweets el 2/10 y solo 3 tweets el 3/10 (lo siento @P_Bartell ).
A menos que haya más de lo que le gustaría discutir, dejaré de publicar en este hilo y estableceré uno nuevo con mi pregunta original sobre cómo combinar los límites de confianza para las observaciones secuenciales.
Gracias por el tiempo que ha dedicado a responder a mis publicaciones. Realmente aprecio tus comentarios.
Re: los tuits de Donald Trump no mientenHaré de esta mi última respuesta también. Todo lo que puedo decir es que lo intenté. Lamento tener problemas para comunicar mis puntos. Aquí hay enlaces a informes de que los tweets de @realDonaldTrump pueden no ser solo del presidente.
https://www.npr.org/2018/04/19/603904858/who-is-the-mystery-man-behind-realdonaldtrump-besides-the-president
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
Buscalo en Google. Si no puede confiar en el sistema de medición, no estoy seguro de en qué análisis confía.
Ya les di varias fuentes sobre el uso correcto y la interpretación del método de gráficos de control. Y sí, hay muchos, muchos ejemplos del uso inapropiado de gráficos de control. Esta cita es de su referencia " ¿Ha escuchado que los datos deben distribuirse normalmente antes de poder trazarlos usando un gráfico de control?Muy a menudo se escucha esto cuando se habla de un gráfico de control individual.Esto es un mito.No es necesario que los datos se distribuyan normalmente antes de que se pueda utilizar un gráfico de control, incluido el gráfico de control de individuos. ".
Deming "Fuera del Crisis "( https://mitpress.mit.edu/books/out-crisis )
El artículo de Deming: https://www.jstor.org/stable/i326388
Libro de Shewhart: https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarbooks
Por cierto, parece que solo usó datos de 2020. Aquí hay un gráfico de tweets desde 2009. También tiene varias categorías para Original, re-tweet, respuestas, enlaces / imágenes, tweets.
