Los tuits de Donald Trump no mientenHe estado jugando con la base de datos de tweets enviados por Donald Trump ( http://www.trumptwitterarchive.com/archive ). Si observamos el número de tweets por día desde el 1 de enero, resulta que siguen una distribución Gamma (quién sabe).
La línea verde en los gráficos PDF y CDF anteriores es la distribución gamma ajustada.
Al observar los datos, resulta que no es tan inusual como pensaba que Donald tenga menos de 5 tweets por día. Aparte del viernes y sábado pasados, ha habido 6 días desde enero con 5 tweets o menos;
- 5 de enero - 2 tweets
- 8 de enero - 1 tweet
- 16 de febrero - 3 tweets
- 8 de marzo - 4 tweets
- 20 de julio - 3 tweets
- 21 de agosto - 4 tweets
La mediana del número de tweets por día es 30.
Después de ajustar la distribución gamma, podemos derivar la probabilidad de cualquier número particular de tweets. La probabilidad del número de tweets los viernes, sábado y domingo es;
- Viernes: 2 tweets o menos: 0,27 % de probabilidad, o 0,4 % o menos con 97,5 % de confianza
- Sábado: 3 tweets o menos: 0,69 % de probabilidad, o 1,0 % o menos con 97,5 % de confianza
- Domingo: 9 tweets o menos: 7,3 % de probabilidad, o 10,2 % o menos con 97,5 % de confianza
El lunes tenía 31 tweets. Hasta el momento hoy (martes 6/10), ha tenido 45 tweets. Es evidente que se siente mejor.
Combinando las 3 probabilidades anteriores, hay un 0,0004% de probabilidad (4 partes por millón) o menos con un 97,5% de confianza de que el bajo número de tweets de viernes a domingo se produciría de forma natural.
No se me ocurre una métrica más adecuada para medir el bienestar del presidente que el número de veces que tuitea al día. Estaba muy gravemente enfermo. Sus tuits no mienten.
No estoy seguro de las reglas para combinar puntos de datos con particular confianza. Parece que la combinación de 3 probabilidades con un 97,5% de confianza resulta en una probabilidad con una confianza mucho mayor que el 97,5%. ¿Alguien puede aclarar esto? Además, si alguien puede ver errores en mi análisis (probablemente haya muchos), no dude en señalarlos. Adjunto los datos sin procesar para que podáis jugar con ellos vosotros mismos.
Acceso a los datosExploración y visualización de datosRe: Los tweets de Donald Trump no mientenHaré de esta mi última respuesta también. Todo lo que puedo decir es que lo intenté. Lo siento, tengo problemas para comunicar mis puntos. Aquí hay enlaces a informes de que los tweets de @realDonaldTrump pueden no ser solo del presidente.
https://www.npr.org/2018/04/19/603904858/quién-es-el-hombre-misterio-detrás-realdonaldtrump-además-del-presidente
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
Buscalo en Google. Si no puede confiar en el sistema de medición, no estoy seguro de en qué análisis tiene confianza.
Ya les proporcioné varias fuentes sobre el uso y la interpretación correctos del método del gráfico de control. Y sí, hay muchísimos ejemplos del uso inadecuado de los gráficos de control. Esta cita es de su referencia " ¿Has oído que los datos deben distribuirse normalmente antes de poder trazarlos usando un gráfico de control?Muy a menudo se escucha esto cuando se habla de un cuadro de control individual.Esto es un mito.No es necesario que los datos estén distribuidos normalmente antes de poder utilizar un gráfico de control, incluido el gráfico de control individual. ".
"Fuera del Crisis" ( https://mitpress.mit.edu/books/out-crisis )
El artículo de Deming: https://www.jstor.org/stable/i326388
El libro de Shewhart: https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarbooks
Por cierto, parece que solo usaste datos de 2020. Aquí hay un gráfico de tweets desde 2009. También tiene múltiples categorías para Original, retuitear, Respuestas, Enlaces/imágenes, Tweets.
Re: Los tweets de Donald Trump no mientenHola Bill. Sus publicaciones me parecen bastante confusas y me tomé unos días reflexionar sobre ellas antes de responder.
La parte de su publicación más reciente que encuentro más desconcertante es "No es posible responder quién envió los tweets, solo que provienen de alguna cuenta registrada a nombre de "Donald"". http://www.trumptwitterarchive.com/archive pretende ser un archivo de las publicaciones de @realDonaldTrump. Cuando reviso las publicaciones más recientes enumeradas en mi cuenta de Twitter, coinciden. No revisé las publicaciones de 54K enumeradas y verifiqué que todas coincidieran, pero todas las que verifiqué coinciden. Estoy de acuerdo en que es clave comprobar la veracidad de las fuentes de datos. Sin embargo, prefiero trabajar con datos que con hipótesis. Si tiene datos de que el archivo no es un registro preciso de los tweets de @realDonaldTrump, o que los tweets enviados por @realDonaldTrump no provienen de nuestro Presidente, por favor compártalos.
Es evidente que usted ha aprendido mucho más que yo sobre los gráficos de control, pero todavía estoy luchando con su afirmación de que "dado que el problema es analítico, la distribución tiene pocas consecuencias". Estoy totalmente de acuerdo en que los resultados estadísticos deben interpretarse en contexto, y uno de los contextos que debe considerarse es la distribución que siguen los datos originales. No tengo acceso al libro ni a los artículos a los que hace referencia. Si pudiera compartir enlaces a ellos, sería útil. La referencia que utilicé sobre cómo ajustar los gráficos de control para datos no normales es https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data . De los 4 métodos que describen, el 4º (ajustar los límites de la zona para que coincidan con sus percentiles si la distribución fuera normal) me pareció el más apropiado para esta situación y resuelve por completo mi preocupación original de que el límite de control inferior fuera físicamente inalcanzable.
Logré encontrar una copia del artículo de Wheeler y Neave "Shewhart's Charts and the Probability Approach, 1996 ( http://www.spcpress.com/pdf/DJW088.pdf ). Una lectura muy interesante. Gracias por compartir. Del documento veo que los ajustes de zona que hice significan que el gráfico ya no es un chat de control real como pretendía Shewhart. Sin embargo, no puedo superar el problema de que un gráfico de control produzca un límite de control que no es físicamente posible alcanzar (tweets negativos por día). Esto elimina la capacidad del gráfico de control para distinguir entre variación controlada e incontrolada (su propósito) para puntos de datos por debajo de la media. Quizás ambos podamos estar de acuerdo en que un gráfico de control no es una herramienta adecuada para investigar la probabilidad de que @realDonaldTrump envíe solo 2 tweets el 2/10 y solo 3 tweets el 3/10 (lo siento). @P_Bartell ).
A menos que haya más sobre lo que le gustaría discutir, dejaré de publicar en este hilo y crearé uno nuevo con mi pregunta original sobre cómo combinar los límites de confianza para observaciones secuenciales.
Gracias por el tiempo que has dedicado a responder a mis publicaciones. Realmente aprecio tus comentarios.
Re: Los tweets de Donald Trump no mientenRoly, ¡siempre feliz de ayudar a la gente a "ampliar sus horizontes"!
Quizás un poco más amplio...Su declaración " Ahora entiendo que la distribución no tiene que ser normal, sino se necesita algún ajuste si no es normal ." es incorrecto y resalta un error importante sobre la metodología del gráfico de control (si no está de acuerdo, tal vez pueda ubicar la sección de la literatura que respalda su argumento). Si el problema fuera enumerativo, me interesaría la distribución (y las probabilidades asociadas con ella), pero como el problema es analítico, la distribución tiene pocas consecuencias. te sugiero que leas Deming "Sobre la probabilidad como base para la acción", El estadístico americano , noviembre de 1975, vol. 29, núm. 4. Es cierto que parecería más racional si el límite de control inferior se truncara a 0, pero la mayoría, si no todos, los usuarios lo reconocen en su evaluación de los gráficos. El software simplemente hace los cálculos sin tener en cuenta la interpretación. Yo diría que la mayoría, si no todos, los resultados estadísticos deben interpretarse EN CONTEXTO.
Respecto a tu comentario:
"Perdón por la confusión sobre la coherencia. No estoy muy seguro de lo que quieres decir con "El número de tweets es inconsistente". Si es que los puntos no están distribuidos normalmente, estoy de acuerdo, parecen estar distribuidos con una distribución gamma." Entiendo que este concepto es difícil de entender. Quizás esta sea la razón por la que tantas personas no saben cómo utilizar apropiadamente los gráficos de control. Lo diré nuevamente: la inconsistencia no tiene nada que ver con una distribución. pag. 359, Deming, "Fuera de la crisis". La belleza de los gráficos de control de Shewhart es que no suponen ninguna distribución. Proporcionan una visión gráfica de los datos en una serie de tiempo (¡esto se pierde en cualquier análisis distributivo!). "Una distribución sólo presenta el historial acumulado del desempeño de un proceso, nada sobre su capacidad... La capacidad de un proceso puede lograrse y confirmarse mediante el uso de un gráfico de control, no mediante una distribución", Deming, "Out of the Crisis , pág. 314. El gráfico de rango responde a la pregunta: ¿Es la variación dentro del subgrupo (debido a que las variables cambian dentro del subgrupo) consistente, estable y, por lo tanto, predecible? Consistente en esta referencia significa dentro de un esperado, predecible cantidad de variación. Para el gráfico MR, la pregunta que se responde es similar: ¿La variación en puntos de datos consecutivos (debido a que las variables cambian entre puntos de datos consecutivos) es consistente, estable y, por lo tanto, predecible? Entonces, cuando digo que la cantidad de tweets es inconsistente, significa que el proceso de publicación de tweets no es predecible, aleatorio e inestable. Sería difícil resumir, con cierta confianza, este proceso con estadísticas enumerativas o hacer declaraciones de probabilidad, ya que las estadísticas/probabilidades dependerían de cuando Miraste los datos.
En cuanto a la fuente de datos... No es posible responder quién envió los tweets, sólo que vinieron de alguna cuenta registrada a nombre de "Donald". No tengo conocimiento directo del número real de tweets ni de quién los envió. ¿Existe sesgo en el proceso de medición? ¿Son exactos los números? No puedo responder a eso. Pero podría sugerir un plan de muestreo para proporcionar información.
El análisis distributivo con probabilidades asociadas es inadecuado para un proceso que es inconsistente, no aleatorio e impredecible.
Los dejo con esta cita, nuevamente de Deming (artículo al que se hace referencia anteriormente:
“El análisis de varianza, la prueba t, los intervalos de confianza y otras técnicas estadísticas que se enseñan en los libros, por interesantes que sean, son inapropiadas porque no proporcionan ninguna base para la predicción y porque entierran la información contenida en el orden de producción. La mayoría, si no todos, los paquetes informáticos para el análisis de datos, como se les llama, proporcionan ejemplos flagrantes de ineficiencia”.
Re: Los tweets de Donald Trump no mientenGracias por ampliar mis horizontes. @P_Bartell y @statman .
He leído un poco sobre los gráficos de control y ahora entiendo que la distribución no tiene que ser normal, pero se necesitan algunos ajustes si no es normal. Es evidente que algo anda mal cuando un límite de control (-22,6 tweets por día para el límite de control inferior en el gráfico de Statman) no es físicamente posible.
Siguiendo con el supuesto de que el número diario de tweets sigue una distribución gamma, seleccioné límites de zona basados en las mismas probabilidades que en un gráfico de control distribuido normalmente (15,9% y 84,1% para la zona A, 2,28% y 97,72% para la zona 
. , y 0,135% y 99,865%). Los dos puntos de principios de octubre se destacan como fuera de control porque violan la Regla 3 (2 de 3 puntos en la Zona A).
Perdón por la confusión sobre la coherencia. No estoy muy seguro de lo que quieres decir con "El número de tweets es inconsistente". Si es que los puntos no están distribuidos normalmente, estoy de acuerdo, parecen estar distribuidos con una distribución gamma.
Gracias por solicitar que verifique dos veces la fuente de datos. Según el propio sitio, incluye todos los tweets eliminados desde el 27/01/17 en adelante. Antes de esto, revisaban la cuenta de Twitter de Donald cada hora, por lo que podían pasar por alto un tweet que se publicaba y luego se eliminaba rápidamente. Desde el 27/01/17 revisan la cuenta en tiempo real, por lo que capturan los tweets antes de que puedan ser eliminados. No veo relevante si un único mensaje se divide entre varios tweets, ya que esto es parte de la variabilidad natural de los datos. El conjunto de datos ciertamente coincide con los tweets más recientes que veo en Twitter. Si puede ver algún sesgo que se me haya escapado, compártalo.
En resumen, creo que un gráfico de control es un buen método para resaltar áreas de los datos que deberían examinarse. No creo que sea una buena herramienta para generar la probabilidad específica de una sección de datos. El análisis que realicé parece más apropiado para esto, a pesar de la pregunta abierta sobre cómo producir un nivel de confianza único a partir de puntos de datos combinados. Si alguien tiene idea de cómo generar dicha confianza, o puede ver fallas en el análisis o mejores formas de realizarlo, por favor compártalo.
Re: Los tweets de Donald Trump no mientenLos gráficos de control no suponen (ni requieren) una distribución normal para ser efectivos. Véase Wheeler y Chambers "Comprensión del control estadístico de procesos" o Shewhart "Control económico de la calidad del producto fabricado" o Deming "Out of the Crisis P. 334-335. Para una lectura rápida, el artículo de Wheeler y Neave "Shewhart's Charts and the Probability Approach, 1996" aclarará este punto.
Respecto a tu declaración " (No esperaría que el número diario de tweets de nadie fuera consistente)", Existe una gran diferencia entre inconsistente y consistente con una gran variación. ¿Por qué no esperarías variaciones aleatorias en los tweets de nadie?
No quiero discutir, pero ¿cómo SABES que los números son precisos o confiables? ¿Ese número incluye tweets que fueron eliminados o censurados? ¿Un mensaje que contiene 5 tweets (debido a la limitación de longitud de un tweet) cuenta como 5 o 1? ¿Quién es responsable del mantenimiento del sitio web referenciado? ¿No están afiliados a ninguna organización política?
Re: Los tweets de Donald Trump no mientenGracias @statman . Gracias por armar los gráficos. Sí, los puntos son confiables. Vinieron de http://www.trumptwitterarchive.com/archive como se indica en mi publicación original. Estoy de acuerdo en que la cantidad de tweets es inconsistente (no esperaría que la cantidad diaria de tweets de nadie fuera consistente), pero las cifras son precisas.
He estado pensando en esto y no creo que un gráfico I, MR sea la herramienta adecuada para este análisis. Los gráficos de control funcionan con parámetros que siguen una distribución normal. Como señalé en mi publicación, la cantidad de tweets no sigue una distribución normal, sino una distribución gamma, que está muy sesgada hacia la derecha. Como la anomalía que estoy investigando ocurre muy a la izquierda de la distribución, no es sorprendente que el gráfico I, MR no la detecte.
Creo que mi análisis original es más apropiado que un gráfico I, MR, pero estoy abierto a equivocarme en esto y muy abierto a escuchar comentarios y sugerencias de otros.
Re: Los tweets de Donald Trump no mientenBuena llamada @P_Bartell Aquí hay una foto del gráfico I, MR. El número de ajustes es inconsistente. Hay algunos puntos inusuales en los datos. ¿Qué tan confiables son los datos? ¿Qué tan seguros estamos de que los datos son del día en que se cuentan? Pero ciertamente el número de tweets no fue inusual (y por lo tanto no asignable según Shewhart) cuando ocurrieron los eventos recientemente (aquellos a los que se intenta asignar una causa a "sentirse mejor o no").
Re: Los tweets de Donald Trump no mientenHola P, no lo he probado. Lo pensé, pero no sé mucho sobre gráficos de control. Los datos sin procesar se adjuntan a la publicación original si desea probarlos y publicar lo que encuentre.
Re: Los tweets de Donald Trump no mienten¿Has probado un gráfico I/mR simple del recuento diario de tweets?
