도널드 트럼프의 트윗은 거짓말을 하지 않는다나는 도널드 트럼프(Donald Trump)가 보낸 트윗 데이터베이스를 가지고 놀았습니다. http://www.trumptwitterarchive.com/archive ). 1월 1일 기준 일일 트윗 수를 보면 감마 분포를 따른다는 것을 알 수 있습니다.
위 PDF 및 CDF 플롯의 녹색 선은 피팅된 감마 분포입니다.
데이터를 살펴보면 Donald가 하루에 5개 미만의 트윗을 하는 것이 내가 생각했던 것만큼 특이한 것은 아니라는 것이 밝혀졌습니다. 지난 금요일과 토요일을 제외하고 1월부터 트윗이 5개 이하인 날은 6일입니다.
- 1월 5일 - 트윗 2개
- 1월 8일 - 트윗 1개
- 2월 16일 - 트윗 3개
- 3월 8일 - 트윗 4개
- 7월 20일 - 트윗 3개
- 8월 21일 - 트윗 4개
하루 평균 트윗 수는 30개이다.
감마 분포를 맞춘 후 특정 수의 트윗이 발생할 가능성을 도출할 수 있습니다. 금요일, 토요일, 일요일의 트윗 수 확률은 다음과 같습니다.
- 금요일 - 2개 이하의 트윗 - 가능성 0.27% 또는 97.5% 신뢰도에서 0.4% 이하
- 토요일 - 3개 이하의 트윗 - 가능성 0.69% 또는 97.5% 신뢰도에서 1.0% 이하
- 일요일 - 9개 이하의 트윗 - 가능성 7.3% 또는 97.5% 신뢰도에서 10.2% 이하
월요일에 그는 31개의 트윗을 올렸습니다. 오늘(10/6 화요일) 현재까지 그는 45개의 트윗을 올렸습니다. 분명히 그는 기분이 나아졌습니다.
위의 3가지 가능성을 결합하면 금요일부터 일요일까지 트윗 수가 적은 것이 자연스럽게 발생할 가능성이 0.0004%(4ppm) 이하이며 신뢰도는 97.5%입니다.
대통령이 하루에 트윗하는 횟수보다 대통령의 안녕을 측정하는 데 더 적합한 척도는 생각할 수 없습니다. 그는 매우 심각하게 아팠습니다. 그의 트윗은 거짓말을 하지 않습니다.
데이터 포인트를 특정 신뢰도와 결합하는 규칙을 잘 모르겠습니다. 3개의 확률과 97.5% 신뢰 상처를 결합하면 97.5% 신뢰도보다 훨씬 높은 확률이 나오는 것 같습니다. 누구든지 이것에 대해 밝힐 수 있습니까? 또한 누군가 내 분석에서 오류를 발견하면(아마도 많을 것임) 자유롭게 지적해 주세요. 직접 가지고 놀 수 있도록 원시 데이터를 첨부했습니다.
데이터 접근데이터 탐색 및 시각화Re: 도널드 트럼프의 트윗은 거짓말을 하지 않습니다이것도 마지막 답변으로 삼겠습니다. 내가 말할 수 있는 것은 내가 노력했다는 것이다. 내 의견을 전달하는 데 문제가 있어서 죄송합니다. @realDonaldTrump의 트윗이 대통령만의 트윗이 아닐 수도 있다는 보고서 링크는 다음과 같습니다.
https://www.npr.org/2018/04/19/603904858/who-is-the-mystery-man-behind-realdonaldtrump-besides-the-president
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
구글해 보세요. 측정 시스템을 신뢰할 수 없다면 어떤 분석을 신뢰하는지 잘 모르겠습니다.
나는 이미 관리 차트 방법의 올바른 사용과 해석에 대한 여러 소스를 제공했습니다. 그리고 관리도를 부적절하게 사용하는 사례는 아주 많습니다. 이 인용문은 귀하의 참조 "에서 나온 것입니다. 관리도를 사용하여 데이터를 표시하려면 먼저 데이터가 정규 분포를 따라야 한다는 말을 들어보셨나요?개인 관리도에 대해 이야기할 때 이런 말을 자주 듣게 됩니다.이것은 신화입니다.개인 관리 차트를 포함하여 관리 차트를 사용하기 전에 데이터가 정규 분포를 가질 필요는 없습니다. ".
데밍의 "아웃 오브 더 위기" ( https://mitpress.mit.edu/books/out-crisis )
데밍의 논문: https://www.jstor.org/stable/i326388
Shewhart의 책: https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarbooks
그런데 2020년 데이터만 사용한 것 같네요. 다음은 2009년 이후 트윗 그래프입니다. 또한 원본, 리트윗, 답글, 링크/이미지, 트윗에 대한 여러 카테고리가 있습니다.
Re: 도널드 트럼프의 트윗은 거짓말을 하지 않습니다안녕 빌. 귀하의 게시물이 상당히 혼란스럽다고 생각하여 응답하기 전에 검토하는 데 며칠이 걸렸습니다.
귀하의 가장 최근 게시물 중 가장 당황스러운 부분은 "누가 트윗을 보냈는지 답변할 수 없으며 단지 "Donald"에 등록된 일부 계정을 위해 왔다는 것뿐입니다."라는 것입니다. http://www.trumptwitterarchive.com/archive @realDonaldTrump 게시물의 아카이브라고 주장됩니다. 내 트위터 피드에 나열된 최신 게시물을 검토하면 일치합니다. 나열된 54K 게시물을 검토하지 않고 모두 일치하는지 확인했지만 확인한 게시물은 모두 일치합니다. 데이터 소스의 진실성을 확인하는 것이 중요하다는 점에 동의합니다. 그러나 나는 만약의 상황보다는 데이터로 작업하는 것을 선호합니다. 해당 아카이브가 @realDonaldTrump의 트윗에 대한 정확한 기록이 아니거나 @realDonaldTrump가 보낸 트윗이 우리 대통령이 보낸 것이 아니라는 데이터가 있는 경우 공유해 주세요.
당신은 관리도에 대해 훨씬 더 많이 배웠지 만 "문제는 분석적이므로 분포는 거의 중요하지 않습니다"라는 당신의 진술에 여전히 어려움을 겪고 있습니다. 통계 결과는 맥락에 따라 해석되어야 하며, 고려해야 할 맥락 중 하나는 원본 데이터가 따르는 분포라는 점에 매우 동의합니다. 나는 당신이 언급한 책이나 논문에 접근할 수 없습니다. 링크를 공유해 주시면 도움이 될 것입니다. 비정규 데이터에 대한 관리도를 조정하는 방법에 대해 제가 사용한 참고 자료는 다음과 같습니다. https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data . 그들이 설명하는 4가지 방법 중 4번째(분포가 정상인 경우 백분위수와 일치하도록 영역 제한을 조정하는 것)가 나에게는 이 상황에 가장 적합한 것으로 보였고, 하한 제어 제한이 물리적으로 불가능하다는 원래 우려를 완전히 해결했습니다.
나는 Wheeler와 Neave의 논문 "Shewhart's Charts and the Probability Approach, 1996(1996)의 사본을 찾았습니다. http://www.spcpress.com/pdf/DJW088.pdf ). 매우 흥미로운 읽기였습니다. 공유해 주셔서 감사합니다. 논문에서 내가 수행한 영역 조정은 차트가 더 이상 Shewhart가 의도한 대로 실제 제어 채팅이 아니라는 것을 의미합니다. 그러나 물리적으로 달성할 수 없는 통제 한계(일일 부정적인 트윗 수)를 생성하는 통제 차트 문제를 극복할 수 없습니다. 이렇게 하면 평균 아래의 데이터 포인트에 대해 제어된 변동과 통제되지 않은 변동(목적)을 구별하는 관리 차트 기능이 제거됩니다. 아마도 우리는 관리도가 @realDonaldTrump가 10월 2일에 단 2개의 트윗만 보내고 10월 3일에 단 3개의 트윗만 보낼 가능성을 조사하는 데 적합한 도구가 아니라는 데 동의할 수 있습니다. @P_바텔 ).
더 논의하고 싶은 내용이 없으면 이 스레드 게시를 중단하고 순차적 관찰에 대한 신뢰 한계를 결합하는 방법에 대한 원래 질문을 묻는 새 스레드를 설정하겠습니다.
시간을 내어 내 게시물에 응답해 주셔서 감사합니다. 귀하의 의견에 진심으로 감사드립니다.
Re: 도널드 트럼프의 트윗은 거짓말을 하지 않습니다Roly, 사람들이 "지평을 넓힐" 수 있도록 항상 기쁘게 생각합니다!
아마도 좀 더 확장될 것입니다...귀하의 진술 " 이제 분포가 정규 분포일 필요는 없지만, 비정상이라면 약간의 조정이 필요합니다 ."은 부정확하며 관리 차트 방법론에 대한 주요 오해를 강조합니다(동의하지 않는 경우 주장을 뒷받침하는 문헌 섹션을 찾을 수 있습니다). 문제가 열거형이라면 분포(및 이와 관련된 확률)에 관심이 있지만 문제가 분석적이므로 분포는 별 의미가 없습니다. 나는 당신이 읽을 것을 제안합니다 Deming "행동의 기초로서의 확률", 미국 통계학자 , 1975년 11월, Vol. 29, No. 4. 물론, 관리 하한을 0으로 자르면 더 합리적으로 보일 수 있지만, 모든 사용자는 아니더라도 대부분의 사용자가 차트 평가에서 이를 인식합니다. 소프트웨어는 해석에 관계없이 단순히 수학을 수행합니다. 모든 통계 결과를 문맥상 해석해야 하는 것은 아니지만 대부분의 경우에 해당한다고 말하고 싶습니다.
귀하의 의견과 관련하여:
"일관성에 대해 혼란을 드려 죄송합니다. "트윗 수가 일관되지 않습니다"라는 말이 무슨 뜻인지 잘 모르겠습니다. 포인트가 정상적으로 분포되어 있지 않다는 점이라면 감마 분포로 분포되어 있는 것으로 보인다는 점에 동의합니다." 나는 이 개념이 이해하기 어렵다는 것을 이해합니다. 아마도 이것이 관리도를 적절하게 사용하는 방법을 모르는 사람들이 많은 이유일 것입니다. 다시 한번 말씀드리지만, 불일치는 분포와 아무런 관련이 없습니다. 피. 359, 데밍, "위기에서 벗어남". Shewhart 관리도의 장점은 분포가 없다고 가정한다는 것입니다. 시계열의 데이터에 대한 그래픽 보기를 제공합니다(분포 분석에서는 손실됩니다!). "분포는 공정 성능에 대한 누적된 이력만을 나타낼 뿐 그 능력에 대해서는 아무 것도 나타내지 않습니다. 공정의 능력은 분포가 아닌 관리 차트를 사용하여 달성하고 확인할 수 있습니다.", Deming, "위기에서 벗어나다 , 314페이지. 범위형 차트는 다음 질문에 답합니다. 부분군 내 변동(부분군 내 변수 변경으로 인해)이 일관되고 안정적이므로 예측 가능합니까? 이 참조에서 일관성은 다음을 의미합니다. 예상되는, 예측 가능한 변화량. MR 차트의 경우 대답되는 질문은 비슷합니다. 연속 데이터 포인트의 변동(연속 데이터 포인트 사이의 변수 변경으로 인해)이 일관되고 안정적이며 예측 가능합니까? 따라서 트윗 수가 일관되지 않다고 말하는 것은 트윗 게시 과정이 예측할 수 없고 무작위적이고 불안정하지 않다는 것을 의미합니다. 열거형 통계를 사용하여 이 프로세스를 자신있게 요약하거나 통계/확률이 의존하는 확률 설명을 작성하는 것은 어려울 수 있습니다. 언제 당신은 데이터를 보았습니다.
데이터 출처에 관해서는...트윗을 보낸 사람이 누구인지는 알 수 없고, "Donald"에 등록된 일부 계정에서 왔다는 것만 알 수 있습니다. 나는 실제 트윗 수나 보낸 사람에 대해 직접적인 지식이 없습니다. 측정 과정에 편향이 있나요? 숫자가 정확합니까? 나는 그것에 대답할 수 없다. 하지만 통찰력을 제공하기 위해 샘플링 계획을 제안할 수 있습니다.
관련 확률을 사용한 분포 분석은 일관성이 없고 무작위가 아니며 예측할 수 없는 프로세스에는 부적절합니다.
Deming의 인용문을 다시 한 번 전하겠습니다(위에 언급된 논문:
“책에서 가르치는 분산 분석, t-테스트, 신뢰 구간 및 기타 통계 기법은 아무리 흥미롭더라도 예측의 근거를 제공하지 않고 생산 순서에 포함된 정보를 묻어두기 때문에 부적절합니다. 전부는 아니더라도 대부분의 데이터 분석용 컴퓨터 패키지는 비효율성의 명백한 예를 제공합니다.”
Re: 도널드 트럼프의 트윗은 거짓말을 하지 않습니다시야를 넓혀주셔서 감사합니다 @P_바텔 그리고 @statman .
관리도를 좀 읽어본 결과 이제 분포가 정규일 필요는 없지만 정규가 아닌 경우 약간의 조정이 필요하다는 것을 이해했습니다. 제어 한계(Statman 차트의 제어 한계 하한에 대해 하루 -22.6개의 트윗)가 물리적으로 가능하지 않으면 분명히 잘못된 것이 있습니다.
일일 트윗 수가 감마 분포를 따른다는 가정 하에 정규 분포 관리 차트와 동일한 확률을 기준으로 영역 제한을 선택했습니다(Zone A의 경우 15.9% 및 84.1%, Zone B의 경우 2.28% 및 97.72%). 및 0.135% 및 99.865%). 10월 초의 두 지점은 규칙 3(영역 A의 3개 지점 중 2개 지점)을 위반하기 때문에 통제 불능으로 강조 표시됩니다.
일관성에 대해 혼란을 드려 죄송합니다. "트윗 수가 일관되지 않습니다"라는 말이 무슨 뜻인지 잘 모르겠습니다. 포인트가 정상적으로 분포되어 있지 않다면 감마 분포로 분포되어 있는 것으로 보입니다.
데이터 소스를 다시 확인해 달라고 요청해 주셔서 감사합니다. 사이트 자체에 따르면 여기에는 2017년 1월 27일 이후 삭제된 모든 트윗이 포함됩니다. 이전에는 Donald의 트위터 계정을 매시간 확인했기 때문에 게시된 트윗이 금방 삭제될 수 있었습니다. 2017년 1월 27일부터 실시간으로 계정을 확인하므로 삭제되기 전에 트윗을 캡처하세요. 나는 단일 메시지가 여러 트윗으로 분할되는지 여부가 관련성이 있다고 생각하지 않습니다. 이는 데이터의 자연스러운 가변성의 일부이기 때문입니다. 데이터 세트는 확실히 내가 트위터에서 본 가장 최근 트윗과 일치합니다. 제가 놓친 편견이 있다면 공유해 주세요.
요약하자면, 관리 차트는 데이터에서 조사해야 할 영역을 강조하는 좋은 방법이라고 생각합니다. 나는 그것이 데이터 섹션의 구체적인 가능성을 생성하는 데 좋은 도구라고 생각하지 않습니다. 결합된 데이터 포인트에서 단일 신뢰 수준을 생성하는 방법에 대한 공개 질문에도 불구하고 제가 수행한 분석이 이에 더 적합한 것 같습니다. 그러한 신뢰를 얻는 방법에 대한 통찰력을 갖고 있거나 분석의 결함이나 더 나은 수행 방법을 발견할 수 있는 사람이 있으면 공유해 주십시오.
Re: 도널드 트럼프의 트윗은 거짓말을 하지 않습니다관리도는 정규 분포가 효과적이라고 가정하거나 요구하지 않습니다. Wheeler and Chambers의 "통계적 공정 제어 이해" 또는 Shewhart "제조 제품 품질의 경제적 제어" 또는 Deming "Out of the Crisis P. 334-335를 참조하십시오. 빠른 읽기를 위해 Wheeler와 Neave의 논문 "Shewhart's Charts and the Probability Approach, 1996"에서 이 점을 명확하게 설명합니다.
귀하의 발언에 대해 " (누군가의 일일 트윗 수가 일정할 것이라고는 기대하지 않습니다.)", 큰 차이가 있는 불일치와 일관성 사이에는 큰 차이가 있습니다. 누군가의 트윗이 무작위로 변할 것이라고 기대하지 않는 이유는 무엇입니까?
논쟁하려는 것이 아닙니다. 하지만 숫자가 정확하거나 신뢰할 수 있는지 어떻게 알 수 있습니까? 그 숫자에는 삭제되거나 검열된 트윗도 포함되어 있나요? 5개의 트윗을 사용하는 메시지(트윗 길이 제한으로 인해)는 5개 또는 1개로 계산됩니까? 참조된 웹사이트의 유지 관리 책임은 누구에게 있습니까? 그들은 어떤 정치 조직에도 소속되어 있지 않습니까?
Re: 도널드 트럼프의 트윗은 거짓말을 하지 않습니다감사해요 @statman . 차트를 정리해주셔서 감사합니다. 예, 그 점은 신뢰할 만합니다. 그들은에서 왔습니다 http://www.trumptwitterarchive.com/archive 내 원래 게시물에 언급된 대로. 나는 트윗 수가 일정하지 않다는 점에 동의하지만(누구의 일일 트윗 수가 일관적일 것이라고는 기대하지 않습니다) 숫자는 정확합니다.
나는 이것에 대해 생각해 왔고 I, MR 차트가 이 분석에 적합한 도구라고 생각하지 않습니다. 관리도는 정규 분포를 따르는 매개변수에 대해 작동합니다. 내 게시물에서 언급했듯이 트윗 수는 정규 분포를 따르지 않고 오른쪽으로 크게 치우친 감마 분포를 따릅니다. 제가 조사하고 있는 이상 현상이 분포의 왼쪽에서 발생하기 때문에 I, MR 차트가 이를 포착하지 못하는 것은 놀라운 일이 아닙니다.
나는 나의 원래 분석이 I, MR 차트보다 더 적절하다고 생각합니다. 그러나 나는 이에 대해 틀릴 수 있으며 다른 사람들의 피드백과 제안을 듣는 데 매우 열려 있습니다.
Re: 도널드 트럼프의 트윗은 거짓말을 하지 않습니다좋은 통화 @P_바텔 I, MR 차트의 사진은 다음과 같습니다. 트윗 개수가 일치하지 않습니다. 데이터에는 몇 가지 특이한 점이 있습니다. 데이터는 얼마나 신뢰할 수 있나요? 데이터가 계산된 날부터의 데이터인지 얼마나 확실합니까? 그러나 최근 사건("기분이 좋아졌는지 안 좋아졌는지"에 대한 원인을 지정하려고 하는 사건)이 발생했을 때 트윗 수는 확실히 이상하지 않았습니다(따라서 Shewhart별로 할당할 수 없음).
Re: 도널드 트럼프의 트윗은 거짓말을 하지 않습니다안녕하세요 P. 저는 그것을 시도하지 않았습니다. 생각해봤는데 관리도에 대해서는 잘 모릅니다. 원시 데이터는 원본 게시물에 첨부되어 있으므로 시험해 보고 찾은 내용을 게시할 수 있습니다.
Re: 도널드 트럼프의 트윗은 거짓말을 하지 않습니다일일 트윗 수에 대한 간단한 I/mR 차트를 사용해 보셨나요?
