Donald Trump 's tweets do not lie도널드 트럼프가 보낸 트윗 데이터베이스를 가지고 놀았습니다. http://www.trumptwitterarchive.com/archive ). 1 월 1 일부터 하루에 트윗 수를 살펴보면 감마 분포 (알고있는 사람)를 따르는 것으로 나타났습니다.
위의 PDF 및 CDF 플롯의 녹색 선은 피팅 된 감마 분포입니다.
데이터를 살펴보면 Donald가 하루에 5 개 이하의 트윗을한다고 생각했던 것만 큼 드물지 않은 것으로 나타났습니다. 지난 금요일과 토요일을 제외하고 1 월 이후 6 일 동안 5 개 이하의 트윗이있었습니다.
- 1 월 5 일-트윗 2 개
- 1 월 8 일-트윗 1 개
- 2 월 16 일-3 tweets
- 3 월 8 일-트윗 4 개
- 7 월 20 일-3 tweets
- 8 월 21 일-트윗 4 개
하루 평균 트윗 수는 30 개입니다.
감마 분포를 맞춘 후 특정 수의 트윗 가능성을 도출 할 수 있습니다. 금요일, 토요일 및 일요일에 트윗 수의 가능성은 다음과 같습니다.
- 금요일-트윗 2 개 이하-가능성 0.27 % 또는 97.5 % 신뢰도로 0.4 % 이하
- 토요일-3 개 이하의 트윗-가능성 0.69 % 또는 97.5 % 신뢰도로 1.0 % 이하
- 일요일-9 개 이하의 트윗-가능성 7.3 % 또는 97.5 % 신뢰로 10.2 % 이하
월요일에는 31 개의 트윗이있었습니다. 오늘까지 (화요일 10/6) 그는 45 개의 트윗을 올렸습니다. 분명히 그는 기분이 나아졌습니다.
위의 3 가지 가능성을 결합하면 확률이 0.0004 % (백만 분의 4) 이하이며 금요일부터 일요일까지 낮은 트윗 수가 자연스럽게 발생할 것이라고 97.5 % 확신합니다.
나는 그가 하루에 트윗하는 횟수보다 대통령의 안녕을 측정하는 데 더 적합한 메트릭을 생각할 수 없습니다. 그는 매우 심하게 아팠습니다. 그의 트윗은 거짓말을하지 않습니다.
데이터 포인트를 특정 신뢰와 결합하는 규칙을 잘 모르겠습니다. 3 개의 확률과 97.5 %의 신뢰 상처를 결합하면 97.5 %의 신뢰도보다 훨씬 높은 확률을 얻을 수 있습니다. 누구든지 이것에 대해 밝힐 수 있습니까? 또한 누군가 내 분석에서 오류를 볼 수 있다면 (아마도 많을 것입니다) 자유롭게 지적하십시오. 원시 데이터를 첨부하여 직접 재생할 수 있습니다.
해석학Re : Donald Trump의 트윗은 거짓말하지 않습니다일일 트윗 수에 대한 간단한 I / mR 차트를 사용해 보셨습니까?Re : Donald Trump의 트윗은 거짓말하지 않습니다안녕 P, 나는 그것을 시도하지 않았습니다. 생각했지만 관리도에 대해서는 잘 모릅니다. 시도해보고 찾은 것을 게시하려면 원시 데이터가 원본 게시물에 첨부됩니다.
Re : Donald Trump의 트윗은 거짓말하지 않습니다좋은 전화 뿡 빵뀨 다음은 I, MR 차트의 사진입니다. 조정 횟수가 일치하지 않습니다. 데이터에 특이한 점이 있습니다. 데이터는 얼마나 신뢰할 수 있습니까? 데이터가 계산 된 날로부터 얼마나 확실합니까? 그러나 최근에 이벤트가 발생했을 때 ( "느낌이 나을지 아닌지"에 원인을 지정하려는 경우) 트윗 수는 드물지 않았습니다 (따라서 Shewhart에 할당 할 수 없음).
Re : Donald Trump의 트윗은 거짓말하지 않습니다감사 @statman . 차트를 작성해 주셔서 감사합니다. 예, 포인트는 신뢰할 수 있습니다. 그들은에서왔다 http://www.trumptwitterarchive.com/archive 내 원래 게시물에 명시된대로. 나는 트윗의 수가 일관 적이 지 않다는 데 동의하지만 (모든 사람의 일일 트윗 수가 일관 적이 지 않을 것이라고 기대합니다), 그 숫자는 정확합니다.
나는 이것에 대해 생각하고 있으며 I, MR 차트가이 분석에 적합한 도구라고 생각하지 않습니다. 관리도는 정규 분포를 따르는 모수에서 작동합니다. 내 게시물에서 언급했듯이 트윗 수는 정규 분포를 따르지 않고 오른쪽으로 크게 치우친 감마 분포를 따릅니다. 내가 조사하고있는 이상 현상은 분포의 왼쪽에서 발생하므로 I, MR 차트가이를 선택하지 않는 것은 놀라운 일이 아닙니다.
나는 나의 원래 분석이 I, MR 차트보다 더 적절하다고 생각하지만, 나는 이것에 대해 틀릴 수 있으며 다른 사람들의 피드백과 제안을 듣는 데 매우 열려 있습니다.
Re : Donald Trump의 트윗은 거짓말하지 않습니다관리도는 정규 분포가 효과적이라고 가정하거나 요구하지 않습니다. Wheeler and Chambers "통계적 공정 제어 이해"또는 Shewhart "제조 된 제품의 품질에 대한 경제적 제어"또는 "위기에서 벗어난"P. 334-335를 참조하십시오. 빠른 읽기를 위해 Wheeler와 Neave의 논문 "Shewhart 's Charts and the Probability Approach, 1996는이 점을 분명히 보여줄 것입니다.
귀하의 진술에 대해 " (누구의 일일 트윗 수가 일관 적이 지 않을 것이라고 생각합니다.) ", 일관성이없는 것과 큰 차이가있는 것에는 큰 차이가 있습니다. 왜 다른 사람의 트윗에서 무작위적인 변형을 기대하지 않습니까?
논쟁하지 말고 숫자가 정확하거나 신뢰할 수 있는지 어떻게 알 수 있습니까? 여기에 삭제되거나 검열 된 트윗이 포함됩니까? 5 개의 트윗 (트윗 길이 제한으로 인해)을받는 메시지는 5 개 또는 1 개로 계산됩니까? 참조 된 웹 사이트를 관리하는 책임은 누구에게 있습니까? 그들은 어떤 정치 조직과도 관련이 없습니까?
Re : Donald Trump의 트윗은 거짓말하지 않습니다내 시야를 넓혀 주셔서 감사합니다 뿡 빵뀨 과 @statman .
나는 관리도를 읽어 봤고, 이제 분포가 정규 분포 일 필요는 없지만 비정규 분포라면 약간의 조정이 필요하다는 것을 이해했습니다. 통제 한계 (statman 차트의 통제 하한에 대해 하루에 22.6 트윗)가 물리적으로 불가능할 때 분명히 잘못된 것이 있습니다.
일일 트윗 수가 감마 분포를 따른다는 가정하에 정규 분포 관리도의 확률과 동일한 확률 (영역 A의 경우 15.9 % 및 84.1 %, 영역 B의 경우 2.28 % 및 97.72 %)을 기반으로 영역 제한을 선택했습니다. , 0.135 % 및 99.865 %). 10 월 초에 두 포인트는 규칙 3 (Zone A의 3 점 중 2 점)을 위반하기 때문에 통제 불능으로 강조 표시됩니다.
일관성에 대한 혼란을 드려 죄송합니다. "트윗 수가 일치하지 않습니다"라는 말이 무슨 뜻인지 잘 모르겠습니다. 점이 정상적으로 분포되어 있지 않다면 감마 분포로 분포되어있는 것 같습니다.
데이터 소스를 다시 확인하도록 요청 해 주셔서 감사합니다. 사이트 자체에 따르면 2017 년 1 월 27 일부터 삭제 된 모든 트윗이 포함됩니다. 그 전에는 도널드의 트위터 계정을 매시간 확인했기 때문에 게시 된 트윗을 놓치고 빠르게 삭제 될 수있었습니다. 17 년 1 월 1 일부터 실시간으로 계정을 확인하므로 삭제하기 전에 트윗을 캡처합니다. 단일 메시지가 여러 트윗에 분할되어 있는지 여부는 데이터의 자연스러운 변동성의 일부이기 때문에 관련성이 없다고 생각합니다. 데이터 세트는 내가 트위터에서 보는 가장 최근 트윗과 확실히 일치합니다. 제가 놓친 편견이 보이면 공유 해주세요.
요약하면, 관리도는 조사해야 할 데이터 영역을 강조하는 좋은 방법이라고 생각합니다. 데이터 섹션의 특정 가능성을 생성하는 데 좋은 도구라고 생각하지 않습니다. 결합 된 데이터 포인트에서 단일 신뢰 수준을 생성하는 방법에 대한 공개 질문에도 불구하고 내가 수행 한 분석이 이에 더 적절 해 보입니다. 누구든지 그러한 신뢰를 생성하는 방법에 대한 통찰력이 있거나 분석의 결함 또는 더 나은 수행 방법을 볼 수 있다면 공유하십시오.
Re : Donald Trump의 트윗은 거짓말하지 않습니다Roly, 항상 사람들이 "지평을 무너 뜨렸다"는 것을 돕게되어 기쁩니다!
아마도 조금 더 넓어 질 것입니다 ... 이제 분포가 정규 분포 일 필요는 없지만 비정상적인 경우 약간의 조정이 필요합니다. . "는 올바르지 않으며 관리도 방법론에 대한 주요 오해를 강조합니다 (동의하지 않는 경우 귀하의 주장을 뒷받침하는 문헌 섹션을 찾을 수 있습니다). 문제가 열거 형이라면 분포 (및 그와 관련된 확률)에 관심이 있지만 문제가 분석적이므로 분포는 거의 중요하지 않습니다. 나는 당신이 읽는 것이 좋습니다 "행동을위한 근거로서의 확률"에 대한 정의, 미국 통계 학자 , 1975 년 11 월, Vol. 29, No. 4. 관리 하한을 0으로 줄이면 더 합리적으로 보일 수 있지만 대부분의 사용자는 차트 평가에서이를 인식하지 못합니다. 소프트웨어는 해석에 관계없이 단순히 수학을 수행합니다. 모든 통계 출력이 컨텍스트에서 해석되어야하는 것은 아니지만 대부분의 경우에 말하고 싶습니다!
귀하의 의견과 관련하여 :
"일관성에 대해 혼란스러워서 죄송합니다. "트윗 수가 일치하지 않습니다"라는 말이 무슨 뜻인지 잘 모르겠습니다. 점이 정상적으로 분포되어 있지 않다면 감마 분포로 분포되어있는 것 같습니다. " 이 개념이 이해하기 어렵다는 것을 이해합니다. 아마도 이것이 많은 사람들이 관리도를 적절하게 사용하는 방법을 모르는 이유 일 것입니다. 나는 이것을 다시 말할 것입니다. 불일치는 분배와 관련이 없습니다. 피. 359, 데밍, "위기에서". Shewhart 관리도의 장점은 분포가 없다고 가정한다는 것입니다. 시계열의 데이터를 그래픽으로 볼 수 있습니다 (분포 분석에서는 손실됩니다!). "분포는 프로세스의 성능에 대한 누적 이력 만 표시하고 그 능력에 대해서는 아무 것도 표시하지 않습니다 ... 프로세스의 능력은 분포가 아닌 관리도를 사용하여 달성하고 확인할 수 있습니다.", Deming, "위기에서 벗어남 , P. 314. 범위 차트는 다음 질문에 답합니다. 부분 군 내 변동 (부분 군 내에서 변하는 변수로 인해)이 일관되고 안정적이며 따라서 예측 가능합니까? 이 참조에서 일관성이란 예상, 예측 가능 변화의 양. MR 관리도의 경우 답변되는 질문은 유사합니다. 연속 데이터 포인트의 변동 (연속 데이터 포인트간에 변하는 변수로 인해)이 일관되고 안정적이며 따라서 예측 가능합니까? 그래서 제가 트윗의 수가 일관 적이 지 않다고 말할 때, 이것은 트윗을 게시하는 과정이 무작위적이고 불안정하지 않고 예측할 수 없다는 것을 의미합니다. 이 과정을 열거 형 통계로 요약하거나 통계 / 확률이 의존 할 가능성이있는 확률 진술을 작성하는 것은 확실하지 않습니다. 언제 당신은 데이터를 보았습니다.
데이터 소스에 관해서는 ... 트윗을 보낸 사람은 대답 할 수없고, "도널드"에 등록 된 일부 계정으로 왔을뿐입니다. 실제 트윗 수나 보낸 사람에 대한 직접적인 지식이 없습니다. 측정 프로세스에 편향이 있습니까? 숫자가 정확합니까? 대답 할 수 없습니다. 그러나 통찰력을 제공하기 위해 샘플링 계획을 제안 할 수 있습니다.
관련 확률이있는 분포 분석은 일관성이없고 무작위가 아니며 예측할 수없는 프로세스에 적합하지 않습니다.
다시 Deming (위에 언급 된 논문,
“이 책에서 배운 분산, t- 검정, 신뢰 구간 및 기타 통계 기법의 분석은 흥미롭지 만 예측에 대한 근거를 제공하지 않고 생산 순서에 포함 된 정보를 묻기 때문에 부적절합니다. 데이터 분석을위한 모든 컴퓨터 패키지는 아니지만 대부분은 비 효율성의 명백한 예를 제공합니다.”
Re : Donald Trump의 트윗은 거짓말하지 않습니다안녕 빌. 귀하의 게시물이 상당히 혼란스럽고 응답하기 전에 검토하는 데 며칠이 걸렸습니다.
내가 가장 당혹스럽게 생각하는 가장 최근 게시물의 부분은 "트윗을 보낸 사람에 대해서는 대답 할 수 없으며"도널드 "에 등록 된 일부 계정으로 온 것뿐"입니다. http://www.trumptwitterarchive.com/archive @realDonaldTrump의 게시물 아카이브라고 주장합니다. 내 트위터 피드에 나열된 가장 최근 게시물을 검토하면 일치합니다. 나열된 54K 게시물을 검토하지 않고 모두 일치하는지 확인했지만 확인한 모든 게시물이 일치하는지 확인했습니다. 데이터 소스의 정확성을 확인하는 것이 핵심이라는 데 동의합니다. 그러나 나는 what ifs보다 데이터로 작업하는 것을 선호합니다. 아카이브가 @realDonaldTrump의 트윗에 대한 정확한 기록이 아니거나 @realDonaldTrump가 보낸 트윗이 사장에게서 온 것이 아니라는 데이터가있는 경우 공유하십시오.
당신은 내가 관리도에 있다는 것을 훨씬 더 많이 배웠지 만 "문제가 분석 적이기 때문에 분포는 거의 중요하지 않다"는 당신의 진술로 여전히 어려움을 겪고 있습니다. 나는 통계적 결과물이 맥락에서 해석되어야한다는 데 매우 동의하며, 고려해야 할 맥락 중 하나는 원본 데이터가 따르는 분포입니다. 귀하가 참조하는 책이나 논문에 액세스 할 수 없습니다. 링크를 공유 할 수 있다면 도움이 될 것입니다. 비정규 데이터에 대한 관리도를 조정하는 방법에 사용한 참조는 https://www.spcforexcel.com/knowledge/variable-control-charts/control-charts-and-non-normal-data . 그들이 설명하는 4 가지 방법 중 4 번째 (분포가 정상인 경우 백분위 수와 일치하도록 영역 제한을 조정하는 방법)가이 상황에 가장 적합한 것으로 보였으며 관리 하한이 물리적으로 달성 불가능하다는 원래 우려를 완전히 해결했습니다.
Wheeler와 Neave의 논문 "Shewhart 's Charts and the Probability Approach, 1996 ( http://www.spcpress.com/pdf/DJW088.pdf ). 매우 흥미로운 읽기. 공유 해주셔서 감사합니다. 신문에서 내가 만든 영역 조정은 차트가 더 이상 Shewhart가 의도 한대로 실제 제어 채팅이 아니라는 것을 의미합니다. 그러나 물리적으로 달성 할 수없는 관리 한계 (하루에 부정적인 트윗)를 생성하는 관리도 문제를 극복 할 수 없습니다. 이렇게하면 관리도에서 평균 미만의 데이터 포인트에 대해 통제 된 변동과 통제되지 않은 변동 (목적)을 구별 할 수 없습니다. 아마도 우리는 컨트롤 차트가 @realDonaldTrump가 10/2에 2 개의 트윗 만 보내고 10/3에 3 개의 트윗 만 보낼 가능성을 조사하는 데 적합한 도구가 아니라는 데 동의 할 수 있습니다 (죄송합니다. 뿡 빵뀨 ).
논의하고 싶은 것이 더 있지 않는 한이 스레드에 대한 게시를 중단하고 순차적 관찰에 대한 신뢰 한계를 결합하는 방법에 대한 원래 질문을 묻는 새 스레드를 설정합니다.
제 게시물에 답변 해주셔서 감사합니다. 귀하의 의견에 감사드립니다.
Re : Donald Trump의 트윗은 거짓말하지 않습니다이것도 마지막 답변으로하겠습니다. 내가 말할 수있는 것은 내가 시도한 것뿐입니다. 내 포인트를 전달하는 데 문제가있어서 죄송합니다. 다음은 @realDonaldTrump의 트윗이 대통령의 것이 아닐 수도 있다는 보고서에 대한 링크입니다.
https://www.npr.org/2018/04/19/603904858/who-is-the-mystery-man-behind-realdonaldtrump-besides-the-president
https://www.wired.com/story/tell-when-someone-else-tweets-from-realdonaldtrump/
https://www.wnycstudios.org/podcasts/takeaway/segments/president-trumps-tweet-co-pilot
Google it. 측정 시스템을 신뢰할 수 없다면 어떤 분석을 신뢰할 수 있는지 잘 모르겠습니까?
이미 관리도 방법의 올바른 사용과 해석에 대한 여러 소스를 제공했습니다. 그리고 예, 관리도의 부적절한 사용에 대한 많은 예가 있습니다. 이 견적은 참조 " 관리도를 사용하여 데이터를 표시하려면 먼저 데이터가 정규 분포를 거쳐야한다고 들었습니까?개인 관리도에 대해 이야기 할 때 자주 듣게됩니다.이것은 신화입니다.개인 관리도를 포함하여 관리도를 사용하기 전에 데이터를 정규 분포 할 필요가 없습니다. ".
데밍의 "Out of the 위기 "( https://mitpress.mit.edu/books/out-crisis )
Deming의 논문 : https://www.jstor.org/stable/i326388
Shewhart의 책 : https://books.google.com/books?id=EoynRAl0Po4C&source=gbs_similarbooks
참고로 2020 년의 데이터 만 사용한 것 같습니다. 다음은 2009 년 이후의 트윗 그래프입니다. 또한 원본, 리트 윗, 답글, 링크 / 이미지, 트윗에 대한 여러 카테고리가 있습니다.
