JMP 질문은 아니지만 누군가가 도움을 줄 수 있기를 바랍니다. - Min, Max, Avg에서 StdDev 추정먼저, 이것은 JMP 질문이 아니라 일반적인 통계 질문이므로 여기에 게시하는 것이 부적절하다면 사과드립니다.하지만 JMP 커뮤니티의 누군가가 도움을 줄 수 있기를 바랍니다.
각 샘플에는 Min, Avg(평균) 및 Max가 기록된 일련의 데이터 샘플이 있습니다.데이터는 샘플링 매초, 하지만 오직 녹음 15분마다.따라서 각 15분 데이터 포인트에는 15분 간격 동안 1초 샘플의 최소값, 1초 샘플의 최대값 및 1초 샘플의 평균값이 있습니다.
24시간 분량(96개 데이터 포인트)과 같은 15분 데이터 포인트가 많이 있습니다.실제로 24시간 동안 모든 1초 샘플이 있는 것처럼 24시간 동안 값의 StdDev를 추정하려고 합니다.내 15분 데이터 포인트 각각에 1초 샘플의 StdDev가 있다면 이것이 더 간단할 것이라고 생각하지만 나는 그렇지 않습니다. MIn, Max 및 Avg만 있습니다.
모든 지침을 주시면 감사하겠습니다.
Re: JMP 질문은 아니지만 누군가가 도움을 줄 수 있기를 바랍니다. - Min, Max, Avg에서 StdDev 추정안녕 @wsande ,
나는 동의한다 @gzmorgan0 그리고 @P_Bartell 님의 제안이지만 몇 가지 구체적인 질문에 답하겠습니다.
"15mAvg 값의 StdDev는 0.00513입니다... 이는 모집단 StdDev가 0.1538(= 0.00513 * 30)임을 의미합니다.그러나 80시간 이상 내 데이터의 총 범위는 0.05 Max(15mMax) - Min(15mMin)에 불과합니다.나는 범위가 SD의 일부가 아닌 여러 SD가 될 것이라고 예상했을 것입니다."
이상하게 들릴 수 있지만, 당신이 가지고 있는 것은 크기 900의 샘플 수단, 원본 데이터의 범위가 아닙니다. 이전에 내 예를 보면 크기 900의 평균 범위는 약 20이었습니다. 원래 데이터의 범위는 1000이 넘었습니다. 관측값을 함께 수집하고 평균을 계산하면 각각 900개의 관측값의 평균인 결과 숫자는 원래 데이터 포인트가 서로 근접한 것보다 서로 근접하는 경향이 있습니다. 샘플 평균의 인수는 sqroot(n)만큼 원래 데이터의 표준 편차보다 작습니다. 귀하의 사례로 돌아가서 귀하의 범위는 수단 0.05이며, 우리가 알고 있는 900개의 샘플이 원래 데이터의 범위보다 상당히 작습니다. 따라서 원래 생성 데이터에 대해 추정한 표준 편차가 더 크다는 것은 놀라운 일이 아닙니다.
"내가 "양자화 문제에 봉착했는지 궁금합니다.내 샘플의 해상도는 0.01이며, 이는 샘플 평균에서 측정한 SD의 2배입니다."
샘플에서 우리가 알고 있는 것이 여기에서 의미하는 바를 고려할 때 원래 1초 샘플의 데이터 범위가 더 클 것으로 예상해야 하므로 측정 장치가 현상을 정확하게 측정할 수 없는 상황에 있지 않기를 바랍니다. 관심.그러나 나는 그것에 대해 정말로 말할 수 없습니다.
"그게 어떤 식으로든 결과를 왜곡하는지 모르겠습니다.나는 실제로 다른 "채널"에 대해 200개 이상의 데이터 세트를 가지고 있으며 일반적으로 범위는 샘플 수단의 StdDev의 3배에서 5배입니다."
나는 우리가 샘플 수단 의 표준 편차보다 큽니다. 샘플 수단.그러나 그것은 당신이 보여준 첫 번째 플롯, Range = 0.05 및 StDev = 0.0051에서도 마찬가지입니다. 그러나 샘플이 900개에 달할 경우 샘플 수단 샘플을 추출한 원래 변수의 표준 편차보다 큽니다.
"한 가지 궁금한 점은…1초 샘플 대신 기본 모집단이 10초 샘플인 경우 15분 간격당 90개의 샘플만 있고 모집단 SD의 계산은 3배로 변경됩니다. ( SQRT(90) SQRT(900) 대신).그러나 근본적인 연속 프로세스는 변경되지 않았을 것입니다.머리 감는게 너무 힘들어서..."
환상적인 질문입니다! 처음에는 당혹스러워 보이지만 다른 방법으로 설명하겠습니다. 원래 데이터에서 1초가 아닌 10초마다 데이터를 수집한 경우 최종 테이블의 샘플 평균은 900이 아닌 90 크기의 샘플로 구성됩니다. 원본 데이터의 표준 편차 변하지 않을 것이다 , 그러나 당신의 표준 편차 샘플 수단 변할 것이다. 이를 명확히 하기 위해 몇 가지 실수를 사용해 봅시다.
표준 편차가 120인 모집단의 원래 예를 들어 보겠습니다. 900개의 표본이 있을 때 표본 평균 분포의 표준 편차가 4라는 것을 발견했습니다. 우리는 이 작업을 경험적으로 수행했지만 공식 sigma / root(n), 120/30 = 4를 적용할 수도 있습니다. 크기가 900인 샘플의 평균만 있고 해당 평균의 표준 편차를 찾았다면 거꾸로 작업하면 sigma*root(n), 4*30 = 120이 됩니다.
10초마다 데이터를 수집한 다음 평균을 낸 경우는 어떻습니까? 글쎄, 당신이 말했듯이, 당신은 각 평균에 대해 90개의 관측치를 갖게 될 것입니다. 이는 90개 관측값 샘플의 표준 편차가 120 / sqroot(90) = 12.65임을 의미합니다. 이 표준 편차는 샘플 크기가 900인 경우보다 큽니다. 각 평균의 관측값이 적을수록 평균의 표준편차는 더 커집니다. 균형을 맞추는 관측값이 적기 때문에 표본마다 더 다양해집니다(대수의 법칙, 추정기의 일관성). 더 많은 데이터로). 자, 다른 방법으로 작업해 봅시다. 그것이 당신이 접근할 수 있는 종류의 데이터라면, 10초마다 취한 관찰에서 크기 90의 샘플을 의미한다면, 당신이 작업해야 할 표준편차는 12.65이고 당신은 12.65*sqroot(90)를 취할 것입니다. = 120. 따라서 인구에 대해 아무것도 변하지 않습니다... 변경된 것은 자연을 측정하는 과정과 접근할 수 있는 관찰의 가변성에 대한 그 과정의 결과입니다.
그러나 이것은 모두 독립적이고 동일하게 분산된 관찰을 가정한 것입니다. 다음과 같이 체계적인 효과/자기상관 등이 있는 경우 @gzmorgan0 언급한 바와 같이, 이러한 간단한 공식은 우리가 그러한 수단을 사용할 때 발생하는 일을 더 이상 적절하게 설명하지 않습니다.
이것이 몇 가지를 명확히 해주기를 바랍니다!
@줄리안
Re: JMP 질문은 아니지만 누군가가 도움을 줄 수 있기를 바랍니다. - Min, Max, Avg에서 StdDev 추정@wsande ,
몇 가지 제안/의견:
- 반도체에 대한 제 경험으로 볼 때 채널마다 분포가 다를 수 있으므로 여러 모집단에 걸쳐 일반화할 때는 주의해야 합니다.
- 이 제안은 @P_Bartell 의 구술 시험. 각 채널에 대해 15분 범위(최대 15분 - 최소 15분)의 분포 및 추세 차트를 볼 것을 제안합니다.데이터의 해상도를 알려주십시오. 0이 많을까봐 두렵습니다. 어쨌든 오래 전에 컴퓨팅 성능과 데이터 스토리지가 비쌌을 때 집계 데이터는 일반적이었습니다. 간단한 접근 방식은 샘플 범위의 95%가 4 std dev, 즉 max = +2 std dev 및 min = -2 std dev를 나타내므로 range/4가 std dev로 사용되었다고 가정하는 것입니다.이를 통해 데이터에 대한 통찰력을 얻을 수 있습니다.
- #2의 분석에 0 범위가 많은 경우 이것이 이유일 수 있으며 원시 데이터가 보고되지 않고 범위 > 0인 15분 간격은 값의 이동/변경을 제안합니다. 이것이 시나리오인 경우 기간당 이동/전환 수가 채널의 안정성(또는 전환 간 시간)에 대해 std dev보다 더 나은 메트릭일 수 있습니다.
나는 당신의 목표가 확실하지 않지만 Peter의 구술 시험 조언에 따라 평균과 범위를 순서대로 플로팅하고 분포를 살펴봅니다.종종 시계열 데이터의 요약 통계는 모니터링 중인 장치의 동작을 적절하게 설명하지 않습니다.
JMP를 사용하면 몇 번의 클릭만으로 이 작업을 쉽게 수행할 수 있습니다.
Re: JMP 질문은 아니지만 누군가가 도움을 줄 수 있기를 바랍니다. - Min, Max, Avg에서 StdDev 추정자세한 설명 너무 감사합니다.그러나 내 데이터에는 이치에 맞지 않는 결과가 나오는 등의 문제가 있습니다.
24시간이 아닌 80시간 이상의 데이터 세트가 있습니다.그래서 > 300 샘플.15mAvg 값의 StdDev는 0.00513입니다. 15분당 900개의 1초 데이터 포트가 있는 경우 모집단 StdDev는 0.1538(= 0.00513 * 30)입니다.그러나 80시간 이상 내 데이터의 총 범위는 0.05 Max(15mMax) - Min(15mMin)에 불과합니다.나는 범위가 SD의 일부가 아닌 여러 SD가 될 것으로 예상했을 것입니다.
"양자화 문제"에 봉착했는지 궁금합니다.내 샘플의 해상도는 0.01이며, 이는 샘플 평균에서 측정한 SD의 2배입니다.
그것이 어떻게든 결과를 왜곡하는지 모르겠습니다.
실제로 다른 "채널"에 대해 이러한 데이터 세트가 200개 이상 있으며 일반적으로 범위는 샘플 수단의 StdDev의 3배에서 5배입니다.
한 가지 궁금한 점은...1초 샘플 대신 기본 모집단이 10초 샘플이면 15분 간격당 90개의 샘플만 있고 모집단 SD의 계산은 3배로 변경됩니다. ( SQRT(90) SQRT(900) 대신).그러나 근본적인 연속 프로세스는 변경되지 않았을 것입니다.머리 감는게 너무 힘들어요...
Re: JMP 질문은 아니지만 누군가가 도움을 줄 수 있기를 바랍니다. - Min, Max, Avg에서 StdDev 추정둘 다에 약간의 관점을 추가하려면 @줄리안 그리고 @gzmorgan0 의 답변에 따르면 Rochester Institute of Technology의 응용 수학 및 통계 프로그램 석사 과정에서 John Hromi 박사와 Mason Wescott 교수와 함께 최종 구술 시험을 치르기 위해 앉아 있을 때 처음으로 다음 질문을 받았습니다.
"당신의 상사는 시간이 지남에 따라 수집된 데이터 더미를 당신에게 건네주고 당신이 그것을 분석하기를 원합니다. 다음에는 무엇을 하시겠습니까?" 내 대답은 "데이터의 히스토그램을 만든 다음 데이터가 본질적으로 시계열이기 때문에 데이터에서 합리적인 하위 그룹을 만들 수 있다면 런 차트 또는 컨트롤 차트 중 하나입니다. 그런 다음 중간, 스프레드, 히스토그램에서 비정상적이거나 의심스러운 모든 것을 찾고 마지막으로 런 차트 또는 컨트롤 차트에서 평균 및 스프레드의 안정성을 찾습니다."
물론 나는 시험에 들어가는 신경 더미였습니다. 내가 알게 될 것보다 통계에 대해 더 많이 잊은 두 A 목록 산업 통계 학자.
Dr. Hromi는 미소를 지으며 "좋은 대답입니다... 진행하겠습니다."라고 말했습니다.
Re: JMP 질문은 아니지만 누군가가 도움을 줄 수 있기를 바랍니다. - Min, Max, Avg에서 StdDev 추정내가 언급을 게을리 한 중요한 포인트, @gzmorgan0 ! 나는 독립적이고 동일하게 분포된 관찰을 가정하고 있었지만 확실히 그렇지 않을 수도 있습니다.Re: JMP 질문은 아니지만 누군가가 도움을 줄 수 있기를 바랍니다. - Min, Max, Avg에서 StdDev 추정@wsande ,
@줄리안 님의 답변은 완벽한 답변입니다 기본 데이터가 강력한 체계적 효과 없이 무작위인 경우 . 아래의 반대 예는 극단적이지만 체계적 효과가 어떻게 매우 안정적인 평균을 초래할 수 있는지 보여줍니다. 따라서 평균의 표준편차는 표준오차를 과소평가합니다.
Julian의 테이블을 사용하여 수식을 사용하여 Systematic이라는 열을 만듭니다.
If(
Row() == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 51, Lag( :Systematic, 1 ) * -1,
Lag( :Systematic, 1 )
)
아래는 선택한 15분 블록에 대한 개별 1초 데이터의 스크린샷입니다.
원시 데이터에 변동이 있음을 알 수 있습니다. 그러나 요약된 15-Min Block 데이터는 모든 평균이 0입니다. 이 예제는 일부러 극단적인 경우로 설정했기 때문입니다. 계통적 효과가 이렇게 극단적이지 않더라도 강력한 계통적 패턴은 평균을 인위적으로 안정적으로 만들 수 있습니다.
이 반례는 @줄리안 의 해결책이지만 주의해야 할 사항입니다. 가능한 경우 원시 데이터의 몇 가지 임의 간격에 도달하여 강력하고 체계적인 순환 이벤트를 배제하는 방법을 찾아야 합니다.
Re: JMP 질문은 아니지만 누군가가 도움을 줄 수 있기를 바랍니다. - Min, Max, Avg에서 StdDev 추정안녕 @wsande ,
나는 당신이 운이 좋다고 생각합니다. 가지고 있는 데이터를 사용하면 원래 1초 샘플링에서 변수의 표준 편차를 추정하는 데 아무런 문제가 없습니다. 평균 자체의 표준 편차(또는 분산)만 있으면 됩니다(최소값과 최대값은 필요하지 않음).
분산은 작동할 때 예측 가능한 방식으로 작동합니다. 이 경우 원래 데이터와 가지고 있는 요약 데이터 간의 연산은 상수(관찰 횟수, 900, 15분의 초 수)로 나누는 것입니다. 표준 오차 공식의 기초는 실제로 여기서 적용할 것입니다. 평균의 샘플링 분포의 표준 편차는 Sigma / SqRoot(n)이며, 여기서 sigma는 모집단 표준 편차이고 n은 샘플 크기입니다. 분산의 관점에서 이것은 단지 variance/n입니다. 수식이 진행되는 한 매우 간단합니다!
이것이 어떻게 도움이 됩니까? 데이터 테이블의 각 평균에 들어가는 900개의 관측치가 있다는 것을 알고 있습니다(60개 샘플/분 * 기록당 15분). 가지고 있는 표에는 96개의 관찰이 있습니다(15분마다 평균, 시간당 4 x 24시간 = 96). 지금 바로 설명을 위해 다음의 표준 편차를 알고 있다고 가정합니다. 당신이 가지고 의미 4입니다. 공식 sigma / sqroot(n)을 적용한 경우 원래 1초 분해능의 표준 편차는 얼마입니까? 뒤집어 봅시다.
평균의 표준 편차 = sigma/sqroot(n)
4 = 시그마/제곱근(900)
4*sqroot(900) = 시그마
시그마 = 120.
비올라!
인구의 분포 형태는 중요하지 않습니다. 변형은 기본 양식에 관계없이 이러한 방식으로 작동합니다. 수학도 믿을 필요가 없습니다. JMP에서 이 작업을 수행하고 어떻게 되는지 살펴보겠습니다. 다음은 86,400개의 관측치, 1초 해상도 표입니다.
이것은 Random Normal() 함수로 만든 원래 변수의 분포입니다. 평균은 1000, 표준 편차는 120입니다(음, 이것은 임의 함수이므로 거의 비슷합니다). 
Tables > Summary를 사용하여 15분 단위로 요약해 보겠습니다.
이것은 각 블록에 대한 평균과 함께 아래 요약된 표를 제공합니다.
평균의 분포를 살펴보겠습니다(기본적으로 최종 테이블이 무엇인지).
그리고 우리는 평균의 샘플링 분포의 표준 편차(우리가 구축한 것)는 이론이 우리에게 말하는 것처럼 4 -- sigma / sqroot(n)입니다.
한 가지 주의할 점은... 이 경험적 샘플링 분포는 이론적으로 무한한 샘플링 분포의 96개 관찰일 뿐이므로 이 실험을 반복할 때마다 약간 다른 추정치를 얻게 됩니다. 수백만 개의 15분 블록이 있는 원본 테이블을 구축한 다음 이러한 15분 블록의 수천, 수천 가지 수단을 샘플링한다면 우리는 거의 죽게 될 것입니다. 우리는 이것을 경험적으로 보여줄 수 있지만 이론적으로는 알고 있습니다. 그리고 요점은 표준오차(평균의 표준편차)가 있을 때 모집단 시그마에 대한 최선의 편향되지 않은 추정치는 표준오차에 sqroot(n)을 곱하는 것입니다.
따라서 TLDR: 평균의 표준 편차를 취하고 sqroot(900)를 곱합니다.
이게 도움이 되길 바란다!
@줄리안
