나의 실수로부터 배우기 - 3부: 완전한 질문하기
What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?테스트를 계획할 때 무엇을 더 고려해야 합니까?
이번 세 번째 작품을 위해 "내 실수로부터 배우기" 블로그 시리즈 , 시험 계획의 사전 준비에 대한 생각을 정리하고 싶습니다. 우리는 일반적으로 t-test에서 무엇을 기대할 수 있는지에 대해 이미 이야기했습니다. 그래서 이제 우리는 신뢰도를 설정하고, 현재 상태 대비 개선 목표를 설정하고, 개선 방향(현재 상태보다 크거나 작음)을 설정해야 한다는 것을 알게 되었습니다. 이제 몇 가지 다른 테스트 고려 사항에 대해 이야기하고 다음으로 마무리하겠습니다. 완전한 질문을 하세요 .
테스트 계획 전 기타 고려 사항
에서 회상 원래 시나리오 엔지니어는 새 처리와 대조 처리 간에 모집단 평균이 변경되었는지 여부를 확인하기 위해 각 모집단에서 3개의 표본을 추출하기로 결정했습니다. 그가 세 가지 샘플을 선택한 이유는 무엇입니까? 왜 5개는 안 되나요? 아니면 10? 아니면 2개? 아마도 “우리는 항상 그렇게 해왔기 때문일 것입니다.” 아마도 아직 설명되지 않은 다른 고려 사항이 있을 수도 있습니다.
순전히 통계적/수학적 관점에서 볼 때 표본 크기를 선택할 때는 항상 많을수록 좋습니다. 결국 모집단에서 모든 부분을 샘플링할 수 있다면 모집단의 평균이나 분산에 대해 어떤 가정도 할 필요가 없습니다. 우리는 그것을 알 것입니다!
불행하게도 일상 업무에는 표본 크기 선택에 영향을 미치는 실제적인 고려 사항이 많이 있습니다. 더욱 불행하게도 나는 주어진 테스트 실행의 모든 제약과 영향을 고려하지 않은 죄를 범했습니다. 서둘러 시간을 낭비하는 것보다 테스트를 시작하기 전에 이러한 요소를 고려하는 것이 훨씬 현명할 것입니다.
아래에서는 테스트 계획 방법에 영향을 미칠 수 있는 몇 가지 사항을 제공합니다.
- 이 테스트의 예산은 얼마입니까?
- 언제 답변이 필요합니까?
- 이번 주말까지 답변이 필요하지만 테스트를 완료하는 데 최소 한 달이 걸릴 경우, 답변하려는 질문과 이에 답변하기 위해 사용하는 방법론을 다시 생각해야 합니다.
- 얼마나 많은 테스트 샘플을 구축할 수 있나요?
- 여기에는 부품 자체의 비용뿐만 아니라 부품 제작에 소요되는 시간과 일정도 포함될 수 있습니다. 이러한 부품을 생산하기 위해 생산 라인을 폐쇄하고 있습니까?
- 부품이 일괄적으로 만들어진다고 가정할 때 "배치"가 우리에게 중요할까요?
- 그렇다면 여러 배치에 걸쳐 샘플링을 고려하십시오. 물론 이는 초기 테스트 부품을 생산하는 시간과 최종 결과를 얻을 때까지의 시간에 영향을 미칩니다.
- 실제로 얼마나 많은 샘플을 테스트할 수 있나요?
- 샘플을 테스트하는 실험실이 다른 일로 바쁜가요? 샘플을 외부 실험실로 보내는 데 비용이 드나요?
- 우리는 정말로 올바른 매개변수를 올바른 방식으로 테스트할 계획을 갖고 있습니까? 우리 시나리오에서는 부품의 "강도"를 높이고 싶습니다. 강도를 측정하는 방법에는 여러 가지가 있습니다(예: 당김 테스트, 반복 사이클링, 충격 테스트). 아니면 탄성 계수, 경도계 또는 기타 매개변수를 측정해야 할 수도 있습니다. 서두르지 말고 측정을 시작하세요!
- 현재 테스트 장비를 사용하여 감지하려는 "중요한 차이"를 측정할 수도 있습니까?
- 측정 시스템 분석은 게이지 변화를 이해하는 데 도움이 됩니다. 게이지가 충분하지 않은 경우 수행할 작업을 포함하여 다음 블로그 게시물에서 이에 대해 자세히 다루겠습니다.
- 컨트롤 부품의 일반적인 부품 간 강도 변화를 알고 계십니까? 새 부품에도 동일한 변형이 있을 것으로 예상하십니까? 변동이 정규 분포를 따르는 것으로 예상됩니까?
- 이러한 질문은 테스트를 계획하고 결과를 분석할 때 중요한 역할을 합니다.
- 평균 부품 강도를 향상시키는 것 외에도 기존 부품 간 변동을 유지하는 것이 제품에 중요합니까? 변형도 개선해야 합니까? 반대로 확장이 가능한가요?
- 부품의 평균 강도는 향상되지만 부품의 퍼짐(변형)이 증가하면 실제로 스크랩이 더 많이 생성됩니까?
- 일반적으로 우리는 통제할 수 없는 프로세스 및/또는 불량 부품 생산에 대해 걱정합니다. 그러나 일관되게 좋은 부품을 생산하는 통제 가능한 프로세스가 있다면, 그 통제를 유지하기 위해 얼마나 많은 비용을 지출하고 있습니까?새로운 치료 부품의 더 큰 변화를 허용하고 프로세스 제어에 드는 비용을 절약할 수 있습니까?
이러한 모든 고려 사항은 우리의 가설에 대한 표본 크기를 선택하는 데 영향을 미칩니다. t-테스트 . (테스트를 계획하기 전에 논의해야 할 더 많은 고려 사항을 생각해 볼 수 있다고 확신합니다.)
그래서 저는 이 실수를 이렇게 부르겠습니다. 테스트 계획에 영향을 미칠 수 있는 모든 요소를 적절하게 고려하지 않습니다.
우리가 대답하려는 완전한 질문은 무엇입니까?
"완전한 질문을 하세요"에 시간을 따로 투자하면 위의 모든 논의와 실수를 완화할 수 있습니다. (여기서는 한 마디 부탁드리고 싶습니다. 빌 카펠레 , 수년 전에 나에게 이 방법을 가르쳐 준 나의 멘토이자 친구입니다.)
"전체 질문하기"는 위의 모든 논의(및 파트 1과 2)를 검토하고 모든 것이 고려되었는지 확인하여 올바른 수량을 측정하고 테스트에 대한 제약 조건을 정의하며 차이가 얼마나 중요한지 정의하는 것을 의미합니다. 우리에게 등등
우리 시나리오에서는 모든 이해 관계자 및 이해관계자와 대화를 나누고 질문을 다음과 같이 다시 작성한다고 가정해 보겠습니다.
"95% 신뢰도로 처리 A가 공정 변동을 증가시키지 않고 현재 공정에 비해 부품의 평균 강도를 1단위 이상 향상시킨다고 말할 수 있습니까?"
그 다음에는 모든 제약 조건을 나열합니다. 그 중 몇 가지는 다음과 같습니다.
- 우리는 총 40개의 부품을 제작하고 테스트할 여유가 있습니다(처리 A + 대조군 <=40의 모든 부품 합계)
- Batch의 효과를 무시할 수 있습니다.
- 한 달 안에 답변이 필요합니다(이 블로그 시리즈를 완료하는 데 충분한 시간입니다!).
완전한 질문을 했는지 확인하세요
저는 엔지니어들이 어떤 문제의 원인을 규명하기 위해 연구실에서 많은 시간과 자원을 쏟았으나 결과에 관심을 두는 사람이 아무도 없다는 사실을 본 적이 있습니다. 문제는 초기 사고와 테스트 계획에 있지 않습니다. 문제는 테스트 실행에 있지 않습니다. 문제는 엔지니어들이 올바른/완전한 질문에 대한 답변이 이루어졌는지 미리 확인하지 않았다는 것입니다.
Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan? 상사가 당신의 계획에 동의합니까?
따라서 이러한 미래 지향적 사고와 테스트 계획을 모두 마친 후에는 마지막으로 한 가지 작업을 수행하는 것이 좋습니다. 관리자에게 이것이 대답해야 할 질문이라는 데 동의하는지 물어보십시오. 실제로 테스트를 실행하는 데 상당한 시간이 걸리는 경우 주기적으로 경영진에 확인하여 조건이 변경되지 않았는지 확인하는 것이 좋습니다. 쓸데없는 테스트에 시간을 낭비하고 싶은 사람은 아무도 없습니다!
곧 나올 예정
진행하면서 다음 주제를 모두 다룰 계획입니다. 당신이 나와 함께 할 수 있기를 바랍니다 전체 시리즈 !
What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?테스트를 계획할 때 무엇을 더 고려해야 합니까?
당신은 상사로부터 임무를 받았고, 테스트를 시작하고 싶어 몸이 근질거립니다. 준비, 발사, 조준! 테스트를 신중하게 계획하기 전에 데이터 수집을 시작합니다. 이런 일을 해 본 적이 있나요? 테스트에 대한 모든 영향과 제약 사항을 고려하셨나요? 당신이 계획하고 있는 것이 올바르고 유용한지 확인하기 위해 모든 당사자에게 확인했습니까? 그렇지 않은 경우 계속해서 "완전한 질문하기"에 대해 알아보세요.
Re: 내 실수로부터 배우기 - 3부: 전체 질문하기올바른 질문을 하는 아주 좋은 접근 방식입니다.
1993년에 Doug Montgomery와 나는 동시에 "DOE에 대한 마스터 가이드"를 고안했습니다. 그는 처음으로 출판했습니다(Technometrics, 1993). 나는 그 이후로 가이드를 사용해 왔습니다. 그것은 당신과 같은 질문을 묻습니다.
내 웹사이트에 사본이 있습니다( http://cawseand effect.com/doe-master-guide/ ) 자유롭게 살펴보세요.
Re: 내 실수로부터 배우기 - 3부: 전체 질문하기전혀 촌스럽지 않고, @캘킹 !의견을 보내주셔서 기쁩니다.
예, 표본 크기에는 장단점이 있으며 몇 가지 좋은 점이 있습니다.그리고 당신은 내 천둥을 훔치는 것이 아닙니다... 단지 적절한 표본 크기를 선택하는 것에 대한 식욕을 자극할 뿐입니다.생각과 의견을 보내주셔서 감사합니다!
Re: 내 실수로부터 배우기 - 3부: 전체 질문하기안녕 제리,
당신의 시리즈를 사랑합니다! 이전에 업계 경험이 있는 사람으로서, 누군가가 내가 관심을 두었던 것과 동일한 주제를 다루고(그리고 동일한 실수도 극복하는) 모습을 보게 되어 기쁩니다. 다음 내용이 너무 기대됩니다!
나는 빠른 의견을 가지고 있으며 너무 까다롭지 않기를 바랍니다 :-/. 통계적/수학적 관점에서 보면 샘플이 많을수록 항상 더 좋다고 말씀하셨습니다. 나는 확실히 동의할 것이다...어느 정도까지는. 그 지점이 제가 수익 감소를 고려하기 시작하는 지점이 될 것입니다. 내 질문에 답하기 위해 추가 샘플이 얼마나 더 많은 정보를 제공합니까? 추가 데이터를 얻기 위해 시간 및/또는 비용을 추가로 투자할 가치가 있습니까?
아마도 극단적인 예가 내 요점을 설명하는 데 도움이 될 수 있습니다. 내가 관심 있는 전체 모집단과 해당 모집단의 하위 집합 중에서 선택할 수 있는 옵션을 제공했다고 가정해 보겠습니다. 내가 그걸 그대로 놔둔다면 아마도 당신은 생각할 필요도 없이 전체 인구를 선택할 것입니다. 하지만 내가 (내 최고의 로렌스 피시번 목소리와 멋진 선글라스로) 그 하위 집합이 인구 중 한 명을 제외한 모든 구성원으로 구성되어 있다고 말하면 어떻게 될까요? 이 시점에서는 선택이 더 어려울 것입니다. "글쎄, 둘 사이의 차이점은 무엇인가요?"라고 묻기 시작할 수도 있습니다. 내 질문에 답하려면 한 명의 추가 회원이 꼭 필요한가요?" (위 블로그 게시물의 안내 질문을 사용하여 결정하게 됩니다. 
). 그럴 수도 있고 그렇지 않을 수도 있습니다. 그러나 요점은 선택이 더 이상 명확하지 않다는 것입니다.유명한거 생각나네 역설 모래알을 하나씩 제거하다 보면 모래더미가 더 이상 더미가 되지 않게 되는 순간에 대해. 반대로 생각해보면 모래(데이터)를 더 추가하는 것이 나에게 귀중한 정보를 제공할 것인가, 아니면 이미 가지고 있는 것보다 약간 더 큰 힙을 제공할 것인가?
이제 대부분의 사람들의 상황은 분명히 더 많은 데이터를 보유한다는 것은 더 많은 정보를 보유한다는 것을 의미합니다. 일반적으로 대규모 샘플 상황에 들어갈 때까지는 이에 대해 걱정할 필요가 없습니다. 그러나 표본 크기를 결정하는 데 도움이 되는 통계적 검정력 계산을 사용해 본 적이 있다면 이 수확체감 논증을 암묵적으로 사용한 것입니다. 결국, 검정력 계산은 단순히 통계 목표를 달성하는 데 필요한 최소 샘플 크기(올바르게 사용된다는 가정 하에)를 알려주며, 이는 추가 데이터가 금상첨화라는 의미입니다.
(다음 게시물에서 제가 어떤 천둥도 훔치지 않았으면 좋겠습니다 :-/. 아니면 너무 까다롭게 굴었나요 :-/.)
