지난 주를 놓치셨다면 통계적으로 말하자면 광범위하게 출판되고 수상 경력이 있는 Los Alamos National Laboratory(LANL)의 은퇴한 연구 과학자인 Christine Anderson-Cook과 함께 설계된 데이터 수집, 빅 데이터 및 이들의 시너지 효과에 대한 매혹적인 둘러보기를 놓쳤습니다. 빅 데이터와 관련된 프로젝트에 더 많은 가치를 추가하기 위해 설계된 데이터 수집의 잠재력은 중요합니다. 실제로 참석자들은 이 주제에 대해 더 많이 알고 싶어 했기 때문에 그들의 많은 흥미로운 질문에 답할 시간이 없었습니다. 그래서 우리는 친절하게도 시간을 내어 이 게시물에 답변해 준 Christine에게 그것들을 보냈습니다. 당신은 그녀의 이야기를 볼 수 있고 그녀가 대답한 질문들을 들을 수 있습니다 주문형 녹음 .
관찰(및 트랜잭션) 데이터에 너무 많은 강조가 있다고 생각하십니까? 일반적으로 정보가 희박하고 의사 결정에 더 도움이 될 수 있는 데이터를 의도적으로 수집하는 것입니다. 이것은 주로 더 많은 정보가 풍부한 데이터를 얻는 데 드는 "비용" 때문입니까?
초기에 많은 회사에서 "많은 데이터가 모든 문제를 해결할 수 있다"는 정서가 있었다고 생각합니다. 그것은 데이터를 수집하는 것 자체가 해결책이라는 생각으로 이어질 수 있습니다. 그러나 빅 데이터가 등장한 지 꽤 된 지금, 많은 기업들이 데이터가 필요한 답을 제공하지 못하는 실패한 경험을 했을 수 있습니다. 따라서 불행하게도 현실이 다가오면서 경험은 저렴하고 편리한 데이터가 고가의 의도적으로 선택한 데이터보다 반드시 더 바람직한 것은 아니라는 점을 가장 설득력 있게 가르치는 교사 중 하나일 수 있습니다.
QREI 논문의 토론 부분에서 [1] , Laura Freeman은 의도 없이 데이터를 수집할 때 종종 발생하는 일에 대해 멋진 인용문을 남겼습니다. “최종 결과는 일반적으로 지친 분석가와 실망한 의사 결정자입니다. ” [2] 많은 구체적이고 중요한 질문에 답하기 위해 데이터를 수집하기 전에 관심 있는 질문에 일치시키는 것을 대신할 수 있는 것은 없습니다.
결론은 관찰 또는 트랜잭션 데이터에 대한 의존도가 혼합된 결과를 가져올 수 있다는 것입니다. 아무 생각 없이, 혹은 단순히 편리해서 수집한다면 데이터 수집팀의 전문가들이 그 데이터가 어떤 용도로 사용될 것인지에 대한 인식과 계획이 있는 경우보다 실망할 가능성이 더 큽니다.
무언가를 측정하는 데 드는 비용이 이점을 초과한 경우를 알고 있습니까?
저는 LANL에서 데이터를 얻는 데 드는 비용이 매우 높은 몇 가지 프로젝트에서 일했습니다. 일반적으로 원하는 데이터를 수집하는 방법이 처음에는 알려지지 않았기 때문입니다. 이러한 경우 원하는 데이터를 얻을 수 있도록 약간의 연구 개발이 필요한 경우가 있습니다. 물론 데이터를 수집할 수 있게 되면 해당 데이터에서 배운 내용에 대해 가끔 실망할 수도 있습니다. 그러나 새로운 기능이 개발되고 데이터 수집을 위한 플랫폼이 구축되면 해당 투자는 다른 애플리케이션에 대한 보상을 받을 수 있습니다. 새로운 종류의 데이터를 얻기 위해 리소스를 사용해야 하는 이와 같은 상황에 있는 것처럼 보이면 현재 프로젝트에 대한 가능한 이점과 장기적으로 실망스럽고 유사한 정보를 더 쉽고 저렴하게 얻을 수 있는 대체 대리자가 있을 수 있습니다.
많은 신생 기업들은 실험자들에게 다음에 무엇을 해야 하는지 알려주는 규범적 모델을 홍보하고 있습니다. 실험에 대한 이 접근 방식과 설계된 실험 설정에 대해 언급할 수 있습니까?
규범적 모델은 다양한 영역에서 접근 방식으로 확실히 부상하고 있습니다. 관련된 내용에 익숙하지 않은 분들을 위해 다음은 보다 전통적인 모델과 이러한 특정 모델 간의 구별을 명확히 하는 데 도움이 될 수 있는 두 가지 느슨한 정의입니다.
- 예측 모델 이전 데이터를 사용하여 추정된 모델을 기반으로 새로운 입력 조합에 대한 결과를 예측합니다.
- 규범적 모델 새로운 데이터에 대응하는 방법에 대한 구체적인 실행 가능한 권장 사항을 제시합니다.
예측 도구는 이해를 돕기 위해 설계되었으며 처방 모델은 이러한 이해를 가져와 계획된 작업으로 자동화합니다.
규범적 모델의 이면에 있는 알고리즘은 그것을 만든 사람만큼만 우수하다는 점을 기억하는 것이 중요하다고 생각합니다. 한나 프라이 [삼] 알고리즘을 사용하여 자동화의 강점과 약점에 대해 이야기하고 인간을 고리에서 벗어나게 하는 노력을 훌륭하게 수행합니다.
결정을 내리는 데 필요한 양이나 속도로 인해(치료에 배정되기를 기다리는 새로운 피험자가 지속적으로 자주 들어오는 적응형 설계를 생각해 보십시오) 상황에 대해 규범적 모델을 고려하는 것이 유리할 수 있습니다. 유지하다. 즉, 실험 설계를 사려 깊은 인간이 이끄는 작업으로 유지하는 데 큰 이점이 있다고 생각합니다. 사람들은 알고리즘이 설계된 실험을 설정하는 데 사용된 패러다임에서 조건이 변경될 때 알아차립니다. 인간은 문제의 지식과 핵심 측면을 더 잘 추출합니다. 그들은 연구의 우선 순위를 가장 잘 반영하는 방식으로 여러 목표의 균형을 적절하게 맞추는 솔루션을 찾는 데 더 능숙합니다. 따라서 실험 설계가 대부분의 실험의 시작점이 되어야 하지만 실험을 여러 번 반복해야 하거나 속도 또는 양이 지시하는 경우 초기 실험에서 얻은 경험을 규범적 모델로 변환할 수 있습니다. 인간의 부담을 줄이기 위해
순차적 실험의 경우 파일럿 연구, 탐색, 모델 구축 등 여러 단계에서 데이터를 얻었을 때 모델을 구축하고 추정하는 방법은 무엇입니까? 모델 개선을 위해 새 데이터를 얻을 수 없는 경우 결과는 무엇입니까?
순차 실험의 모든 이점에도 불구하고 분석을 관리하는 방법은 더 큰 문제 중 하나입니다. 데이터가 무작위가 아닌 순서로 그룹으로 수집되는 경우 분석은 거의 항상 이 상황을 반영해야 합니다. 분석을 적용해야 하는 예외는 모든 입력 조합에 대해 동일한 코드가 실행되고 실행 순서에 구애받지 않는 컴퓨터 실험의 경우입니다. 경우에 따라 각 단계에 대한 별도의 모델과 해석이 있는 단일 분석으로 데이터를 결합할 필요가 없습니다. 예를 들어 파일럿 단계에서 측정 시스템 분석을 수행하는 경우 탐색 및 모델 구축에 중점을 두도록 설계된 후속 데이터와 직접적인 연결이 없을 수 있습니다.
일반적으로 실험의 여러 단계(파일럿, 탐색, 모델 구축 등)의 실행 그룹을 블록으로 처리하면 단계 간에 변경되었을 수 있음을 인정하는 방법이 제공됩니다. 탐색적 방법은 블록의 영향을 조사하고 블록 사이의 응답에 상당한 변화가 있는지 확인하는 데 도움이 될 수 있습니다. 핵 법의학 예에서 더 큰 실험의 세 단계는 차단 효과가 추가된 상태에서 분석되었습니다. 이 효과를 조사한 결과 시간이 지남에 따라 일부 특성 측정에서 약간의 차이를 식별할 수 있었습니다.
모델 세분화를 위한 새로운 데이터를 얻을 수 없으면 초기 모델의 정밀도를 더 이상 향상시킬 수 없습니다. 대부분의 경우 모델 개선의 목표는 모델의 현재 추정 또는 예측이 약한 영역을 대상으로 하는 것입니다. 추가 실행으로 보강하면 이 약점을 완화하고 전반적인 성능을 향상시키는 데 도움이 될 수 있습니다. 이 모델 개선을 위한 예산이 없는 경우 사용 가능한 데이터에 따라 추정 및 예측이 결정됩니다. 이는 기회를 놓칠 수 있으므로 가능할 때마다 여러 단계에서 효율적인 리소스 할당에 대해 생각하는 것이 좋습니다.
이제 우리는 병원의 전자 의료 기록에서 많은 데이터를 수집하고 분석하는 사람들이 DOE에 대한 기술이 제한적일 수 있습니다. 당신이 우리와 공유한 몇 가지 훌륭한 점을 적용하는 방법에는 어떤 것이 있습니까?
병원 기록에는 풍부한 정보가 포함되어 있지만 처리할 기록의 양에 숨겨져 있을 수 있습니다. 의학적 치료의 특성과 윤리적 고려 사항을 고려할 때 관찰 특성을 변경하는 것은 매우 어려울 것입니다. 결과적으로 수집된 데이터에 대한 "입력"을 제어할 수 없으며 빅 데이터 단계에서 질문에 답하는 데 도움이 되는 레코드의 전략적 샘플링으로 제한될 가능성이 더 큽니다.
다음은 기회가 있을 수 있는 위치에 대한 몇 가지 생각입니다.
- 새로운 유형의 데이터가 데이터베이스에 추가될 경우 변동성의 원인을 이해하는 데 도움이 되는 측정 시스템 분석을 수행할 기회가 있을 수 있습니다. 예를 들어 테스트를 관리하는 사람들이 변동의 상당 부분을 차지합니까? 테스트에 사용되는 기계가 중요합니까, 아니면 모두 유사하게 보정됩니까? 수집할 데이터의 양이 많을 가능성이 높다는 점을 감안할 때 가변성 소스를 이해하기 위한 소규모 연구는 결과를 해석하는 방법에 대해 매우 유익할 수 있습니다.
- 측정에 비용이 많이 드는 경우 빅 데이터 이전 단계에서 더 작은 데이터 세트를 사용하여 측정 간의 상관 관계를 조사하여 어떤 데이터가 대부분 결과에 연결되어 있는지 이해하고 비용이 많이 드는 중복 정보가 있는지 확인할 수 있습니다.
- 다양한 쿼리에 응답하는 핵심 측면은 데이터를 관련성 있는 범주와 덜 관련성 있는 범주로 분할하는 구현하기 쉬운 방법이 있는지 확인하는 것입니다. 키 필드를 기반으로 하위 모집단에 대한 레코드를 샘플링할 수 있으면 유사한 주제와 보다 정확한 비교가 가능합니다.
- 데이터를 날짜나 위치별로 샘플링하면 시간이나 장비에 따라 결과를 비교할 수 있습니다. 이렇게 하면 경향을 강조하거나 환자의 변화가 아닌 외부 요인에 기인한 잘못된 결론의 수를 줄일 수 있습니다.
- 마지막으로, 빅 데이터 이후의 단계에서는 가설을 검증하거나 효과가 더 넓은 모집단에 영향을 미치는지 확인하기 위해 확인 실험의 형태로 설계된 작고 작은 실험을 사용할 수 있는 기회가 있을 수 있습니다.
적응형 디자인(A/B 테스트) 접근 방식은 처음부터 유리한 출발을 하는 모델 쪽으로 결과를 편향시키지 않습니까? A가 75%의 시간 동안 표시되면 A의 히트 수에 대한 기본 기대치가 B보다 높아집니다.
적응 설계 분야에는 새로운 관찰에 응답하는 방법을 결정하는 알고리즘을 구현하기 위한 많은 옵션이 있습니다. 일반적으로 실험자는 알고리즘이 각 치료를 받는 새 피험자의 비율을 얼마나 빨리 변경할지 선택할 수 있습니다. 너무 느리게 진화하면 잠재적으로 덜 바람직한 옵션을 받는 대상의 비율이 더 높아지는 기회 비용이 있습니다. 너무 빨리 진화하면 "불행한"(대표적이지 않은) 시퀀스 시작으로 너무 많은 대상을 덜 바람직한 옵션으로 안내하여 시작할 수 있습니다.
많은 결정과 마찬가지로 두 가지 유형의 오류가 있으며 실험자는 상대적인 위험과 결과를 평가해야 합니다. 많은 구현에서 탐색과 활용 사이의 균형은 잘못된 솔루션으로 너무 빨리 진화할 가능성을 최소화하는 동시에 신중한 선택을 통해 손실된 기회를 허용하도록 선택됩니다. 알고리즘은 일반적으로 관찰된 성공의 절대 수가 아니라 각 옵션의 성공 비율과 함께 작동하도록 설계되었습니다.
데이터 경쟁 데이터 세트 예와 관련하여 JMP가 어떤 실행이 어떤 단계에 대한 것인지 선택하기 위해 수행할 수 있는 작업을 전체 설계에서 세 단계로 나누는 것입니까, 아니면 임의로 결정한 것입니까?
더 큰 데이터 세트를 만들어 교육, 공개 테스트 및 개인 테스트 데이터로 나누는 대신 시나리오마다 다른 특성을 가진 더 작은 데이터 세트를 생성한 다음 이를 결합하여 최종 경쟁 데이터를 생성하는 상향식 접근 방식을 사용합니다.
다음은 교육, 공개 테스트 및 비공개 테스트 데이터 세트 구성에 대한 몇 가지 세부 정보입니다. 각 시나리오에 대해 조밀한 후보 지점 세트가 구성되었습니다(발견, 차폐 또는 차폐되지 않은 방사성 소스 중 하나를 생각하십시오). 경쟁의 가장 큰 결과는 개인 테스트 데이터 세트의 결과에 있기 때문에 NUSF(Non-uniform Space Filling) 디자인을 사용하여 먼저 구성되었습니다. [4] , 가장 어려운 영역(여기서는 소량의 방사성 물질을 찾는 빠르게 움직이는 검출기)을 강조하기 위해 불균일성이 선택되었지만 여전히 전체 공간에 걸쳐 약간의 적용 범위가 있습니다. 이 설계가 완료되면 감소된 후보 세트(원본에서 이미 선택된 점을 뺀 값)를 사용하여 공개 테스트 데이터 세트를 구성했습니다. 이 경우 중간 수준의 난이도에 중점을 두었지만 다시 전체 공간에 걸쳐 약간의 적용 범위를 가졌습니다. 이 프로세스는 훈련 데이터를 구성하기 위해 마지막으로 반복되었으며 후보 세트가 더 줄었습니다(공개 및 비공개 테스트 데이터 세트 모두에서 선택된 포인트가 원래 후보 세트에서 제거됨). 이를 통해 각 방사성 소스 x 차폐 조합에 대해 3개의 설계된 데이터 세트를 생성할 수 있었습니다.
다음으로, 이러한 설계는 모든 시나리오에 걸쳐 결합되고 3개의 최종 데이터 세트(전체 교육, 전체 공개 테스트 및 전체 개인 테스트)로 무작위화되어 경쟁업체에 제공되었습니다. 데이터 경쟁 데이터 세트 구성에 대해 생각하는 방법에 대해 동료와 함께 작성한 몇 가지 논문이 있습니다. [5] 또는 방사선 검출 문제에 대해 이러한 전략을 구현한 방법 [6] . 현재 JMP에는 NUSF 설계를 직접 구성하는 자동 기능이 없지만 순차 접근 방식을 사용하여 설계의 균일성 정도를 변경하는 기능을 구축할 수 있습니다. [7] 빠르고 유연한 공간 채우기 디자인 [8] JMP에서. 또는 내 논문의 보충 자료에 이러한 설계를 구성하는 데 사용할 수 있는 R 코드가 있습니다. [4] .
알고리즘 교육 전에 특이치 큐레이션 처리에 대한 질문이 있습니다. 특히 해당 상태 공간에 희소성이 있는 경우 제외할 위험이 있습니다. 잠재적으로 이러한 이상값을 포함할지 또는 제외할지를 구분하기 위해 적응형 측정을 위한 실험 설계를 사용하시겠습니까? 특이치 큐레이션을 결정하기 위한 다른 접근 방식이 있습니까?
이상값과 높은 레버리지 포인트를 식별하는 것은 결과에 대한 불균형한 영향과 패턴 해석에 주목할 만합니다. 이러한 개념을 보다 정확하게 정의하기 위해 이상값은 반응이 다른 데이터의 추세를 따르지 않는 관찰입니다. 높은 레버리지 포인트는 입력 조합이 나머지 데이터 세트에 비해 극단적인 관찰입니다(입력 공간의 차원이 높아짐에 따라 평가하기 어려울 수 있음).
실험 설계는 이들 각각에 대해 서로 다른 방식으로 도움이 될 수 있습니다. 특이치의 경우 극단적인 반응 값이 관찰된 지역의 작은 지역 실험은 이것이 다른 행동의 지역인지 또는 아마도 일반적인 변동보다 더 높은지 명확히 하는 데 도움이 될 수 있습니다. 이들 각각은 확인되면 다른 반응이 필요합니다. 높은 레버리지 지점의 경우 높은 레버리지 지점을 입력 공간의 나머지 부분에 연결하는 영역에서 의도적으로 실험하면 입력과 응답 간의 관계를 큰 격차 없이 특성화하는 데 도움이 될 수 있습니다. 두 입력 위치 영역의 전환에 대한 정보를 제공하는 데 도움이 될 수 있습니다. 물론 이 두 가지 전략은 실험자가 가지고 있는 입력 설정의 제어 정도에 따라 달라집니다.
나는 이상치를 제거하는 것에 대해 다소 구식입니다. 포함 또는 제외를 안내하는 주제 전문 지식이 없는 한 이러한 데이터 포인트를 제거하는 것을 극도로 꺼립니다. 앙상블 모델(전체 데이터 세트를 기반으로 하고 특이치가 제거된 모델을 결합하는 모델)은 변동성과 모델 불확실성에 대한 이해에 대한 이러한 관찰의 영향을 보정하는 대체 방법을 제공할 수 있습니다.
시간을 내어 이 전략적 주제에 대한 그녀의 지혜를 더 많이 공유해 주셔서 감사합니다. 참석하여 좋은 질문을 해주신 모든 분들께 감사드립니다! 정보가 풍부한 데이터를 수집하려는 모든 노력에 박수를 보냅니다! 우리는 또한 Christine의 논문을 적극 추천합니다. 좋은 질문을 하는 이유와 방법 .
참조:
[1] 앤더슨-쿡, CM, Lu, L. (2023) “빅데이터 시대에도 설계된 데이터 수집은 여전히 유효한가? 품질 및 신뢰성 공학 국제 39(4) 1085-1101.
[2] Freeman, L. (2023) “리뷰: 디자인 데이터 수집은 빅 데이터 시대에도 여전히 관련이 있습니까? 기계 학습으로의 확장” 품질 및 신뢰성 공학 국제 39(4) 1102-1106.
[3] 프라이, H. (2018) Hello World: 알고리즘 시대의 인간 되기 , W W 노턴 앤 컴퍼니.
[4] 루, 엘., Anderson-Cook, CM, Ahmed, T. (2021) "비균일 공간 채우기 디자인" 품질기술 저널 53(3) 309-330.
[5] 앤더슨-쿡, CM, 루, 엘., 마이어스, 케이, 퀸란, K., Pawley, N. (2019) "정보 데이터 세트의 전략적 생성을 통한 데이터 경쟁에서 향상된 학습" 품질 공학 31(4) 564-580.
[6] 앤더슨-쿡, CM, 마이어스, 케이, 루, 엘., 푸게이트, ML, 퀸란, K., Pawley, N. (2019) "데이터 경쟁: 전략적 설계 및 경쟁 후 분석에서 더 많은 것을 얻기" 통계 분석 및 데이터 마이닝 12 271-289.
[7] 루, 엘., Anderson-Cook, CM(2022) "알고 있는 것 활용: 다목적 공간 채우기 디자인" 품질 공학 https://doi.org/10.1080/08982112.2022.2161394
[8] Lekivetz, R. 및 B. 존스. 2015. "직사각형이 아닌 영역을 위한 빠르고 유연한 공간 채우기 디자인" 품질 및 신뢰성 공학 국제 31 (5):829–37. 도이: 10.1002/qre.1640.
