조언 요청: 샘플링 유효성 및 분포로의 집계안녕하세요,
우리 연구실에서는 다양한 확대/축소에서 Google 지도 스크린샷을 사용하는 것과 유사하게 다양한 샘플의 데이터를 다양한 배율로 집계하여 입자 크기(특히 친숙한 사람을 위해 STEM을 통해 탄소 및 산화물 분말에 지원되는 최대 20nm의 단일 원자에서 나온 금속 입자)를 측정합니다. 미국 전역의 건물 크기를 측정하는 수준입니다. 이 접근 방식에는 샘플 위치 선택과 사용되는 확대/축소 수준이라는 두 가지 주요 문제가 있습니다.
일반적으로 측정값을 집계하여 경험적 분포를 만들고 평균을 모집단 평균으로 가정합니다. 그러나 우리의 샘플링이 대표성을 갖지 못할 수도 있다는 우려가 있습니다.
저는 JMP의 단방향 ANOVA 플랫폼을 사용하여 이미지 수와 확대/축소 수준의 함수로 입자 크기를 분석해 왔습니다. 배율 내 및 배율 사이의 이미지 전체에 걸쳐 데이터를 유효하게 집계할 수 있는지 알고 싶습니다. 배율이 높으면 작은 입자가 많이 생기지만 큰 입자는 놓치고, 배율이 낮으면 반대 효과가 나타납니다. 올바른 절차는 표본추출 이론과 관련이 있다고 생각합니다. 하지만 제가 찾을 수 있는 표본추출 이론 자료의 대부분은 정치 여론조사 데이터와 같은 사회과학 관련 자료입니다. 그러나 이는 "지리적" 영역에 대한 속성을 샘플링한다는 점에서 매우 유사합니다.
그렇다면 우리가 해왔던 일을 하고 그냥 모아서 하루로 끝내면 될까요, 아니면 적어도 다른 배율에서 대표 샘플링이 있는지 확인해야 합니까? 그렇게 하면 확대에 다른 수단이 있음을 보여주는 Tukey와 같은 일부 테스트를 실행했지만 비모수적 버전이 필요한지 확실하지 않습니다.
샘플링과 가정의 타당성을 어떻게 테스트하시겠습니까? 제가 너무 생각하고 있는 건가요? 지금까지 해왔던 대로 평균을 취해야 할까요? 아니면 일련의 테스트(예: Anova, anom, welch's test, tukey 등)를 실행해야 하며 어떤 테스트를 실행해야 합니까? 이 문제에 대한 전문가의 조언을 부탁드립니다.
그리고 이 게시물이 좀 산만해서 죄송합니다. 내 앞에는 모든 옵션이 있지만 그 중에서 선택할 수 있는 경험은 전혀 없으며 내 분야의 사람들은 이런 것에 관심을 두지 않습니다.
감사해요!기본 데이터 분석 및 모델링데이터 탐색 및 시각화결과 공유 및 전달윈도우Re: 조언 요청: 샘플링 유효성 및 분포에 대한 집계나의 초기 생각은 다음과 같습니다. 첫 번째 질문은 입자 크기를 측정하는 목적이 무엇입니까? 이러한 측정을 통해 어떤 질문에 대답하려고 합니까? 특정 제품의 입자 크기 변화를 줄이는 데 관심이 있으십니까? 예를 들어, 어떤 요인이 입자 크기에 영향을 미치는지 확인하려는 경우 입자 크기의 평균과 변동을 추정할 수 있습니다. 이러한 구성 요소에 영향을 미치는 요인이 다를 수 있으므로 이미지 내 및 이미지 간 변형 구성 요소(및 측정 오류)를 모두 추정할 수 있습니다. 제가 사용해 본 대부분의 입자 크기 분석기(예: 레이저 회절)는 입자 크기 분포를 제공합니다(종종 분포가 정규적이지 않음). 내 조언은 통계 테스트를 수행하기 전에 항상 데이터를 플롯하라는 것입니다.
Re: 조언 요청: 샘플링 유효성 및 분포에 대한 집계@statman 답변 감사드립니다!
@statman 이 썼습니다:
첫 번째 질문은 입자 크기를 측정하는 목적이 무엇입니까? 이러한 측정을 통해 어떤 질문에 대답하려고 합니까?
따라서 이번 실험에서는 불행하게도 우리의 주력 분석 방법을 감당할 자금이 없습니다. 따라서 이는 DoE에 연결될 다른 기술의 입자 크기 측정을 확인하는 데 사용됩니다. 표본 분포가 모집단 분포를 대표한다고 믿을 수 있다고 가정하면 몇 가지 작업을 수행하고 싶습니다.
- 분포의 처음 몇 순간, 즉 숫자 가중, 표면 가중(Sauter) 및 부피(De Brouckere) 가중 평균 직경을 추출합니다.
- 표본 간 분포를 비교합니다. 한 샘플은 다른 샘플과 비교하고 싶은 컨트롤입니다. 우리는 해당 조건이 분포의 평균 또는 분산을 변경하는지 여부에 대한 대응 테스트에서 최소한 약간의 데이터를 얻을 수 있는 다양한 프로세스 조건을 가지고 있습니다.
특정 제품의 입자 크기 변화를 줄이는 데 관심이 있으십니까?
전적으로. 우리는 특정 조건이 분포를 좁히는 것을 발견했는데, 이는 매우 바람직합니다.
제가 사용해 본 대부분의 입자 크기 분석기(예: 레이저 회절)는 입자 크기 분포를 제공합니다(종종 분포가 정규적이지 않음).
불행하게도 STEM에서는 우리가 작업하는 규모로는 이것이 불가능합니다. 생물학적 샘플의 경우 대비가 뛰어나고 자동 필터가 이러한 작업을 수행할 수 있습니다. 그러나 우리는 장비의 LOD가 더 낮은 수준에 가깝고 수백 또는 수천 개의 입자에 대한 원(ROI)을 수동으로 그려야 하므로 시간이 많이 소모됩니다.
이러한 구성 요소에 영향을 미치는 요인이 다를 수 있으므로 이미지 내 및 이미지 간 변형 구성 요소(및 측정 오류)를 모두 추정할 수 있습니다.
그래서 이것이 제가 하고 싶은 일의 핵심이 되는 것 같아요. 샘플링이 올바르게 이루어졌음을 확인한 후에는 샘플 평균과 분산을 비교할 수 있을 것 같습니다. 하지만 말씀하신 대로 이미지 내부 분석과 이미지 분석 사이를 수행해야 합니다. 그러나 어떻게 해야 할지 잘 모르겠습니다. 예를 들어, 다음은 내 샘플 중 하나에서 처리된 24개 이미지의 밀도 비교 플롯입니다.
볼 수 있듯이, 그들은 모두 같은 모양을 가지고 있지만, 모든 밀도 곡선에 맞는 분포 모델에 대한 매개 변수는 이미지마다 매우 다를 것입니다. 확대된 이미지는 작은 입자를 불균형하게 샘플링하기 때문입니다. 축소하면 큰 입자가 불균형적으로 샘플링됩니다. 하지만..... 그건 괜찮을지도 모릅니다. 우리는 확실히 모든 입자 크기 등급을 샘플링해야 하며, 가장 이상적으로 분산된 샘플만이 모든 이미지에서 동일한 분포를 갖게 됩니다. 하지만 내가 그 모든 것을 정확하게 샘플링했는지 어떻게 알 수 있나요? 표본 크기를 포함하거나 가중치를 적용하는 통계 테스트가 있습니까? 샘플링 문제를 은폐하기 위해 부트스트래핑 방법을 배워야 합니까? 이것이 바로 제가 혼란스러워하는 지점입니다.
내가 이해하고 있는 걸까? 그렇지 않다면 알려주세요. 조언해 주셔서 정말 감사합니다.
Re: 조언 요청: 샘플링 유효성 및 분포에 대한 집계아 그리고 또 다른 것. 각 배율에서 샘플링할 만큼 충분히 했음을 확인하더라도 각 배율에서 수집된 입자의 정확한 비율을 어떻게 알 수 있습니까? 각 탄창의 최소 샘플 크기가 200개의 입자이고 한 배율에서 201개의 입자를 측정하고 다른 배율에서 100000개의 입자를 측정한 경우, 분명히 이러한 세트를 직접 추가하여 실제 분포를 얻을 수 없었습니다. 왜냐하면 불균형한 가중치가 적용되기 때문입니다. 각 이미지와 배율의 하위 샘플을 어떻게 집계합니까?Re: 조언 요청: 샘플링 유효성 및 분포에 대한 집계불행하게도 귀하가 처한 특정 상황을 이해하지 못합니다. (예: 측정 중인 제품은 무엇입니까? 배치 프로세스입니까? DOE는 무엇입니까?) 귀하의 주요 목표가 "일반적인" 측정 시스템을 STEM과 연관시키는 것이라면 , 그렇다면 샘플이 얼마나 "대표적"이어야 하는지 잘 모르겠습니다. 아마도 무작위 샘플을 사용하고 두 측정 시스템을 모두 사용하여 측정할 수 있을까요? 아니면 nato가 두 측정 시스템의 극한 입자 크기 측정값이 서로 연관되어 있는지 확인하고 싶습니까?
다음은 대표 샘플을 얻기 위한 몇 가지 일반적인 지침입니다. 대표 표본을 얻는 방법을 결정하는 데는 두 가지 접근 방식이 있습니다(물론 무엇을 대표하는지 고려해야 합니까?).
열거형(Enumerative): 이는 대표 표본을 얻기 위한 기초로 통계적 방법을 사용하는 편향된 접근 방식입니다. 샘플링은 주제 지식을 기반으로 하지 않습니다. 일반적으로 지침은 무작위로 표본을 추출하고(편향을 줄이기 위해) 표본 크기를 늘리는 것입니다. IMHO, 이러한 방법은 대표 샘플을 획득하는 데 덜 효과적/효율적이며 샘플이 무작위로 획득되므로 이러한 샘플에 변동 소스를 할당하는 것은 불가능하지는 않더라도 어렵습니다(Shewhart 참조).
분석: 이 접근 방식을 사용하면 샘플링 방법을 결정하기 위한 기초로 SME 가설을 사용하여 샘플링이 수행됩니다. 변동이 발생하는 이유와 해당 변동에 영향을 미칠 수 있는 요인에 대한 과학적 설명은 샘플 수집 방법과 해당 샘플을 측정하는 방법을 결정하는 기초로 사용됩니다. 예를 들어, 재료 처리 시 교반 속도가 입자 크기 변화에 영향을 미친다는 가설을 고려할 때 처리 중 여러 속도에서 샘플을 수집해야 합니다(이는 프로세스에 대한 지식을 기반으로 한 직접 샘플링을 통해 수행할 수 있음). 실험). 또 다른 예로, 시료 준비 과정(용매에 시료를 현탁시키는 것)의 일부가 용매의 순도에 따라 달라지므로 부유된 시료가 건조되면 시료에 오염 물질이 있다는 가설을 세웁니다. 다양한 용매 순도를 통해 샘플링해야 합니다. 이는 또한 직접 샘플링(용매 순도의 고유한 변화에 대한 지식을 기반으로 함)을 통해 수행되거나 실험에서 구체적으로 조작될 수 있습니다.
프로세스를 더 많이 이해할수록 합리적인 가설을 기반으로 대표 샘플을 개발하는 것이 더 적합합니다(효율성 및 효과성). 이해하는 정도가 적을수록 열거형 접근 방식이 유용할 가능성이 높아집니다.
Re: 조언 요청: 샘플링 유효성 및 분포에 대한 집계먼저 예를 들어 다른 사고 과정을 제안하겠습니다. 일상적인 주변 조건의 변화가 중요하다고 가정합니다. "더 나은" 표본 크기는 어느 것입니까? 하루에 10000개의 샘플을 채취하거나, 5개의 샘플을 채취하여 5일 동안 하루에 한 개의 샘플을 채취합니다. 중요한 것은 표본의 크기가 아니라 표본을 얻은 방법에 따라 변동의 원인이 무엇인지입니다.
시도해 볼 수 있는 사항에 대한 몇 가지 생각은 다음과 같습니다(다시 말하지만, 저는 귀하의 프로세스를 잘 모릅니다).
"배치"에서 샘플을 채취합니다. 샘플을 분할하고 각 분할을 별도로 준비합니다(용매에 용해하고 건조). STEM 측정 시스템을 통해 하나의 분할을 처리합니다(분할 이미지를 찍는 것 같습니다). 동일한 분할을 사용하여 반복합니다(따라서 이제 동일한 분할의 이미지 2개가 생겼습니다). 저해상도에서 이미지를 측정하고 모든 데이터(예: 직경, 길이, 너비, 무게 등)를 수집합니다. 고해상도에 대해 반복합니다. 두 번째 분할에 대해 이 전체 과정을 반복합니다. 이를 통해 다음과 같은 변동 구성요소를 추정할 수 있습니다.
1. 측정 시스템 정밀 반복성(이미지 내와 혼동되는 분할 내 이미지 대 이미지)
2. Split-to-split(시료 내 시료 준비 과정)
3. Res-to Res 변형
아니면 고해상도를 저해상도와 연관시키거나(2개의 서로 다른 Y로 처리) 모든 데이터를 하나의 분포로 결합할 수 있습니까?
물론 복잡성, 리소스 요구 사항, 혼동되는 변동 구성 요소, 추정 가능한 구성 요소 및 연구에 포함되지 않는 구성 요소(추론 공간)가 각각 다른 여러 샘플링 계획을 설계할 수 있습니다.
Re: 조언 요청: 샘플링 유효성 및 분포에 대한 집계정말 멋진 추천입니다. 많은 시간을 투자하고 생각해 주셔서 감사합니다. 나는 몇몇 사람들과 함께 앉아서 당신이 추천한 것 중 일부에서 어떻게 작업할 수 있는지 알아볼 것입니다.
불행하게도 우리는 이미 일부 이미지를 얻었으므로 이를 분석해야 합니다. "...모든 데이터를 하나의 배포판으로 결합"에 대한 귀하의 의견은 현재로서는 제한되어 있다고 생각합니다.
JMP에 가중치 분포를 수행하는 방법이 내장되어 있는지 알고 계십니까? 요인의 다양한 수준(이 경우 확대)에 따라 다르게 가중치를 부여하는 것과 같은가요? 제 생각엔 기술적인 용어가 혼합물 분포라던가 그런 것 같아요. 아무것도 찾을 수 없었지만, 놓쳤을 수도 있습니다.
감사해요!
