주성분 분석 또는 k-평균 군집 분석을 사용해야 합니까?안녕하세요 - 다음 상황에 사용할 최상의 군집 분석 방법(예: 주성분 분석, k-평균 등)을 결정하려고 합니다.각각 샘플 결과가 있는 웰에 해당하는 12,928개의 레코드가 있는 매핑된 데이터 세트가 있습니다.데이터의 각 행(내 지도의 각 위치)에는 우물 이름, 위도, 경도, 화합물 A, 화합물 B, 화합물 C, 화합물 D, 화합물 E 등(총 8가지 화합물)의 결과가 있습니다.이러한 유정은 1) 공기 침적, 2) 공정 폐기물 또는 3) 두 가지(혼합)의 조합 중 하나에 의해 오염되었습니다.그리고 각 소스는 고유한 소스 시그니처와 연관됩니다(예: 공기 증착 소스는 높은 화합물 X와 낮은 화합물 Y를 갖는 경향이 있는 반면, 프로세스 용수는 높은 화합물 Y와 Z와 낮은 화합물 X를 갖는 경향이 있습니다.).따라서 내 데이터 세트의 각 행(예: 우물 위치)은 세 가지 오염원 중 하나와 연결됩니다. 내 목표는 내 데이터 세트의 각 레코드(즉, 위치)에 대해 가장 가능성이 높은 소스를 식별하는 것입니다.
중요한 것은 내 데이터 세트에 있는 ~800개 레코드의 하위 집합이 공기 증착 소스 서명과 연관되어 있는 것으로 알려져 있다는 것입니다.따라서 이 데이터 하위 집합은 공기 증착 서명에 대한 교육 세트로 사용할 수 있습니다.또한 프로세스 폐기물 소스 서명을 나타내는 ~50개 레코드의 하위 집합을 생각해낼 수 있습니다.
JMP 또는 JMP Pro에서 제안된 접근 방식은 대단히 감사하겠습니다.미리 감사드립니다!
고급 통계 모델링기본 데이터 분석 및 모델링데이터 탐색 및 시각화예측 모델링 및 기계 학습Re: 주성분 분석을 사용해야 합니까 아니면 k-평균 군집 분석을 사용해야 합니까?데이터 샘플은 첨부된 Excel 스프레드시트를 참조하십시오.
Re: 주성분 분석을 사용해야 합니까 아니면 k-평균 군집 분석을 사용해야 합니까?Excel 스프레드시트를 본 적이 없지만 클러스터링과 같은 탐색적 데이터 분석 방법이나 PCA와 같은 차원 축소 방법이 실제 문제 적용에 가장 적합할지 확신이 서지 않습니다. 귀하의 원본 게시물에 대한 제 해석은 주로 귀하의 첫 번째 단락의 마지막 문장을 기반으로 합니다. "내 목표는 각 레코드에 대해 가장 가능성이 높은 소스를 식별하는 것입니다...". 나에게 이것은 오염원이 종속 변수이고 화합물이 예측 변수인 분류 모델링 문제처럼 들립니다. 제 생각이 맞다면 JMP와 JMP Pro에는 분류 문제에 적합한 모델링 방법이 얼마든지 있습니다. 명목형 로지스틱 회귀로 시작하거나 여러 가지 트리 방법을 시도하거나 JMP Pro의 PLS-판별 분석 플랫폼을 사용하여 몇 가지 예를 들 수 있습니다. JMP Pro가 있고 데이터가 교차 검증 방법을 지원하는 경우 작업 흐름에도 해당 방법을 포함하는 것이 좋습니다...소스 중 하나를 암시하는 것이므로 해당 방법도 사용할 수 있는 것처럼 들리나요?
Re: 주성분 분석을 사용해야 합니까 아니면 k-평균 군집 분석을 사용해야 합니까?안녕하세요 P_Bartell - 답장을 보내주셔서 대단히 감사합니다.나는 내 목표를 명확히하려고 노력할 것입니다.각 레코드는 다양한 PFAS 화합물의 결과(농도)를 보여주는 매핑된 웰 샘플을 나타냅니다(각 화합물은 다른 필드임).내 연구 영역에서 가능한 세 가지 오염원: (1) "PMPA" 화합물과 주로 관련이 있는 것으로 추정되는 공기 증착원, (2) "PFMOAA"와 관련이 있는 것으로 추정되는 공정 폐기물 발생원, 및 ( 3) 공기 퇴적물과 공정 폐기물의 혼합물.물론 세상은 그리 깔끔하지 않기 때문에 이 두 가지 화합물(PMPA 및 PFMOAA)은 소스에 대한 근접성과 물론 다른 화합물에 관계없이 거의 모든 우물에서 발생합니다.그건 상대 농도 유정이 하나의 소스에 의해 영향을 받는지 아니면 다른 소스에 의해 영향을 받는지 식별하는 데 도움이 되는 화합물.그리고 다른 화합물이 더 나은 대용물 또는 지시자일 수 있습니다....tbd.
내 목표는 어떤 지역(예: 우물)이 어떤 출처에 의해 오염되었는지 결정하는 것입니다.(제가 첨부한 스프레드시트는 데이터의 샘플일 뿐이지만 제 데이터 형식에 대한 아이디어를 제공합니다.) 중요하게도, 소스에서 멀리 떨어진 웰은 자연적으로 해당 웰을 구성하는 다양한 화합물의 농도가 감소하지만 상대적인 비율은 해당 소스와 관련된 화합물은 계속 유지되어야 합니다.따라서 우물의 위치는 이야기의 일부입니다(즉, 우물이 있는 곳은 복합 구성에 영향을 줄 수 있음).
따라서 위의 경우 예를 들어 판별 분석(DA)이 여전히 좋은 방법이라고 생각한다면 몇 가지 질문이 있습니다.(1) 내 샘플(정확한 결과)이 독립적이어야 하지 않습니까?그리고 위의 제 설명을 바탕으로 ~일 것이다 그들은?하나의 출처 유형에 가까운 사람들은 다른 출처에 가까운 사람들과 더 비슷하기 때문에 그들은 진정으로 독립적이지 않은 것 같습니다.생각? (2) 각 PFAS 화합물(독립 변수)의 농도는 정규 분포를 따른다고 가정합니다.이것이 환경 오염 데이터라는 점을 감안할 때, 이 가정은 종종 로그 정규화를 통해서도 충족되지 않습니다.이것이 문제입니까? (3) 내 예측 변수(PFAS 화합물)는 자연스럽게 동일선상에 있을 것 같습니다.즉, 주어진 소스는 해당 소스에 대한 근접성에 따라 함께 상승 및 하강하는 몇 가지 화합물과 연관됩니다.이것이 문제입니까?미리 감사드립니다!
Re: 주성분 분석을 사용해야 합니까 아니면 k-평균 군집 분석을 사용해야 합니까?귀하의 각 질문에 최선을 다해 답변해 드리겠습니다. (1) 반드시 그런 것은 아닙니다. '독립'은 다양한 모델링 방법을 사용할 필요가 없는 정상성(곧 나올 설명 참조)과 같은 훌륭한 도시 요구 사항 응답 신화 중 하나입니다. (2) 누구라고? 실생활 데이터는 종종 독립 변수에 정상적으로 분포되지 않습니다...누가 신경 쓰나요? (3) PLS - Discriminant Analysis와 같은 방법이 빛나는 곳입니다. 약간 지나치게 단순화할 위험이 있습니다... 모든 PLS 기반 방법(동일선형 예측 변수로 빛나는)의 배경에서 발생하는 일은 매우 우아한 수학을 통해 이러한 공선형 예측 변수가 '잠재 변수'라고 하는 것으로 바뀌는 것입니다. 정말 멋진 속성이 있습니다... 모델링 전에 예측 변수에 대한 주성분 분석을 수행하는 것과 매우 유사합니다. 오래 전 저는 아직 JMP 선임 시스템 엔지니어였을 때(요즘은 은퇴했습니다) 아직 사용할 수 있는 Mastering JMP 웨비나를 만들었습니다. 제목은 "부분 최소 제곱 사용"입니다. 일반 최소 제곱 회귀가 작동하지 않을 때." 당신은 그것을보고 싶어 할 수도 있습니다? 링크는 다음과 같습니다. 피. 바텔 - PLS 실제로 이벤트가 끝날 때 귀하와 크게 다르지 않은 분류 유형 문제를 다룹니다. 그것은 여성의 에스트로겐 수용체 상태를 분류하기 위해 인간 게놈 데이터(일반적으로 분포되지 않음)를 사용하고 있습니다(이진 응답이지만 3개의 가능한 분류자를 사용하여 상황에 맞게 쉽게 확장 가능). 마지막으로 JMP Pro가 있다면 다양한 트리 방법도 진지하게 살펴보겠습니다. 그런 다음 모든 모델을 Formula Depot에 보관하고 성능을 비교합니다. 내 웨비나는 JMP Pro v 13을 사용하여 완료되었다고 생각합니까? 따라서 제가 보여드리는 기능과 기능이 약간 변경되었을 수 있습니다. v 17을 실행하는 것처럼 보이지만 기본 아이디어는 여전히 유효합니다. 행운을 빌어요!
Re: 주성분 분석을 사용해야 합니까 아니면 k-평균 군집 분석을 사용해야 합니까?감사합니다 P_Bartell!귀하의 링크를 확인하고 약간의 숙제를 할 것입니다.귀하의 상세한 답변에 감사드립니다!
Re: 주성분 분석을 사용해야 합니까 아니면 k-평균 군집 분석을 사용해야 합니까?나는 당신의 비디오를 보았다 – 매우 도움이 된다!JMP에서 판별 분석을 사용한다고 가정하면 제 Y 공변량은 분명히 제 수많은 PFAS 복합 필드입니다. 그러나 내 X, 범주/클래스 필드("소스")가 어떻게 작동하는지 명확하지 않습니다.내가 이렇게 말하는 이유는 대부분의 내 데이터 세트에 대한 소스가 무엇인지 모르기 때문입니다(이것이 제가 이 분석을 수행하는 이유입니다).
내 데이터 세트는 다음과 같습니다.
내 연구 영역의 고유한 특성 때문에 내 데이터 세트에 원본 필드를 추가하고 내 행의 약 10%(~1300행)에 대해 채울 수 있습니다.그러나 "공기 증착" 소스에 대해서만 채울 수 있습니다.다른 두 소스("프로세스 낭비" 및 "혼합")는 식별하기 쉽지 않습니다. 따라서 내 데이터 세트(예: PLS)를 분석해야 합니다.누르면 "프로세스 폐기물" 소스도 채울 수 있지만 약 30행에 대해서만 채울 수 있습니다.다른 11,000개 행의 소스 필드는 알 수 없습니다.
여기서 워크플로를 잘못 읽은 것인가요?
Re: 주성분 분석을 사용해야 합니까 아니면 k-평균 군집 분석을 사용해야 합니까?아니요, 워크플로우를 잘못 읽고 있는 것이 아닙니다. Loc 열의 데이터 테이블을 해당 변수의 세 가지 가능한 수준으로 채울 수 없다면 모델, PLS 또는 해당 문제에 대한 다른 방법을 빌드할 수 없습니다. 따라서 복합 변수에 대한 클러스터링 또는 주성분 분석과 같은 다변량 탐색 데이터 분석 도구에 대한 원래 생각으로 돌아가도록 제안하겠습니다. 일부 클러스터가 발생하거나 상대적으로 적은 수의 주성분이 나타나는 경우 복합 변수 중에서 볼 수 있을 것입니다.
Re: 주성분 분석을 사용해야 합니까 아니면 k-평균 군집 분석을 사용해야 합니까?나는 내 오랜 친구에게 쌓일거야 @P_Bartell 님의 답변입니다.제 생각에는 클러스터링이 분석 요구 사항을 시작하기에 좋은 장소처럼 들립니다.K-평균 또는 계층적 클러스터링이 잘 작동해야 하며 가능한 오염원이 3개이므로 K-평균 또는 계층적 클러스터링을 3개의 클러스터로 제한해야 합니다.결과에 만족하면 클러스터를 데이터 테이블에 다시 저장하고 이 열을 추가 모델링의 일부로 사용할 수 있습니다.또한 클러스터 공식을 데이터 테이블에 다시 저장할 수 있으며 테이블에 새 데이터를 입력하면 오염의 클러스터(소스)를 즉시 예측할 수 있습니다.
Re: 주성분 분석을 사용해야 합니까 아니면 k-평균 군집 분석을 사용해야 합니까?추가 생각과 아마도 엉뚱한 아이디어...이것이 작업 중인 실제 문제이고 일부 클러스터가 식별되고 각 우물과 연결된 지리적 위치를 얻은 후 구성된 학문적 연습이 아닌 경우 Graph Builder 매핑을 사용하십시오. 우물의 밀도 지도를 생성하는 도구. 그런 다음 약간의 스누핑을 통해 화합물의 소스 경로에 대해 합리적인 추측을 할 수 있을 것입니다. 운 좋게도 저는 환경 지질 공학자로서 자격/훈련/교육을 거의 받지 못했고 방금 Love Canal(Niagara Falls NY) 사건에 대한 책을 다 읽었습니다. 나는 거기에 있는 우물이나 근처의 모든 플룸이 비슷한 오염 프로필을 가질 것이라고 장담합니다... 그리고 소스는 꽤 분명합니다... 묻혀 있고 수년 동안 스며들도록 남겨진 프로세스 폐기물입니다. 다시 JMP 시스템 엔지니어가 되다니...저는 항상 고객과 함께 이런 종류의 '복잡한' 문제를 해결하는 것을 좋아했습니다.
Re: 주성분 분석을 사용해야 합니까 아니면 k-평균 군집 분석을 사용해야 합니까?둘 다 감사합니다.나는 거기에서 시작하여(클러스터 분석) 그것이 어디로 이어지는지 볼 것입니다.입력해 주셔서 감사합니다!
