도움 필요: 범주 값 그룹화, 범주 및 예외의 최적 수 찾기여러분,
나는 누군가가 내가 해결책을 찾도록 도와주거나 적어도 올바른 방향으로 나를 살짝 밀어주기를 바라는 문제가 있습니다.
N 개의 도구가 있다고 가정해 봅시다. 그들은 여러 속성을 가지고 있습니다. 예를 들어 10이라고 가정해 보겠습니다. 이것은 정확한 모델 번호, 색상, 벨 및 호루라기, 수정 등일 수 있습니다.
또한 수백 개의 매개변수가 있습니다. 일부는 모든 도구에서 동일할 수 있고 일부는 속성 조합 또는 단일 속성에 의존할 수 있습니다.
그리고 수백 개의 매개변수를 모두 관리해야 합니다. 이러한 매개변수는 변경될 수 있고 원래 있어야 하는 것과 다를 수 있으며 저는 언제든지 각 매개변수를 알고 있습니다.
이제 접근 방식은 다음과 같습니다. 모든 도구를 몇 개의 큰 그룹으로 나누고 속성 조합으로 정의되는 범주라고 부르겠습니다. 색상에 관계없이 모델 A의 모든 도구와 파란색이 하나의 범주이고 모델 A의 빨간색이 두 번째 범주이며 모델 B가 세 번째 범주라고 가정해 보겠습니다.
이제 모든 매개변수가 한 범주 내에서 동일하지는 않습니다. 일부 특정 매개변수는 모델 A의 빨간색 녹색 벨과 모델 A의 빨간색 노란색 벨 간에 다를 수 있습니다. 따라서 가장 일반적인 조합을 찾아 해당 범주에 대해 "기본값"이라고 합니다. 서로 다른 모든 항목에 대해 설명하고 매개변수가 다른 이유를 설명하는 주석을 추가해야 합니다.
결국, 우리는 두 개의 알 수 없는 숫자를 가지게 될 것입니다. 분류해야 하는 범주의 수와 "기본값"과 일치하지 않는 매개변수에 대해 채워야 하는 예외 주석의 수입니다.
하나의 범주를 설정하면 하나의 범주를 유지하는 것은 쉬울 것이지만 "기본값"에서 관리하기에는 너무 많은 예외가 있을 것입니다. 거의 각 특성 조합에 대한 범주를 만들면 "기본값"에서 너무 많은 예외를 관리할 필요가 없지만 많은 범주를 관리하는 데 문제가 있습니다.
문제는 데이터 집합을 기반으로 하며 최적의 범주 수를 찾습니다. 여기서 둘 다 합리적인 양의 예외와 함께 합리적인 양의 범주를 가집니다.
이 문제를 해결하는 방법에 대한 아이디어가 있습니까?
감사해요,
중.
Re: 도움이 필요합니다: 범주 값 그룹화, 범주 및 예외의 최적 수 찾기모두,
의견 주셔서 감사합니다.
이 문제에 접근하기 위해 내가 선택한 경로는 다음과 같습니다.
내 초기 테이블은 내 도구 열이었고 내 행은 다른 매개 변수에 대한 값입니다. 또한 매개변수 이름에 대한 열입니다.
내가 한 첫 번째 일은 모든 도구 열을 쌓는 것입니다. 그래서 저는 Tool, Parameter Tag, Parameter Value라는 세 개의 열을 갖게 되었습니다. 어떤 속성도 언급되지 않았습니다. 모델도 없고 아무것도 없습니다...!
Parameter Value는 많은 값이 HEX 형식이므로 문자 공칭 값입니다.
그런 다음 계층적 클러스터링 플랫폼을 시작하고 다음 옵션(기본값과 다른 옵션이 나열됨)을 선택했습니다. 매개변수 값을 Y로, 매개변수 태그를 속성 ID로, 도구를 개체 ID로 캐스팅했습니다.
멋진 클러스터링 트리가 있습니다.
아래는 거리 그래프였습니다.
처음 몇 개의 분할은 대부분의 매개변수를 담당했습니다. 그리고 도구 분포를 기반으로(이 분석에서는 각 도구의 모델, 색상, 벨 및 휘파람이 무엇인지 알지 못함을 기억하십시오) 다음과 같은 클러스터 간 책임이 있습니다.
1차 분할: 도구 모델
두 번째 분할: 모델 중 하나의 도구 하위 모델
세 번째 분할: 주요 하위 시스템 버전
그리고 또 다른 한사람도.
아래 플롯 - 거리 플롯은 기본적으로 클러스터 평균에서 모든 클러스터 구성원의 평균 거리를 제공합니다. 공칭 값의 경우 주문에 의해 정의됩니다. 어떤 의미에서 이것은 이상값의 추정치 역할을 할 수 있습니다. 1/3 분할 후 거의 포화 상태입니다. 즉, 2개 또는 3개의 클러스터로 이동하려면 많은 예외를 설명해야 합니다. 4개의 클러스터를 사용하면 이 데이터 세트에서 훨씬 적습니다. 우리는 5개의 클러스터를 선택했습니다.
하나는 클러스터 평균(기본적으로 범주 값에 대해 가장 빈번한 값이어야 함) 테이블을 저장할 수 있으며 각 클러스터 수에 대해 이러한 테이블을 저장하고 해당 테이블을 기본 테이블에 조인(또는 가상 조인 - gzmorgan에게 끄덕임), 특정 값이 POR/기본값/골든 값과 다른지 감지할 수 있으므로 각 클러스터 수에 대한 정확한 예외 수를 계산할 수 있습니다.
그런 다음 결정해야 할 유일한 것은 관리할 클러스터(범주) 수와 해당 예외에 대해 수행할 준비가 된 처리 수입니다.
감사해요,
중.
Re: 도움이 필요합니다: 범주 값 그룹화, 범주 및 예외의 최적 수 찾기골짜기,
예, 맞습니다. 결국 클러스터 분석을 중단했습니다. 유일한 세부 사항은 HEX 값으로 많은 매개 변수가 있다는 것입니다. 즉, 구문 분석을 시도하는 많은 스크립팅을 피하려면 명목 값을 처리할 수 있는 계층적 클러스터링만 사용하면 됩니다. 좋은 점은 주요 구성 요소를 사용할 필요가 없다는 것입니다.
자세한 설명은 별도 댓글로 하겠습니다.Re: 도움이 필요합니다: 범주 값 그룹화, 범주 및 예외의 최적 수 찾기답장을 보내 주셔서 감사합니다. 생각할 거리가 생겼습니다. 내가 언급하고 싶은 주요 사항은 값 사이의 거리에 관계없이 일치/불일치에만 관심이 있다는 것입니다. 내가 언급했듯이 상위 문제는 수백 개의 도구 상수\매개변수를 관리하는 것입니다. 이런 의미에서 POR인지 non-POR인지, 즉 Golden Parameter List와 불일치가 있는지 알아야 합니다. 문제는 기본적으로 최적의 황금 매개변수 목록 수를 찾는 것입니다. 또 다른 것은 많은 매개변수가 HEX 형식이라는 것입니다. 10진수로 쉽게 구문 분석하는 데 도움이 되는 기본 제공 함수가 없으면 문자 값으로 유지되므로 범주 분석만 수행할 수 있습니다. 한편으로는 내가 이해하는 한 매개변수 사이의 거리가 값의 순서에 따라 계산될 것이기 때문에 일을 단순화합니다. 반면에 수행할 수 있는 분석 유형이 제한됩니다.
이에 대한 자세한 내용은 아래의 별도 설명에서 설명합니다. 방법론, 적어도 내가 이해하는 방식, 그리고 나중에 최종 솔루션에 대해 설명하겠습니다.
다시 한번 감사합니다!Re: 도움이 필요합니다: 범주 값 그룹화, 범주 및 예외의 최적 수 찾기이것은 나에게 클러스터링 문제처럼 들립니다.클러스터 수와 해당 구성이 확실하지 않고 클러스터 내의 편차를 식별하려고 합니다.가지고 있는 변수의 수가 주어지면 주성분을 사용하는 것과 같이 군집화하기 전에 차원을 줄여야 할 수도 있습니다.클러스터링에 대한 내 자신의 노력이 만족스럽지 못했다고 말할 수 있습니다. 클러스터는 식별 가능한 그룹과 거의 일치하지 않습니다(예를 들어 개인 소비자 또는 대학 지원자와 일반적으로 이 작업을 수행했습니다)."유사한" 도구를 함께 사용하는 것과 같이 사전에 클러스터를 정의하려는 것처럼 들립니다.문제는 당신이 "유사하다"고 생각하는 것이 데이터가 말하는 "유사하다"와 다를 수 있다는 것입니다.그룹에 대한 아이디어가 있다고 생각하는 경우 한 가지 접근 방식은 사전 클러스터링을 클러스터링 알고리즘이 생성하는 것과 비교한 다음 둘 사이의 차이점을 탐색하는 것입니다.
Re: 도움이 필요합니다: 범주 값 그룹화, 범주 및 예외의 최적 수 찾기미구엘로,
이는 프로필 분석 또는 K Nearest Neighbor를 연상시킵니다. 각 행이 엔터티이고 엔터티 열 외에 각 특성에 대한 열이 있는 테이블을 만듭니다. 1=빨간색 및 2=녹색 등과 같은 속성에 대한 코드가 있을 것을 제안합니다. 그런 다음 가상의 예에 따르면 종에 대한 열에 이러한 값이 있습니다.값에 대한 레이블을 지정하는 것이 좋습니다.
그런 다음 하나 이상의 메트릭과 가중치를 정의할 수 있습니다.예를 들어, 특정 사양이 일치해야 하는 것이 가장 중요할 수 있습니다. 그룹 A는 대용량 분무기(> 일부 입방 단위)여야 하고 그룹 C는 저용량(< 일부 입방 단위)이어야 하며 그룹 B는 기타여야 합니다. 사용할 수 있는 그룹을 세분화하거나 하위 정의하려면 다음을 수행하십시오.
- 잠재 클래스 분석 - 범주를 코딩할 필요는 없지만 코딩을 통해 다른 분석을 단순화할 수 있습니다.
- 가능한 속성 쌍을 보여주는 다중 대응 분석
- k 최근접 이웃 방법은 스크립팅 인덱스 함수: KDE(통계) 및 KDTable(행렬)을 참조하십시오.
즉, 종종 그룹은 결과에 따라 시간이 지남에 따라 정의됩니다. 미국 중간선거가 다가오고 있으니 예시로 들겠습니다. 종종 수업에 대한 예측이 이루어집니다. 이러한 클래스는 연령, 성별, 교육, 도시 대 농촌, 주, 종교, 교회 출석, 중간 투표 횟수, 즉 사회적 및 공간적 인구 통계의 혼합뿐만 아니라 행동(# 회 투표, 교회 출석).
엔터티 불일치와 관련하여 약간의 추가 주의가 필요합니다. 이전 엔터티에는 3개의 현장 센서가 없고 최신 엔터티에는 센서의 성능 판독값이 있다는 점을 제외하고 그룹 A 엔터티가 구성에 대해 밀접하게 일치한다고 가정합니다. 불일치는 사용 가능한 데이터로 계산해야 합니다. 시나리오를 계속 진행하면서 모든 그룹 A 도구에 대해 100개의 메트릭이 있지만 최신 도구에는 3개 또는 103개의 추가 메트릭이 있다고 가정합니다. 많은 JMP 플랫폼은 누락된 값을 쉽게 처리하지만 이를 처리하는 방법은 불일치를 식별하는 데 사용할 수 있는 분석/기준에 따라 다릅니다.
저는 JMP 가상 조인을 좋아합니다.이 분석을 수행하는 경우 범주를 정의하기 위해 enity 속성 테이블을 만든 다음 가상으로 다른 변수 테이블과 조인할 수 있습니다. 또한 다른 변수에 실행당 여러 값(행)이 있는 경우에도 쉽게 사용할 수 있습니다.
이것들은 단지 부스러기일 뿐입니다. 이 흥미로운 작업에 행운을 빕니다.
