클러스터링 및 빅 데이터 - 전원 유틸리티의 고객 전원 사용 프로필전력 사용으로 고객을 클러스터링하는 데 관심이있는 전력 유틸리티 고객 (JMPPRO)을 방문 할 준비를하고 있습니다. 그들은 15 분마다 각 계정과 샘플 전력 사용량을 계량합니다. 이 작업을 수행하면 큰 데이터로 빠르게 바뀝니다 (10K 고객에 대해 하루에 96 회의 판독은 하루에 약 1M 판독입니다). 유사한 전력 사용 패턴을 기반으로 고객 계정을 그룹화하기 위해 클러스터링을 사용하려고합니다. 나는 클러스터링을 처음 사용하기 때문에 최상의 방법을 사용하고 있는지 확신 할 수 없습니다. 나는 스태킹을 시도하고 데이터를 분할, 분할 작업은 최고 일주일이 걸렸지 만 이미 고객 계정에 대해 10K 행을 가진 672 개의 열이 있지만 가장 잘 작동하는 것처럼 보입니다. 계층 적 클러스터링은 매우 좋은 결과를 제공하지만 10K 행을 처리 할 수는 없지만 2K 행은 좋지만 3K 행은 좋지 않습니다. K 클러스터링은 모든 10K 행을 처리 할 수 있지만 결과는 계층 구조만큼 좋지 않으므로 많은 다른 계정이 함께 클러스터됩니다. 지금 당장은 7 일간의 계량 및 2K 계정으로 데이터를 복싱하고 있습니다. 나는 아주 좋은 결과를 얻었고 기술을 보여 주지만 실제 사용 사례에서 추출한 것입니다. 내가 뭔가를 놓친다면, 나는 약간의 조언에 감사 할 것입니다. 예제 파일이 있지만 크기는 190MB입니다.
Re : 클러스터링 및 빅 데이터 - 전원 유틸리티의 고객 전원 사용 프로필예제 파일을 볼 수있는 요청이있어 파일 교환에이 파일을 게시했습니다. 다운로드 자체는 작은 파일이며 테이블을 빌드하는 임베디드 스크립트가 있습니다. 거대한 테이블로 끝날 수 있기 때문에 매개 변수를 선택하는 방법에주의하십시오.
하루 동안 전력 사용 곡선을 시뮬레이션하기 위해 코사인 함수를 사용합니다. 듀크 (Duke)는이 커브가 실제로 어떻게 생겼는지를 말해주었습니다. 이것은 오후와 저녁의 전력 사용량이 많은 코사인과 같습니다.
https://community.jmp.com/t5/JMP-Sample-Data/Power-Company-Metering-Example-Data/ta-p/42016
Re : 클러스터링 및 빅 데이터 - 전원 유틸리티의 고객 전원 사용 프로필여러분의 의견을 보내 주신 모든 분들께 감사드립니다. 여러분 중 일부는 파일에 관심이 있습니다. 파일 교환에 두 개의 파일을 넣었습니다. 그 중 하나는 제어 파일의 역할을하고 다른 하나는 큰 데이터 테이블을 작성하는 임베디드 스크립트를 가지고 있습니다. 그것은 약 6M 행으로 끝나고, 나의 끝의 2mins를 끝내기 위해 가져 갔다. 두 파일은 계정별로 연결되어야하지만 주변에서 파일을 섞은 후에 제대로 작동하는지 확실하지 않으므로 가상 결합을 설정해야 할 수 있습니다. 제어 파일은 "고객 정보"라고하고 자체 건물 파일은 "Power Comany 예 - 자체 구축 (대형) 테이블"이라고합니다. 임베디드 스크립트를 실행하기 전에 JMP 세션에서 두 파일이 모두 열려 있는지 확인하십시오.
Re : 클러스터링 및 빅 데이터 - 전원 유틸리티의 고객 전원 사용 프로필nn에 대한 Dons 응답에 대한 간단한 코멘트 :
에너지 회사에서 그들은 샘플을 가져 와서 적절한 클러스터를 찾은 다음 신경망을 사용하여 나머지 클러스터의 데이터를 예측했습니다. 저는 매스 웍스에서 일하는 동안이 작업을 아주 자주했고 꽤 잘했습니다. 물론 시간이 지남에 따라 상황이 바뀔 수 있고 초기 그룹도 변경 될 수 있으므로 nn 모델을 수시로 확인해야합니다.
이들 회사는 이러한 분류를 사용하여 소비 프로파일을 요청하는 신규 고객에게 제공하는 계약 및 가격 제공을 지정합니다. 또한 때로는 고객이 피크 시간대에 문제가 발생하지 않고 무료 리소스를 교환 할 수있는 용도를 예측하기 위해이를 사용하고 있습니다.
베스트
남자 이름
Re : 클러스터링 및 빅 데이터 - 전원 유틸리티의 고객 전원 사용 프로필추가를 원함 계층 적 클러스터링 Fast Ward 옵션을 사용하면 최대 200,000 행의 데이터를 분석 할 수 있습니다. http://www.jmp.com/support/help/13/Overview_of_Platforms_for_Clustering_Observation.shtml
Re : 클러스터링 및 빅 데이터 - 전원 유틸리티의 고객 전원 사용 프로필귀하의 설명에 근거하여 저는 이것이 전력 사용량 및 계좌 행으로 구성된 데이터에 계정을 클러스터하는 방법이라고 생각합니다. 계층 형 클러스터링은 많은 수의 행을 처리 할 수 없지만 K- 수단은 처리 할 수 있음을 발견했습니다. 이는 클러스터링에 알려져 있으며 두 가지 방법 중 하나를 선택할 때 주요 고려 사항 중 하나입니다. Kmean 클러스터링은 많은 다른 계정을 그룹화한다고 말했지 만 계층 적 클러스터링은 그렇지 않습니다. K- 평균을 실행할 때 얼마나 많은 클러스터를 설정했는지 궁금합니다. 비교를 위해 몇 개의 클러스터를 사용 했습니까? 계층 적 클러스터링? 아마도 당신은 K- 수단으로 더 많은 수의 클러스터를 시도해야 할 것입니다.
Re : 클러스터링 및 빅 데이터 - 전원 유틸리티의 고객 전원 사용 프로필나는 Mark와 동의한다. 트릭은 데이터를 의미있는 메트릭으로 집계하여 행 수를 줄이는 것입니다. 열을 사용하여 수행 할 수있는 작업이 확실하지 않은 것은 고객을 나타내는 것으로 가정하기 때문입니다. 다른 시간대 (예 : 시간, 요일, 주간, 월간 등)별로 중간 사용을 계산 한 다음 이들 각각에 대한 편차 점수를 유도하는 방법 (어쩌면 합계 제곱 또는 절대 차이) . 나는 또한 그들이 약간 비뚤어 질 것 같다고 생각하기 때문에 이것들의 축소 된 버전을 살펴볼 것을 고려할 것이다. 또 다른 아이디어는 일을하는 것처럼 하위 샘플을 클러스터링 한 다음 신경망 (또는 트리)을 사용하여 클러스터를 예측하는 것입니다.
나는 당신이 그것을 공유 할 수 있다면, 예제 파일을 보는 것이 좋을 것이다.
님
Re : 클러스터링 및 빅 데이터 - 전원 유틸리티의 고객 전원 사용 프로필또한 새로운 의미있는 응답을 유도하는 것을 고려할 수도 있습니다. 예를 들어 최고 사용량, 지난 6 개월 간의 최고 사용량, 평균 사용량 등. 원시 데이터에는 정보가 포함되어 있지만 15 분마다 무엇을 말합니까?
