クラスタリングとビッグデータ - 電力会社のための顧客電力使用プロファイル電力使用量によって顧客をクラスタ化することに関心がある電力会社の顧客（JMPPRO）への訪問の準備をしています。 各アカウントを計測し、15分ごとに電力使用量をサンプリングします。 これを計算すると、すぐにビッグデータになります（1万人の顧客で1日に96回の読み取りは、1日に約1M回の読み取りです）。 私は、クラスタリングを使用して、同様の電力使用パターンに基づいて顧客アカウントをグループ化しようとしています。 私はクラスタリングが初めてなので、最善の方法を使用しているかどうかわからない。 私はデータの積み重ねと分割を試みました。分割は最もうまくいくように見えますが、1週間の読みはすでに672列で、顧客アカウントは10K行です。 階層的クラスタリングは非常に良い結果をもたらしますが、10K行を処理することはできません。2K行ではうまくいきますが、3K行ではうまくいきません。 K平均クラスタリングはすべての10K行を処理できますが、結果はHierarchicalほど良くはありません。多くの異なるアカウントがまとめられています。 だから今、私はたった7日間のメータリングと2Kアカウントでデータをボクシングしています。 私は非常に良い結果を得ています、そしてそれはテクニックを実証します、しかしそれは実際のユースケースから非常にサンプリングされます。 何かが足りない場合は、いくつかのヒントをお願いします。私はサンプルファイルを持っていますが、それは大きくて、190MBです。
再：クラスタリングとビッグデータ - 電力会社のための顧客の電力使用量プロファイル私はサンプルファイルを見るようにとの要求をいくつか得ました、そして、私はこれをファイル交換で掲示しました。 ダウンロード自体は小さなファイルで、テーブルを構築する埋め込みスクリプトがあります。 巨大なテーブルになる可能性があるため、パラメータの選択方法には注意してください。
私は日中の電力使用量曲線をシミュレートするために余弦関数を使っています。 デュークは私にこの曲線が本当にどのように見えるかを話しました、それは午後と夜の電力使用のためのこぶで余弦のようです。
https://community.jmp.com/t5/JMP-Sample.co.jp/Power-Company-Metering-Example.co.jp/ta-p/42016
再：クラスタリングとビッグデータ - 電力会社のための顧客の電力使用量プロファイルご意見ありがとうございました。 このファイルに興味がある人もいました。 私は2つのファイルをファイル交換に置いています。そのうちの1つは制御ファイルとして機能し、もう1つは大きなデータテーブルを作成するための埋め込みスクリプトを持っています。 それは約600万行で終了し、終了するまでに2分かかりました。 2つのファイルはアカウントでリンクする必要がありますが、ファイルをシャッフルした後でこれが機能するかどうかはわからないため、仮想結合を確立する必要があるかもしれません。 制御ファイルは「顧客情報」と呼ばれ、自己構築ファイルは「Power Comany Example - 自己構築（大）テーブル」と呼ばれます。 埋め込みスクリプトを実行する前に、両方のファイルがJMPセッションで開いていることを確認してください。
再：クラスタリングとビッグデータ - 電力会社のための顧客の電力使用量プロファイルnnに関するDonsの回答に対する短いコメント：
エネルギー会社では、彼らはまさにそのアプローチを使い、サンプルを取って適切なクラスターを見つけ、そしてニューラルネットを使ってこれらのクラスターへのデータの残りを予測しました。私はMathWorksで働いている間にこれをかなり頻繁にしました、そしてそれは非常にうまくいきました。もちろん、nnモデルは時々変化する可能性があり、初期グループも変化する可能性があるので、時々チェックする必要があります。
これらの会社は、消費プロファイルを要求する新規顧客に提供する契約および価格オファーを指定するためにこれらの分類を頻繁に使用します。また、ピーク時にトラブルに巻き込まれずに無料のリソースを交換できるようにするために、顧客が使用状況を予測するためにこれを使用していることもあります。
ベスト
マーティン
再：クラスタリングとビッグデータ - 電力会社のための顧客の電力使用量プロファイルそれを追加したかった階層的クラスタリング Fast Wardオプションでも、最大200,000行までのデータを分析できます。http://www.jmp.com/support/help/13/Overview_of_Platforms_for_Clustering_Observation.shtml
再：クラスタリングとビッグデータ - 電力会社のための顧客の電力使用量プロファイルあなたの説明によると、これが、電力使用量の列とアカウントの行からなるデータでアカウントをクラスタ化する方法であると思います。あなたが発見したように、階層的クラスタリングは大量の行を扱うことはできませんが、K-meansはできます。これはクラスタリングで知られており、2つの方法から選択する際の重要な考慮事項の1つです。Kmeanクラスタリングは多くの異なるアカウントをグループ化しています階層的クラスタリングはそうではありません。 K-meansを実行するときに設定したクラスターの数はいくつか疑問に思いました。比較として、クラスタをいくつ使用したか階層的クラスタリングたぶんあなたはK-meansでより多くのクラスタを試す必要があります。
再：クラスタリングとビッグデータ - 電力会社のための顧客の電力使用量プロファイルマークに同意します。トリックは、行数を減らすためにデータを意味のあるメトリックに集約することです（列を使用して何ができるかわからない、それらは顧客を表していると思うので）。さまざまな期間（たとえば、時間、曜日、週、年など）で使用中央値を計算してから、それぞれについて偏差スコアを導き出します（二乗和または絶対差など）。。私はそれらが非常に歪んでいるのではないかと思うので、私はこれらのいくつかのスケールされたバージョンを見ることも検討したいと思います。もう1つのアイデアは、あなたのやり方のようにサブサンプルをクラスタ化してから、ニューラルネットワーク（またはツリー）を使ってクラスタを予測することです。
あなたがそれを共有することができれば、私は例のファイルを見ても構わないでしょう。
ドン
再：クラスタリングとビッグデータ - 電力会社のための顧客の電力使用量プロファイルさらに意味のある新しい回答を導き出すことを検討するかもしれません。たとえば、ピーク使用量、過去6か月間のピーク使用量、平均使用量などです。生データには情報が含まれていますが、それ自体は15分ごとに何を言っているのでしょうか。
