助けが必要: カテゴリ値のグループ化、カテゴリと例外の最適な数の検索皆さん、
私には問題があり、誰かが解決策を見つけるのを手伝ってくれるか、少なくとも正しい方向に導いてくれることを望んでいます。
したがって、N 個のツールがあるとします。 彼らは複数の属性を持っており、たとえば 10 個としましょう。 これは、正確なモデル番号、色、追加機能、修正などである可能性があります。
また、数百のパラメータもあります。 すべてのツールで同じものもあれば、属性の組み合わせまたは単一の属性に依存するものもあります。
そして、これら何百ものパラメータをすべて管理する必要があります。 これらのパラメータは変更され、本来のものとは異なる可能性がありますが、私は各パラメータをいつでも知っています。
ここでのアプローチは次のとおりです。すべてのツールを、属性の組み合わせによって定義されるいくつかの大きなグループ (カテゴリと呼びましょう) に分割します。 色に関係なく、モデル A と青色のすべてのツールが 1 つのカテゴリ、モデル A の赤色が 2 番目のカテゴリ、モデル B が 3 番目のカテゴリであるとします。
さて、1 つのカテゴリ内ですべてのパラメータが同じになるわけではありません。 モデル A の赤色の緑色のベルとモデル A の赤色の黄色のベルでは、特定のパラメーターが異なる場合があります。 そこで、最も一般的な組み合わせを見つけて、それをそのカテゴリの「デフォルト」と呼びます。 異なるものはすべて説明し、パラメータが異なる理由を説明する何らかのコメントを追加する必要があります。
最終的には、2 つの未知の数値が得られます。それは、分割する必要があるカテゴリの数と、「デフォルト」のパラメーターと一致しないパラメーターを埋める必要がある例外コメントの数です。
1 つのカテゴリを設定すると、1 つのカテゴリを維持するのは簡単になりますが、「デフォルト」からの例外が多すぎて管理できなくなります。 属性のほぼすべての組み合わせに対してカテゴリを作成すると、「デフォルト」からの例外をあまり管理する必要はなくなりますが、それほど多くのカテゴリを管理するのは困難になります。
この問題は一連のデータに基づいて、適切な量のカテゴリと適切な量の例外の両方が含まれる最適なカテゴリ数を見つけます。
この問題を解決する方法について何かアイデアはありますか?
ありがとう、
M.
Re: ヘルプが必要です: カテゴリ値のグループ化、カテゴリと例外の最適な数を見つける全て、
コメントありがとうございます。
この問題に取り組むために私が選んだ道は次のとおりです。
私の最初のテーブルは列としてのツールであり、行はさまざまなパラメーターの値です。 パラメータ名の列でもあります。
私が最初にしたことは、すべてのツールコラムを積み重ねることでした。 したがって、ツール、パラメータ タグ、パラメータ値の 3 つの列ができました。 属性についてはまったく言及されていません - モデルも何もありません...!
多くの値は 16 進形式であるため、パラメータ値は文字の公称値です。
次に、階層クラスタリング プラットフォームを起動し、次のオプションを選択しました (デフォルトとは異なるオプションをリストしました): [データはスタックされています] (スタックしただけなので) を選択し、利用可能なロールをさらにいくつか取得します。 パラメータ値を Y に、パラメータ タグを属性 ID に、ツールをオブジェクト ID にキャストします。
素敵なクラスタリングツリーができました。
以下は距離グラフです。
最初のいくつかの分割がパラメータの大部分を担当しました。 そして、クラスター間のツールの分布 (この分析では、各ツールのモデル、色、付加機能が何であるかはわからないことに注意してください) に基づいて、クラスターは次の役割を担っていました。
最初の分割: ツールモデル
2 番目の分割: いずれかのモデルのツール サブモデル
3 番目の分割: メジャー サブシステム バージョン
それで一つ。
以下のプロット - 距離プロットは、私の理解では、基本的にクラスター平均からのすべてのクラスター メンバーの平均距離を示します。 公称値の場合、これは順序付けによって定義されます。 ある意味、これは外れ値の推定値として機能する可能性があります。 3分の1が分かれるとほぼ飽和状態になります。 つまり、2 つまたは 3 つのクラスターを使用する場合は、多くの例外を説明する必要があります。 クラスターが 4 つあると、このデータ セットでは大幅に減少します。 5 つのクラスターを選択しました。
クラスター平均の表 (基本的にはカテゴリ値の最も頻繁な値である必要があります) を保存できます。クラスターの数ごとにそのような表を保存し、それらの表をメインの表に結合 (または仮想結合) すればよいと思います。 gzmorgan にうなずきます)、特定の値が POR/デフォルト/ゴールデン値と異なるかどうかを検出できるため、クラスター数ごとに例外の正確な数を計算できます。
次に決めるのは、管理するクラスター (カテゴリ) の数と、それらの例外に対して実行する準備ができている処理の数です。
ありがとう、
M.
Re: ヘルプが必要です: カテゴリ値のグループ化、カテゴリと例外の最適な数を見つけるデール
はい、おっしゃるとおりです。最終的にはクラスター分析をやめました。 唯一の詳細は、多くのパラメーターが 16 進値であることです。 これにより、スクリプトを解析しようとする多くのスクリプトを避けたい場合は、公称値を処理できる階層的クラスタリングのみが可能になります。 良い点は、主成分を使用する必要がないことです。
詳細については別のコメントで説明します。Re: ヘルプが必要です: カテゴリ値のグループ化、カテゴリと例外の最適な数を見つける返信ありがとうございます、考えるきっかけになりました。 私が言及したい主な点は、値間の距離に関係なく、一致/不一致のみに興味があるということです。 前述したように、親の問題は何百ものツール定数やパラメータを管理することです。 この意味で、POR か非 POR か、言い換えればゴールデン パラメータ リストとの不一致があるかどうかを知る必要があります。 基本的に問題は、ゴールデン パラメータ リストの最適な数を見つけることです。 もう 1 つは、多くのパラメータが HEX 形式であることです。 10 進数で簡単に解析できる組み込み関数がないと、これは文字値のままになり、カテゴリ分析しかできなくなります。 一方で、私が理解している限り、パラメーター間の距離は値の順序に基づいて計算されるため、物事が簡素化されます。 その一方で、実行できる分析の種類は制限されます。
詳細については、以下の別のコメントで説明します。 方法論、少なくとも私がそれをどのように理解しているかを説明し、その後、おそらく最終的な解決策について説明します。
再度、感謝します！Re: ヘルプが必要です: カテゴリ値のグループ化、カテゴリと例外の最適な数を見つけるこれはクラスタリングの問題のように思えます。クラスターの数とその構成が不明なため、クラスター内の逸脱を特定したいと考えています。変数の数を考慮すると、主成分を使用するなど、クラスタリングの前に次元を削減する必要がある場合があります。私自身のクラスタリングへの取り組みは満足のいくものではありませんでした。クラスタが特定可能なグループと一致することはほとんどありませんでした (私は通常、これを個人の消費者や大学の志願者に対して行ってきました)。「類似した」ツールをまとめるなど、事前にクラスターを定義したいように思えます。問題は、あなたが「似ている」と思っているものと、データが「似ている」としているものは異なる可能性があるということです。グループについて理解していると思われる場合は、その事前のクラスタリングとクラスタリング アルゴリズムが生成するものを比較し、その 2 つの違いを調査することが 1 つのアプローチかもしれません。
Re: ヘルプが必要です: カテゴリ値のグループ化、カテゴリと例外の最適な数を見つけるミゲロ、
これは、プロファイル分析または K 最近傍分析を思い出させます。 各行がエンティティであり、エンティティ列以外に各属性の列があるテーブルを作成します。 1=赤、2=緑などの属性のコードがあることをお勧めします。仮説的な例によれば、ベルの列にはこれらの値が含まれます。値のラベルを指定することをお勧めします。
次に、1 つ以上のメトリックと重みを定義できます。たとえば、特定の仕様が一致することが最も重要である可能性があります。グループ A は高容量の噴霧器 (> 数立方単位)、グループ C は低容量 (< 数立方単位)、グループ B はその他である必要があります。 使用するグループを調整またはサブ定義するには、次の手順を実行します。
- 潜在クラス分析 - カテゴリをコード化する必要はありませんが、コード化すると他の分析が簡素化されることに注意してください。
- 多重対応分析。可能性のある属性の組み合わせを示します。
- k 最近傍メソッドについては、「スクリプト インデックス関数: KDE (統計) および KDTable (行列)」を参照してください。
そうは言っても、多くの場合、グループは時間の経過とともにその結果によって定義されます。 米国の中間選挙が近づいているので、これを例にしてみます。 予測はクラスについて行われることがよくあります。 これらのクラスは、年齢、性別、教育、都市か地方か、州、宗教、教会への出席状況、中間選挙での投票回数、つまり社会的および空間的人口統計の組み合わせだけでなく、行動 (回数) によって定義/絞り込まれます。投票、教会出席）。
エンティティの不一致に関しては、少し注意が必要です。 グループ A のエンティティの構成が厳密に一致しているとします。ただし、古いエンティティには 3 つの現場センサーがなく、新しいエンティティにはセンサーからパフォーマンスが読み取られる点が異なります。 不一致は利用可能なデータから計算する必要があります。 シナリオを続けて、すべてのグループ A ツールに 100 個のメトリクスがあり、新しいツールには 3 個の余分なメトリクス、つまり 103 個があるとします。 多くの JMP プラットフォームは欠損値を簡単に処理しますが、これをどのように処理するかは、不一致を特定するために使用する分析/基準によって異なります。
私は JMP 仮想結合が気に入っています。この分析を行う場合は、エンティティ属性のテーブルを作成してカテゴリを定義し、それを他の変数のテーブルと仮想的に結合する可能性があります。 これにより、他の変数に実行ごとに複数の値 (行) がある場合も簡単になります。
これらは単なるパン粉です。 この興味深い仕事を頑張ってください。
