主成分分析または K 平均クラスター分析を使用する必要がありますか?こんにちは。次の状況に使用するクラスター分析 (主成分分析、K 平均法など) の最適な方法を決定しようとしています。12,928 レコードを含むマップされたデータセットがあり、それぞれがサンプル結果を含むウェルに対応しています。データの各行 (マップ上の各位置) には、ウェル名、緯度、経度、および化合物 A、化合物 B、化合物 C、化合物 D、化合物 E など (合計 8 つの化合物) の結果が含まれています。これらの井戸は、1) 空気堆積、2) プロセス廃棄物、または 3) 2 つの組み合わせ (混合) の 3 つの原因のいずれかによって汚染されています。そして、各ソースは固有のソース特性に関連付けられています（たとえば、エアデポジションソースは化合物 X が多く、化合物 Y が少ない傾向がありますが、プロセス水は化合物 Y と Z が多く、化合物 X が少ない傾向があります）。したがって、データセットの各行 (つまり井戸の位置) は、3 つの汚染源のうちの 1 つに関連付けられています。 私の目標は、データセット内の各レコード (つまり井戸の場所) について、どの情報源が最も可能性が高いかを特定することです。
重要なのは、私のデータセット内の約 800 件のレコードのサブセットが空気堆積源の署名に関連付けられていることがわかっていることです。したがって、このデータのサブセットは、空気蒸着シグネチャのトレーニング セットとして使用できます。また、プロセス廃棄物発生源の署名を表す最大 50 件のレコードのサブセットを思いつくこともできます。
JMP または JMP Pro で提案されたアプローチがあれば、大変感謝いたします。前もって感謝します！
高度な統計モデリング基本的なデータ分析とモデリングデータの探索と視覚化予測モデリングと機械学習Re: 主成分分析または K 平均クラスター分析を使用する必要がありますか?データのサンプルについては、添付の Excel スプレッドシートを参照してください。
Re: 主成分分析または K 平均クラスター分析を使用する必要がありますか?Excel スプレッドシートは見ていませんが、クラスタリングなどの探索的データ分析手法や PCA などの次元削減手法が実際の問題のアプリケーションに最適であるかどうかはわかりません。 あなたの元の投稿に対する私の解釈は、主にあなたの最初の段落の最後の文に基づいています。 「私の目標は、各レコードのどの情報源が最も可能性が高いかを特定することです。」 私には、これは汚染源が従属変数であり、化合物が予測変数である分類モデリングの問題のように思えます。 私の考えが正しければ、JMP と JMP Pro には分類問題に適したモデリング手法がいくらでもあります。 名目ロジスティック回帰から始めたり、任意の数のツリー法を試したり、いくつか例を挙げると、JMP Pro の PLS 判別分析プラットフォームを試したりすることができます。 JMP Pro をお持ちで、データが相互検証メソッドをサポートしている場合は、それらのメソッドもワークフローに含めることをお勧めします。ソースの 1 つでそれをほのめかしているので、それらのメソッドにも従うように思えますか?
Re: 主成分分析または K 平均クラスター分析を使用する必要がありますか?こんにちは P_Bartell - ご返信ありがとうございます。自分の目的を明確にしてみます。各レコードは、多くの異なる PFAS 化合物の結果 (濃度) を示すマッピングされたウェル サンプルを表します (各化合物は異なるフィールドです)。私の調査地域では 3 つの汚染源が考えられます: (1) 主に化合物「PMPA」に関連していると思われる空気堆積源、(2) おそらく「PFMOAA」に関連していると思われるプロセス廃棄物源、( 3) 空気堆積とプロセス廃棄物の両方の混合物。もちろん、世界はそれほど整然としたものではないため、これらの化合物 (PMPA と PFMOAA) はどちらか一方の発生源に近いかどうかに関係なく、ほぼすべての井戸に存在し、もちろん他の化合物も存在します。それは相対濃度井戸が 1 つの発生源によって影響を受けているか、それとも他の発生源によって影響を受けているかを特定するのに役立つ化合物の情報。そして、他の化合物がより良い代替物または指示薬である可能性がありますか?....未定。
私の目的は、どのエリア (つまり井戸) がどの汚染源によって汚染されているかを判断することです。(添付したスプレッドシートはデータのサンプルにすぎませんが、データ形式の概要を示しています。) 重要なのは、ソースから遠く離れた井戸では、当然その井戸を構成するさまざまな化合物の濃度が減少しますが、相対的な比率は減少するということです。そして、そのソースに関連する化合物は保持され続けるはずです。したがって、井戸の場所は物語の一部です（つまり、井戸がどこにあるかは、その化合物の構成に影響を与える可能性があります）。
以上のことを踏まえて、それでもたとえば判別分析 (DA) が良い方法だとお考えなら、いくつか質問があります。(1) 私のサンプル (井戸の結果) は独立しているはずではありませんか?そして、上記の私の説明に基づいて、するだろう彼らはそうなのですか？あるソースタイプに近いものは、別のソースの近くにあるものに似ているため、それらは真に独立しているわけではないようです。考えは？ (2) 私の PFAS 化合物のそれぞれの濃度 (独立変数) は正規分布していると考えられます。これらが環境汚染物質のデータであることを考えると、この仮定はしばしば満たされず、場合によってはログを正規化しても満たされません。これは問題ですか? (3) 私の予測変数 (PFAS 化合物) は当然共線的になるようです。言い換えれば、特定のソースは、そのソースへの近さに応じて一緒に上昇および下降するいくつかの化合物に関連付けられます。これは問題ですか?前もって感謝します！
Re: 主成分分析または K 平均クラスター分析を使用する必要がありますか?それぞれの質問にお答えできるよう最善を尽くします。 (1) 必ずしもそうとは限りません。 「独立性」は、多数のモデリング手法を使用する必要のない正常性 (今後のコメントを参照) と同様、都市の要件に対する大きな神話の 1 つです。 (2) 誰が言いましたか? 実際のデータは独立変数に関して正規分布していないことがよくあります...誰が気にするでしょうか? (3) ここで、PLS (判別分析) などの手法が威力を発揮します。 少し単純化しすぎる危険がありますが、すべての PLS ベースのメソッド (共線性予測子変数で優れている) のバックグラウンドで何が起こっているかは、非常に洗練された数学を通じて行われ、それらの共線性予測子変数はいわゆる「潜在変数」に変換されます。これには、非常に優れた特性がいくつかあります。これは、モデリングの前に予測子に対して主成分分析を行うのと非常に似ています。 ずっと前、私がまだ JMP シニア システム エンジニアだった頃 (現在は退職しています)、Mastering JMP ウェビナーを作成しました。このウェビナーは現在でも利用可能です。 タイトルは「部分最小二乗法の使用」です。 通常の最小二乗回帰がうまくいかないとき。」 見てみたいかも？ ここにリンクがあります: P. バーテル - PLS実際、私はイベントの最後に、あなたの問題とそれほど似ていない分類タイプの問題を取り上げます。 これは、ヒトゲノムデータ (通常はあまり分散されていない) を使用して、女性のエストロゲン受容体の状態を分類します (二値反応ですが、3 つの可能な分類子を使用して状況に合わせて簡単に拡張できます)。 最後に、JMP Pro をお持ちであれば、さまざまなツリー メソッドについても真剣に検討してみたいと思います。 次に、すべてのモデルをフォーミュラ デポに保存し、それらのパフォーマンスを比較します。 私のウェビナーは JMP Pro v 13 を使用して行われたと思いますか? したがって、ここで説明する機能や機能に関しては、状況が少し変わっている可能性があります...v 17 を実行しているように見えるためですが、基本的なアイデアはまだ有効です。 幸運を！
Re: 主成分分析または K 平均クラスター分析を使用する必要がありますか?P_バーテルさん、ありがとう！あなたのリンクをチェックして、少し下調べをしてみます。詳細なご回答に感謝いたします。
Re: 主成分分析または K 平均クラスター分析を使用する必要がありますか?あなたのビデオを見ました - とても役に立ちました!JMP で判別分析を使用すると仮定すると、Y 共変量は明らかにすべての多数の PFAS 複合フィールドになります。 しかし、私の X、カテゴリ/クラスフィールド - 「ソース」 - がどのように機能するのかは不明です。私がこれを言うのは、データセットの大部分のソースが何であるかわからないからです (それが、私がこの分析を行っている理由です)。
私のデータセットが次のようになっているのを思い出してください。
調査範囲には固有の属性があるため、データセットにソース フィールドを追加し、行の約 10% (約 1300 行) を入力できます。ただし、入力できるのは「エア デポジション」ソースのみです。他の 2 つのソース (「プロセス廃棄物」と「混合」) を識別するのは簡単ではありません... したがって、データセット (PLS など) を分析する必要があります。押すと、おそらく「プロセス廃棄物」ソースも入力できますが、約 30 行のみで、それ以上は入力できません。他の 11,000 行のソース フィールドは不明です。
ここでのワークフローを読み間違えているのでしょうか？
Re: 主成分分析または K 平均クラスター分析を使用する必要がありますか?いいえ、ワークフローを誤解しているわけではありません...データ テーブルの Loc 列にその変数の 3 つの可能なレベルを設定できない場合は、モデル、PLS、またはその他のメソッドを構築することはできません。 そこで私は、クラスタリングや複合変数の主成分分析などの多変量探索的データ分析ツールについての最初の考えに戻ることをお勧めします...せいぜいいくつかのクラスターが発生するか、比較的少数の主成分が出現する場合です。」複合変数の間でそれらを確認できるようになります。
Re: 主成分分析または K 平均クラスター分析を使用する必要がありますか?私は古い友人に重ねるつもりです@P_Bartelさんの答え。私の意見にすぎませんが、クラスタリングは分析ニーズを解決するための出発点として最適であるように思えます。K 平均法または階層的クラスタリングは適切に機能するはずですが、汚染源が 3 つある可能性があるため、K 平均法または階層的クラスタリングを 3 つのクラスタに制限する必要があります。満足のいく結果が得られたら、クラスターをデータ テーブルに保存し直すと、この列をその後のモデリングの一部として使用できるようになります。クラスター式をデータ テーブルに保存し直すこともできます。テーブルに新しいデータを入力すると、汚染のクラスター (発生源) を即座に予測できます。
Re: 主成分分析または K 平均クラスター分析を使用する必要がありますか?追加の考えと、おそらく奇抜なアイデア...これが実際に取り組んでいる問題であり、でっち上げられた学術的な演習ではない場合は、いくつかのクラスターを特定し、各井戸に関連付けられた地理的位置を取得したら、グラフ ビルダー マッピングを使用します。ウェルの密度マップを作成するツール。 少し調べれば、化合物のソース経路について合理的な推測ができるかもしれません。 幸運なことに、念のため言っておきますが、私は環境地質エンジニアとしての資格も訓練も教育も受けていませんが、ラブ運河（ニューヨーク州ナイアガラフォールズ）事件についての本を読み終えたところです。 そこにある井戸や近くのプルームも同様の汚染プロファイルを持っているだろうと私は賭けます...そしてその発生源は非常に明白です...埋められ、何年も浸透するまま放置された処理廃棄物です。 ああ、また JMP システム エンジニアになりたいです...私は顧客とこの種の「厄介な」問題に取り組むのがいつも好きでした。
Re: 主成分分析または K 平均クラスター分析を使用する必要がありますか?あなたがた両方に感謝します。そこ（クラスター分析）から始めて、それがどこにつながるかを見ていきます。ご意見ありがとうございます!
