スペクトルデータのPCA + クラスタリング分析こんにちは！
スペクトルデータの PCA + クラスタリング分析を実行する手順について、どなたか助けていただけないでしょうか?
すでにすべてのスペクトル データ (強度) を正規化しています。サンプルには組成が異なるものがあり、それぞれが異なる処理手順を経ています。サンプルのクラスタリングに関してどちらが優れているか (組成または処理手順) を議論することで、多変量手法が役立つことを願っています。
役に立つかもしれないので、データの短縮版を添付しました。
前もって感謝します！！
マリアナ
高度な統計モデリングRe: スペクトルデータの PCA + クラスタリング分析こんにちは@Mariana_Aguilar さん
曲線データセットを探索するには、少なくとも 2 つのオプションがあります (1 つは JMP を使用、もう 1 つは JMP Pro を使用)。
- JMP の場合: スタック データ形式でプラットフォームFit Curveを使用し、「正規化された強度」を Y に、「波長 (nm)」を X に、「サンプル」を変数別に設定します。次に、歪んだ正規ピーク (赤い三角形のピーク モデルで使用可能) を 4 つのサンプルに適合させ、適合曲線のパラメーター (位置、スケール、歪、ピーク値) を抽出します (「パラメーター推定値」テーブルを右クリックし、「結合データ テーブルの作成」をクリックします)。新しいテーブルがスタック形式で開きます。
この表を分割し、PCA プラットフォームのパラメータ推定値を使用して、2 つのプロセスと構成の類似性/相違性を評価できます。
変動のほとんどはプロセスから生じているようで、第 1 主成分がパラメータ値の変動の約 95% を占め、プロセスに関連しています。
階層的クラスタリングでは、サンプル間の最大の違いがプロセスの違い（低温殺菌と分散、クラスタリングの最初の分割）に関連している可能性があることも示されます。
-
JMP Pro の場合: 関数データ エクスプローラーをスタック データ形式で使用し、「正規化された強度」を Y、出力、「波長 (nm)」を X、入力、「サンプル」を ID、関数変数として設定できます。
次に、B スプライン モデルを曲線データに適合させます。17 個のスプラインを持つ 3 次モデルが適切に機能するはずです。
次に、 スコア プロットを直接確認して、1 つまたは 2 つの機能主成分を含むサンプルを視覚化できます。
プロセスがサンプルの曲線プロファイルにおける最大の違いであるように見えることが再びわかります (曲線データの変動の 99.8% を占める FPC1 に対応)。
このプロセスの重要性の結論は、グラフ ビルダーを使用して簡単に視覚化することもできます (2 つのサンプル ID は非常に似ていますが、曲線の変化は主にプロセスの違いによるものです)。
ここで説明した分析に従うためのスクリプトは、添付のデータ テーブルにあります。
これら2つの解決策がお役に立てば幸いです。
Re: スペクトルデータの PCA + クラスタリング分析こんにちは@Mariana_Aguilar さん
@Bill_Worleyによるスペクトル データの多変量解析に関する次のリソースを参照することをお勧めします。これらのリソースは、JMP の関連ツールを理解するのに役立ちます。
https://www.jmp.com/en_be/articles/analyzing-spectral-data-multivariate-methods.html
https://community.jmp.com/t5/Mastering-JMP/Building-Predictive-Models-for-Corpopular-and-High-Dimensional/ta-p/618888
https://community.jmp.com/t5/Discovery-Summit-Americas-2020/Using-Multivariate-Tools-in-JMP-for-Analysis-of-Spectral-Data/ta-p/281561
ありがとう、
ベン
Re: スペクトルデータの PCA + クラスタリング分析こんにちは、ビクターさん。親切で丁寧な回答をありがとうございます。
よろしければ、あといくつか質問があります...
1. 最初のオプション ([曲線のフィット] メニューを使用)。[ピーク モデル] メニューの下に [Skew Normal Peaks] が見つからないようです。ガウス (緑) を試してみましたが、少なくとも視覚的にはうまくフィットしていないようです。次に、ExGaussian を試してみましたが、こちらの方が適しているようですが、フィットした曲線のパラメーターに複雑さが増すかどうかはわかりません。
2 番目の質問は、2 番目のオプションに関するものです。
機能データ エクスプローラー プラットフォームから、取得した主成分を保存して階層的クラスタリングを続行できるようにする方法をご存知ですか? (または、プラットフォーム内にクラスタリングに進むための別のオプションがあるかどうか)
どうもありがとうございます！
マリアナ
Re: スペクトルデータの PCA + クラスタリング分析ああ、もしよろしければもう一つ疑問があります!
機能データ エクスプローラー プラットフォームでは、最初に B-Spline を使用してデータを前処理することと、モデル メニュー (赤い三角形の下) で直接 Direct Functional PCA を使用することの違いは何ですか。
ありがとう！
Re: スペクトルデータの PCA + クラスタリング分析こんにちは@Mariana_Aguilar さん
ご質問に関して：
- この新しいモデルタイプ「 歪んだ正規ピーク」はJMP 18でのみ導入されたと思いますので、JMP 17を使用している場合は、あなたが言及した3つの選択肢、 つまりフィット曲線オプションにしかアクセスできません。
現時点で JMP 18 が使用できない場合は、ピークが少し歪んでいるように見えるため、ExGaussian がより適切なモデリング オプションである可能性があることに同意します。対称的なガウス ピークがある場合は、ガウス ピーク モデルの方が適しています。
ExGaussian と Gaussian のモデルの複雑さには 1 つのパラメータの違いしかないため、ExGaussian がどのようにしてモデルに「複雑さ」を追加するのか理解できません。情報基準 AICc と BIC を見ると、1 つのパラメータを追加するとモデリングが改善され、モデルの適合性とモデルの複雑さのバランスが改善されることがわかります (情報基準 AICc/BIC が低いほど優れています)。
- 機能データ エクスプローラー プラットフォームでは、機能主成分を保存できます。「 機能サマリー」パネルに移動し、赤い三角形をクリックすると、そこから機能サマリーと FPC をカスタマイズして保存できます。
スコア プロットを見ると、FPC を使用して 2D プロットでサンプルを直接視覚化できます。
これらの補足的な回答がお役に立てば幸いです。
Re: スペクトルデータの PCA + クラスタリング分析こんにちは@Mariana_Aguilar さん
違いは、あなたが言及したように、データの使用方法と前処理方法にあります。B スプラインまたは P スプラインでは、最初に生の曲線データに対応するモデルを使用し、次にこのモデル (近似) に基づいて機能主成分を計算できます。
直接機能 PCA などの直接モデルでは、生データに対して特異値分解 (SVD) を直接実行して、固有値と固有関数を抽出します。詳細については、こちらを参照してください: 機能モデル適合の種類
適切なオプションを決定するには、さまざまなモデルを適合させて統計的メトリック (情報基準 AICc や BIC など) に基づいて評価し、診断プロットの視覚化を使用してモデルの妥当性/精度を評価することができます。あなたのケースでは、モデルからの残差が Direct Functional PCA とは異なり非常に低く均一であるため、曲線データを使用して機能主成分を抽出する前に B スプラインを適用するのが良いオプションのようです。
Bスプラインの診断プロット:
Direct FPCA の診断プロット:
この回答がお役に立てば幸いです。
Re: スペクトルデータの PCA + クラスタリング分析ありがとう、ビクター！
