どこから中断したかを簡単に思い出させます分光データに関するこのシリーズのパート 1:私たちは、Martens らによって設定された一般的な分光法データを分析していました。 」光散乱と光吸収は、拡張された乗算信号補正によって分離されます。 粉末混合物の近赤外透過分析への応用」分析化学2003 年 2 月 1 日;75(3):394-404。 いくつかの簡単な前処理ステップにより、データの信号対雑音比を劇的に改善することができました。
この投稿では、同じデータを使用して、多変量プラットフォームの有用性を実証します。 JMP 。 スペクトル分析では、さまざまな前処理ステップを繰り返し試行してデータへの影響を評価するため、多変量統計が広範囲に使用されます。 最初は教師なし学習、つまり探索的データ分析に焦点を当てます。 次に、Functional Data Explorer (FDE) を使用して多変量キャリブレーション モデルを構築する方法を示します。 最後に、より高度な前処理方法である拡張乗算信号補正を導入し、これによって多変量キャリブレーション モデルがさらに改善される方法を示します。
多変量法
主成分分析
私たちが実証する最初の探索的手法は、主成分分析 (PCA) です。 興味深いことに、生のスペクトルに対して PCA を実行すると、前処理を必要とせずにスコア プロットで既知のサブグループを識別できます (図 1)。パート 1 で、サンプルはグルテンとデンプンの混合物であり、色はグルテンの画分を示していることを思い出してください。 グループ間は良好に分離されていますが、同じグルテン分率のスペクトルには依然としてかなりの量の変動があり、これが後の多変量キャリブレーションで問題を引き起こす可能性があります。 最適な前処理ワークフローが見つかった後、この投稿の最後までにこのエラーは大幅に改善されました。
図1。 PCA モデルのスコアと負荷プロット。 負荷プロットは、予想どおり、波長間で高度な相関関係を示しています。 色は、各サンプルに存在するグルテン画分を 0 (青) から 1 (赤) で示します。 固有値は、このデータセットの変動が 2 つの主成分で説明できることを示しています。
モデル駆動型多変量管理図
通常、影響力のある外れ値を特定し、モデルから削除するために、ある種の外れ値分析が実行されます。 JMP は、PCA プラットフォーム内で外れ値分析ツールを提供します。 ただし、JMP 15 ではモデル駆動型多変量管理図 (MDMCC) が追加されました。これは外れ値分析のためのより多機能なツールであり、根本原因分析をより深く調査し、スペクトルの差異を比較することができます。
図2。モデル駆動型多変量管理チャートは、以下に従って 2 つのスペクトル (13 と 14) を外れ値として識別しますT 2およびSPEチャート。 平均寄与率プロットは、制御不能信号への寄与が最も大きい波長を示します。
この分析のスペクトルについて、MDMCC は PCA から導出された T に基づいて 2 つのスペクトル (13 と 14) を外れ値として特定します。 2およびSPEチャート(図2)。T 2チャートは、これらの点がモデル平面内のデータから離れていることを示し、SPE チャートは、点がモデル平面から離れていることを示します。 これを概念化するもう 1 つの方法は、これらのスペクトルが 1) 平均スペクトルから離れており、2) PCA モデルへの適合が不十分であるということです。 これらの条件が両方とも満たされるため、これらの点は潜在的に影響力のある外れ値であり、モデルが適合するときに PCA モデル平面をそれらの点に引き寄せられる可能性があることを意味します。 これらが本当に誤ったデータである場合、PCA モデルが不適切である可能性があります。 T には 13 と 14 以外にも外れ値の点があることに注意してください。 2チャートにはありますが、SPE チャートにはありません。 これらの点は平均スペクトルからは離れていますが、それでも PCA モデルに適合しているため、影響力のある外れ値である可能性は低くなります。 T を区別する優れたイラストを見るには2および SPE 外れ値。の図 4 を参照してください。この紙。
ポイント 13 と 14 が外れ値である理由をよりよく理解するために、T の平均寄与率の棒グラフを作成します。 2およびSPEチャート(図3)。これらは、両方のチャートで外れ値ステータスに最も大きく寄与する波長を示しています。 個々のバーの上にマウスを移動すると、特定の波長の一変量管理図を表示することもできます。
この例では、観測値が外れ値である理由をよりよく理解するために、グラフ ビルダーでスペクトルをプロットすると役立ちます (図 3)。 顕著な異常の 1 つは、これら 2 つのスペクトルが長波長で異常に大きな吸光度を持っていることです。
これらの外れ値が疑わしいと判断した場合、外れ値を削除してモデルを再適合するのは簡単です。 これを行うには、MDMCC レポートで自動再計算をオンにし、T2 または SPE 管理図で異常値観測値を選択し、右クリック >> 行 >> 行除外を使用します。
図3. 動的リンクを介して MDMCC で選択されたスペクトル 13 および 14 のグラフ ビルダー ビュー。 このグラフは、選択した 2 つのスペクトルが残りのデータと直接比較した場合にどのように外れ値として認識されるかを示しています。
MDMCC のスコア プロットは、サブグループの比較にも使用できます (図 4)。 グループ A は一番上の「赤」サブグループ、グループ B は一番下の「青」サブグループです。 相対スコア寄与プロットは、2 つのサブグループ間に大きな違いがある場所を波長ごとに示します。
図4. グルテン 0% と 100% のスペクトル間のグループ比較。 棒グラフで絶対寄与が最大となる波長は、グループ間の最大の差を示します。
機能データエクスプローラー
JMP の PCA プラットフォームは優れた汎用ツールですが、スペクトルのような関数形式のデータ用に設計されたものではありません。 幸いなことに、 JMPプロ、関数データ用に特別に設計されたツールがあります。 JMP Pro の Functional Data Explorer (FDE) プラットフォームは、スペクトル データをより深く調査するために使用できます。 FDE は、ある連続体上の曲線データを分析するために使用されます。NIR スペクトルの場合、連続体は波長です。 すべてのスペクトルは同じ等間隔のグリッド上で測定されるため、基底関数をフィッティングせずに関数 PCA を実行する直接関数 PCA モデルを当てはめることができます (図 5)。 前のセクション (13 および 14) で特定した外れ値を FDE モデルから除外していないことに注意してください。 これらの外れ値を除外することもできますが、後のセクションで、これらの観測値が外れ値ではなくなった前処理データに適合した FDE モデルと比較するため、これらの外れ値を近似に含めます (図 14 を参照)。
図 5 では、機能主成分 (fPC) に対応する固有値は、各 fPC によってどの程度の変動が説明されるかを示しています。 このデータの場合、PCA の場合と同様、変動は最初の 2 つの fPC によって特徴付けられます。 fPC に関連する平均曲線も表示されます。 データが平均関数を正確に追跡する場合、すべての fPC はゼロになります。 fPC 値が正の場合、関数の形状は対応する固有関数と同様の形状で平均から変化しますが、負の fPC は逆の効果を示します。 固有関数は、スペクトル データの PCA 解析で使用されるスペクトル負荷プロットと呼ばれる一般的なプロットに相当します。ここで、負荷は波長ごとに並べられています。
図5. 直接関数 PCA モデルの適合概要。 2 つの関数的主成分によって、データの変動が 100% 説明されます。
個々のスペクトルがフィッティングされ、結果として得られるスコア プロットが図 6 に示されています。 関数主成分プラットフォームの便利な機能は、スコア プロット内の点の上にマウスを移動すると、対応するスペクトルのグラフレットを表示できることです。 この例では、スコア プロットによってデータが同様のスペクトルのサブグループに編成され、ホバー ヘルプによって関数形式の違いが表示されるため、これは非常に役立ちます。 これを使用すると、より高度な分析に頼ることなく、サブグループ間の違いを発見できます。
図6. FDE モデルの適合のスコア プロット。 スコアプロット内の点にマウスを移動すると、サブグループ間の差異を調べることができ、スペクトルの関数形式が明らかになります。
fPC プロファイラーを使用すると、個々の fPC のスコアの次元を簡単に解釈できます (図 7)。 fPC スライダーの 1 つを移動すると、他の fPC 値が固定された状態で、fPC 方向の 1 つに沿って移動する予測関数への影響が表示されます。
図7。 FDE モデルの固有関数 (A) と fPC プロファイラー (BD) が適合します。 fPC が平均値 (B) に設定され、fPC2 がその最小値 (C) に設定され、fPC2 がその最大値 (D) に設定された fPC プロファイラー。 fPC2 値が正の場合、スペクトルの形状は対応する固有関数と同様の形状で平均から変化しますが、負の fPC は逆の効果を示します。
実験の関数計画法 (多変量キャリブレーション)
これらのデータは計画された実験からのものであるため、機能 DOE 解析が関連します (図 8)。 FDOE Profiler を使用すると、実験データでは観察されなかったデンプンおよびグルテン画分のスペクトルの関数型を予測できます。 スペクトル解析では、これを多変量校正モデルと呼びます。 デンプンとグルテンは合計が 1 になる混合比率であるため、プロファイラーで混合制約を適用します。
多くの場合、このモデルの逆モデルを構築することが望まれます。このモデルでは、実験要因 (この場合は構成比) がスペクトルの関数として予測されます。 紛らわしいことに、これは多変量キャリブレーションとも呼ばれます。 明確にするために、ブレトンの用語を採用し、これを逆多変量キャリブレーションと呼びます。 これらのタイプのモデルを適合させるために、機能主成分を出力し、それらを JMP の予測モデリング プラットフォームに提供できます。 これにより、ニューラル ネットワークなどの柔軟なモデルを関数の概要に適合させることができます。 これらのモデルは、PLS よりも優れた非線形性と依存関係をモデル化できる可能性があります。 次回の投稿では、そのようなアプローチについて説明します。
図8。 機能的な DOE プロファイラ。 デンプンとグルテンには、合計が 1 になるように線形制約が適用されています。 スペクトルは、元のデータでは観察されない実験因子の組み合わせで予測されます。
階層的クラスタリング
階層クラスタリングは、スペクトル分析で人気のあるもう 1 つの教師なし機械学習ツールです。 階層的クラスタリングの目標は、クラスター内では差が小さく、クラスター間では差が大きい、データ内のサブグループを識別することです。 前のセクションではサブグループを特定しましたが、それは主観的な方法で行われました。 階層的クラスタリングは、これらのサブグループを定義するための客観的な基準を提供します。
クラスター樹状図は、すべてのスペクトルが独自のクラスター内にある先端から、すべてのスペクトルが 1 つのクラスター内にあるルートまでのクラスター化の階層を示します。 樹形図は、クラスタリング アルゴリズムによってクラスターがどのように繰り返しマージされるかを示します。 内部分岐の長さはクラスター間の差異に比例し、クラスター間の差異はリンケージ基準に従って定義されます。
JMP の階層クラスタリングは、スペクトル分析に役立つ多くの機能を備えた豊富なプラットフォームですが、ここでは説明する時間がありません。 添付のジャーナルでレポートを提供しますので、ご自身で機能を発見していただけます。 チェックする価値のある機能には、クラスター数の対話型選択、クラスター割り当ての出力、樹状図内のクラスターを選択して強調表示する機能、クラスターの並列プロットを開始する機能などがあります。 階層的クラスタリングは、大きな n および大きな p の問題に対して優れたパフォーマンスを発揮することも注目に値します。
図9。 生のスペクトル (左) とこのシリーズのパート 1 に従って前処理されたスペクトル (右) の階層的クラスタリング。 生データは、個々のスペクトルのより分散したクラスタリングを示しており、その結果、サブグループ化が不十分ですが、前処理されたデータは、より明確に定義されたサブグループ化を示しています。 必要に応じて、個々のクラスターの指定を保存し、それをモデリング プロセスへの入力として使用できます。
高度な前処理
拡張多変量信号補正
このセクションでは、散乱効果プロットと呼ばれる便利な診断プロットと、拡張乗法散乱補正 (EMSC) と呼ばれる強力な前処理方法を紹介します。 散布効果プロットは JMP で簡単に作成でき、添付のジャーナルに例が記載されています。 EMSC を再現するには、ある程度の JSL の知識が必要です。 EMSC を紹介するのは、EMSC がこれらのデータにうまく機能し、Fit Model プラットフォームがこの方法を教えるための有用な教育ツールであるためです。 また、JMP の将来のリリースでは、FDE プラットフォームで EMSC のような多くの前処理メソッドを提供する予定ですので、ご期待ください。
図 10 は、前処理方法を選択するときに役立つ散布効果プロットを示しています。 これらのプロットには、さまざまなノイズ源を示すパターンがあり、この情報を使用して、データに適した前処理方法を選択できます。 散布効果プロットでは、y 切片のシフトは、一定のベースラインのシフト、または相加効果を示します。 1のような前処理方法セント前回のブログ投稿で紹介した派生 Savitzky Golay (SG) フィルターは、これらの影響を除去します。 乗法散乱効果は、スペクトルが特定の波長でのみ大きく変化する場合に発生します。 これらは、散布効果プロットの傾きの変化、つまり「扇形」として表示されます。 乗算効果を除去できる前処理方法には、乗算散乱補正 (MSC) と標準正規変量があります。 前回の投稿では標準正規変量を示しました。 この記事ではMSCについて紹介します。 化学的影響も、これらのプロットでは明確なパターンとして現れます。 興味深いことに、これらはループとして表示されます。
図10。 生スペクトル (A) および 1 の散乱効果プロットセントSG フィルタリングされたデータ (B) を導出します。 相加効果が SG フィルターによって除去された後、乗算効果が残ります。 これらのデータには、乗算効果を除去する前処理方法が必要になります。
生データの散乱効果プロットは、相加効果を強く示唆しています (図 10A)。 相乗効果もあるかもしれませんが、相加効果が非常に支配的であるため、それを判断するのは困難です。 したがって、まず 1 を適用して相加効果を削除します。セント前回の投稿で行ったように、データに対して SG フィルターを導出します。 前回の投稿では、前処理されたスペクトルをグラフ ビルダーでプロットし、乗算効果が残っていることを示しました。 乗算効果は散布効果プロットでも明らかです。かなりの扇形に注目してください (図 10B)。 したがって、データには加算効果と乗算効果の両方が存在します。 EMSC は、両方のノイズ源を 1 つのステップで除去できます。
Martens らは元の論文で、は EMSC を導入し、この方法が以前の投稿で示したようなより単純な前処理方法をどのように改善できるかを示しました。 EMSC まで構築していますが、最初に乗法散乱補正 (MSC) から始めるのが最も簡単です。 MSC は、データを参照スペクトルのように見せることで、データ内のさまざまなノイズ源を補正することを目的としています。 適切な標準が存在しないことが多いため、平均スペクトルがよく使用されます。 スペクトルごとに、個別の回帰が実行されます。 させてバツ= {x 1 、 …、 バツp } は、指定されたスペクトルの吸光度のベクトルであり、バツ* = {x * 1 、 …、 バツ* p } 基準スペクトル。 モデルは
そして、スペクトルは次のように補正されます。
MSC の問題の 1 つは、散乱効果と波長の間に存在する関係が考慮されていないことです。 EMSC は、モデルに多項式関係を組み込むことでこれに対処します。 通常、波長については 2 次の関係が想定されます。 MSC のもう 1 つの問題は、各スペクトルを平均スペクトルで回帰することにより、関心のある実際の化学的影響を除去できることです。 サンプルが少数の化学成分の混合物であることがわかっており、各成分の純粋な参照スペクトルが利用できる場合、事前の化学組成情報をモデルに組み込むことで EMSC をさらに拡張できます。 Marten らのデータでは、純粋なグルテン (バツg ) と純粋なでんぷん (バツs ) データ内のサンプル。 Marten et al.の場合と同様に、論文では、サンプル 1 とサンプル 93 を参照スペクトルとして選択しました。 EMSC モデルは、推定された化学組成に応じて参照スペクトルを変更し、データ内の真の化学信号をより適切に保存します。
メートル= (バツg +バツs )/2 とk = (バツg -バツs ） そして私= {l 1 、…、l p } は波長のベクトルです。のメートルそしてkモデル項は補正式を簡略化するためにこのように表現されています。 補正されたスペクトルは次のように計算されます。
JMP で EMSC を実行するには、まず、バツgそしてバツs参照スペクトル。 これを行うには、データ テーブルをサブセット化して参照スペクトル用のテーブルを作成し、参照テーブルを結合して元のテーブルに戻します。 これは次の手順で行います。
- [行] >> [行選択] >> [どこを選択] を使用して、参照スペクトルの 1 つに対応するすべての行を選択します。
- サブセットを使用して、参照スペクトルのみを含むテーブルを作成します。
- 一致する列として波長を使用して、テーブルを元のテーブルに結合し直します。
次に、 kそしてメートル列。これは、バツgそしてバツs列。 次に、EMSC モデルを推定する準備が整います。 これは、図 11 に示すオプションを使用して、フィット モデルで実行できます。 EMSC 補正を実行するには、モデル項の係数を抽出し、データ テーブルの列に保存する必要があります。 これには jsl スクリプトを使用する必要がありますが、スクリプトは非常に簡単です。 最後に、図 12 に示す式を使用して EMSC 補正を実行します。
図11。 EMSC モデルのフィット モデル起動ダイアログ。
図12。 EMSC補正の列式。
最終結果を図 13 に示します。 スペクトルには散乱効果が驚くほどなく、基礎となる真のスペクトルをより正確に表現しています。
図13。 このブログで適用した前処理ステップの前後のスペクトル。 （上）前処理前、（下）EMSC補正後。
最終的な多変量キャリブレーション モデル
これで、FDE での最終的な多変量キャリブレーション モデルのスペクトルの準備が整いました。 FDE セクションで説明されている方法を使用して機能的 DOE を実行します。 結果として得られるモデルにより、混合比率の特定の組み合わせのスペクトル形式を正確に予測できます。 このような予測の例を図 14 に示します。
図14。 前処理前後のEMSC補正スペクトルの機能的DOE。 デンプンとグルテンには、合計が 1 になるように線形制約が適用されています。 前処理後のスペクトル形状の大きな変化に注目してください。 散乱効果がスペクトルから除去されているため、データで観察されない因子の組み合わせで予測されるスペクトル形状のより正確な推定値を取得できます。
結論と今後の投稿
スペクトル データのパターンを識別するのに役立つ、JMP の複数の多変量プラットフォームをデモンストレーションしました。 スペクトル分析で一般的なサブグループ分析と外れ値分析に焦点を当てました。 利用可能な多数の探索ツールを実証したため、スペクトル データを分析するための FDE の有用性が十分に示されました。 重要なのは、実験の機能的設計により、多変量キャリブレーション モデルを簡単に構築できるということです。 JMP の Fit Model プラットフォームを使用して、データ内のノイズを劇的にクリーンアップする拡張乗算信号補正 (EMSC) モデルを構築する方法を実証しました。 Fit Model で EMSC モデルを最初から構築することで、より詳細な制御が可能になり、モデル構築プロセスをより深く理解できるようになります。
次回の投稿では、教師あり多変量モデルについて説明します。 ブレトンの用語を採用し、これらを逆多変量校正モデルと呼びます。 これらはスペクトルの関数として実験要因を予測します。 部分最小二乗法と一般化回帰プラットフォームでモデルを構築します。 また、機能主成分を FDE から出力し、JMP の予測モデルに提供して、より複雑なキャリブレーション モデルの構築を可能にする方法も示します。
