中断した場所の簡単なリマインダー分光データに関するこのシリーズのパート1： Martensらによって設定された一般的な分光データを分析していました。 「」拡張された乗法信号補正によって分離された光散乱と吸光度。 粉末混合物の近赤外透過分析への応用「」分析化学20032月1日;75（3）：394-404。 いくつかの簡単な前処理ステップにより、データの信号対雑音比を劇的に改善することができました。
この投稿では、同じデータを使用して、多変量プラットフォームの有用性を示します。 JMP 。 スペクトル分析では、さまざまな前処理ステップを繰り返し試行し、データへの影響を評価するため、多変量統計が広く使用されます。 最初は、教師なし学習、つまり探索的データ分析に焦点を当てます。 次に、機能データエクスプローラー（FDE）を使用して多変量キャリブレーションモデルを構築する方法を示します。 最後に、より高度な前処理方法（拡張された乗法信号補正）を紹介し、これが多変量キャリブレーションモデルをさらに改善する方法を示します。
多変量メソッド
主成分分析
私たちが示す最初の探索的方法は、主成分分析（PCA）です。 興味深いことに、生のスペクトルに対してPCAを実行すると、前処理を行わなくても、スコアプロットで既知のサブグループを特定できます（図1）。パート1から、サンプルはグルテンとデンプンの混合物であり、色はグルテンの割合を示していることを思い出してください。 グループ間の分離は良好ですが、同じグルテン分率のスペクトルにはかなりの量の変動があり、後で多変量キャリブレーションの問題が発生します。 このエラーは、最適な前処理ワークフローを見つけた後、この投稿の終わりまでに大幅に改善されます。
図1。 PCAモデルのスコアと負荷プロット。 負荷プロットは、予想どおり、波長全体で高度な相関関係があることを示しています。 色は、0（青）から1（赤）までの各サンプルに存在するグルテン画分を示します。 固有値は、このデータセットの変動が2つの主成分で説明できることを示しています。
モデル駆動型多変量管理図
通常、影響力のある外れ値を特定してモデルから削除するために、ある種の外れ値分析が実行されます。 JMPは、PCAプラットフォーム内に外れ値分析ツールを提供します。 ただし、JMP 15には、モデル駆動型多変量管理図（MDMCC）が付属しています。これは、根本原因分析の詳細な調査と差異のスペクトルの比較を可能にする、外れ値分析用のよりフル機能のツールです。
図2。モデル駆動型多変量管理図は、2つのスペクトル（13と14）を外れ値として識別します。 T 2およびSPEチャート。 平均寄与率プロットは、制御不能信号への寄与が最も大きい波長を示しています。
この分析のスペクトルでは、MDMCCは2つのスペクトル（13と14）を、PCAから導出されたTに基づく外れ値として識別します。 2およびSPEチャート（図2）。T 2チャートは、これらのポイントがモデルプレーン内のデータから遠く離れていることを示し、SPEチャートは、ポイントがモデルプレーンから離れていることを示しています。 これを概念化する別の方法は、これらのスペクトルが1）平均スペクトルから離れており、2）PCAモデルへの適合が不十分であることです。 これらの条件の両方が満たされているため、ポイントは潜在的に影響力のある外れ値であり、モデルが適合しているときにPCAモデル平面をそれらの方向に引っ張る可能性があります。 これらが本当に誤ったデータである場合、PCAモデルが貧弱である可能性があります。 Tの外れ値である13と14以外の他のポイントがあることに注意してください2チャートですが、SPEチャートにはありません。 これらのポイントは平均スペクトルから離れていますが、それでもPCAモデルに適合しているため、影響力のある外れ値である可能性は低くなります。 Tを区別する良いイラストを見るために2およびSPEの外れ値。の図4を参照してください。この紙。
ポイント13と14が外れ値である理由をよりよく理解するために、Tの平均寄与率棒グラフを作成します。 2およびSPEチャート（図3）。これらは、両方のチャートで外れ値ステータスに最も寄与する波長を示しています。 個々のバーにカーソルを合わせると、特定の波長の単変量管理図を表示することもできます。
この例では、グラフビルダーでスペクトルをプロットして、観測値が外れ値である理由をよりよく理解することが役立ちます（図3）。 顕著な異常の1つは、これら2つのスペクトルがより長い波長で異常に大きな吸光度を持っていることです。
これらの外れ値が疑わしいと判断した場合は、外れ値を削除してモデルを簡単に再適合させることができます。 これを行うには、MDMCCレポートで自動再計算をオンにし、T2またはSPE管理図で外れ値の観測値を選択してから、右クリック>>行>>行除外を使用します。
図3。 ダイナミックリンクを介してMDMCCで選択されたスペクトル13および14のグラフビルダービュー。 このグラフは、残りのデータと直接比較した場合に、選択した2つのスペクトルが外れ値としてどのように認識されるかを示しています。
MDMCCのスコアプロットを使用して、サブグループを比較することもできます（図4）。 グループAは一番上の「赤」のサブグループで、グループBは一番下の「青」のサブグループです。 相対スコア寄与プロットは、波長によって2つのサブグループ間に有意差がある場所を示します。
図4。 グルテンが0％と100％のスペクトル間のグループ比較。 棒グラフで絶対寄与が最大の波長は、グループ間の最大の差を示しています。
機能データエクスプローラー
JMPのPCAプラットフォームは優れた汎用ツールですが、スペクトルのような関数形式のデータ用に設計されていません。 幸いなことに、 JMPプロ、機能データ用に特別に設計されたツールがあります。 JMPProのFunctionalDataExplorer（FDE）プラットフォームは、スペクトルデータのより深い調査に使用できます。 FDEは、ある連続体の曲線データを分析するために使用されます。NIRスペクトルの場合、連続体は波長です。 すべてのスペクトルが同じ等間隔のグリッドで測定されるため、基底関数をフィッティングせずに機能的PCAを実行する直接機能的PCAモデルをフィッティングできます（図5）。 前のセクション（13および14）で特定した外れ値をFDEモデルから除外しなかったことに注意してください。 これらの外れ値を除外することもできますが、後のセクションで、これらの観測値が外れ値ではなくなった前処理済みデータに適合したFDEモデルと比較するため、これらを適合に含めます（図14を参照）。
図5では、汎関数主成分（fPC）に対応する固有値は、各fPCによってどの程度の変動が説明されるかを示しています。 このデータの場合、PCAの場合と同様に、変動は最初の2つのfPCによって特徴付けられます。 fPCに関連する平均曲線も表示されます。 データが平均関数を正確に追跡している場合、すべてのfPCはゼロになります。 fPC値が正の場合、関数の形状は対応する固有関数と同様の形状で平均から変化し、負のfPCは逆の効果を示します。 固有関数は、スペクトル負荷プロットと呼ばれるスペクトルデータのPCA分析で使用される一般的なプロットに匹敵します。このプロットでは、負荷は波長順に並べられています。
図5。 直接汎関数PCAモデルは要約に適合します。 2つの機能的主成分は、データの変動の100％を説明します。
個々のスペクトルが適合し、結果のスコアプロットが図6に示されています。 汎関数主成分プラットフォームの便利な機能は、スコアプロットのポイントにカーソルを合わせ、対応するスペクトルのグラフレットを表示する機能です。 この例では、スコアプロットがデータを類似したスペクトルのサブグループに編成し、ホバーヘルプが関数形式の違いを示すため、これは非常に便利です。 これは、より高度な分析に依存することなく、サブグループ間の違いを発見するために使用できます。
図6。 FDEモデルのスコアプロットが適合します。 サブグループ間の違いは、スコアプロットのポイントにカーソルを合わせると、スペクトルの関数形式が明らかになります。
fPCプロファイラーを使用すると、個々のfPCのスコアディメンションを簡単に解釈できます（図7）。 fPCスライダーの1つを移動すると、他のfPC値が固定された状態で、fPC方向の1つに沿って移動するという予測関数への影響が示されます。
図7。 FDEモデルの固有関数（A）とfPCプロファイラー（BD）が適合します。 fPCが平均値（B）に設定され、fPC2が最小値（C）に設定され、fPC2が最大値（D）に設定されたfPCプロファイラー。 fPC2値が正の場合、スペクトルの形状は対応する固有関数と同様の形状で平均から変化しますが、負のfPCは逆の効果を示します。
実験計画法（多変量キャリブレーション）
これらのデータは計画された実験からのものであるため、機能的DOE分析が関連しています（図8）。 FDOEプロファイラーは、実験データでは観察されなかったデンプンおよびグルテン画分でのスペクトルの機能的形態の予測を可能にします。 スペクトル分析では、これは多変量キャリブレーションモデルと呼ばれます。 でんぷんとグルテンは合計で1になる混合比率であるため、プロファイラーで混合制約を適用します。
多くの場合、このモデルの逆関数を作成することが望ましいです。このモデルでは、実験的要因（この場合は構成要素の比率）がスペクトルの関数として予測されます。 紛らわしいことに、これは多変量キャリブレーションとも呼ばれます。 わかりやすくするために、Breretonの用語を採用し、これを逆多変量キャリブレーションと呼びます。 これらのタイプのモデルに適合させるために、機能的主成分を出力し、それらをJMPの任意の予測モデリングプラットフォームに提供できます。 これにより、ニューラルネットワークなどの柔軟なモデルを関数の要約に適合させることができます。 これらのモデルは、PLSよりも非線形性と依存関係をより適切にモデル化できる可能性があります。 このようなアプローチについては、次の投稿で説明します。
図8。 機能的なDOEプロファイラー。 でんぷんとグルテンの合計が1になるように、線形制約が適用されています。 スペクトルは、元のデータでは観察されなかった実験因子の組み合わせで予測されます。
階層的クラスタリング
階層的クラスタリングは、スペクトル分析で人気のあるもう1つの教師なし機械学習ツールです。 階層的クラスタリングの目的は、データ内のサブグループを特定することです。この場合、クラスター内では差が小さく、クラスター間で差が大きくなります。 前のセクションでは、サブグループを特定しましたが、主観的な方法で特定しました。 階層的クラスタリングは、これらのサブグループを定義するための客観的な基準を提供します。
クラスター樹状図は、すべてのスペクトルが独自のクラスター内にある先端から、すべてのスペクトルが1つのクラスター内にあるルートまでのクラスタリングの階層を示しています。 樹状図は、クラスターがクラスタリングアルゴリズムによって反復的にマージされる方法を示しています。 内部ブランチの長さはクラスター間の差に比例し、クラスター間の差はリンケージ基準に従って定義されます。
JMPの階層的クラスタリングは豊富なプラットフォームであり、ここでは取り上げる時間がないスペクトル分析に役立つ多くの機能を備えています。 添付のジャーナルでレポートを提供しているので、自分で機能を見つけることができます。 チェックする価値のあるいくつかの機能は、クラスター数のインタラクティブな選択、クラスター割り当ての出力、樹状図でクラスターを選択して強調表示する機能、およびクラスターの並列プロットを起動する機能です。 階層的クラスタリングは、大きなnおよび大きなpの問題に対して優れたパフォーマンスを発揮することにも注意してください。
図9。 生のスペクトル（左）とこのシリーズのパート1に従って前処理されたスペクトル（右）の階層的クラスタリング。 生データは、個々のスペクトルのはるかに分散したクラスタリングを示しており、サブグループ化が不十分になっていますが、前処理されたデータは、より明確に定義されたサブグループ化を示しています。 必要に応じて、個々のクラスター指定を保存し、それをモデリングプロセスへの入力として使用できます。
高度な前処理
拡張多変量信号補正
このセクションでは、散布図と呼ばれる便利な診断プロットと、拡張乗法散乱補正（EMSC）と呼ばれる強力な前処理方法を紹介します。 散布図はJMPで簡単に作成でき、添付のジャーナルに例が示されています。 EMSCを再現するには、JSLの知識が必要です。 EMSCはこれらのデータに適しているため、ここではEMSCを紹介します。また、Fit Modelプラットフォームは、この方法を教えるための有用な教育ツールです。 また、JMPの将来のリリースでは、FDEプラットフォームのEMSCのような多くの前処理方法を提供する予定ですので、ご期待ください。
図10は、前処理方法を選択するときに役立つ散布図を示しています。 これらのプロットには、さまざまなノイズ源を示すパターンがあり、この情報を使用して、データに適した前処理方法を選択できます。 散乱効果プロットでは、y切片のシフトは、一定のベースラインシフトまたは相加効果を示します。 1のような前処理方法st前回のブログ投稿で紹介した派生SavitzkyGolay（SG）フィルターは、これらの影響を取り除きます。 乗法散乱効果は、スペクトルが特定の波長でのみ大きな変動を持つ場合に発生します。 これらは、散布図の傾きの変化、つまり「扇形」として表示されます。 乗法効果を除去できるいくつかの前処理方法は、乗法散乱補正（MSC）と標準正規変量です。 前回の投稿で標準正規変量を示しました。 この投稿では、MSCを紹介します。 これらのプロットでは、化学的効果も明確なパターンとして現れます。 興味深いことに、これらはループとして表示されます！
図10。 生のスペクトル（A）と1の散乱効果プロットst SGフィルター処理されたデータを導出します（B）。 SGフィルターによって加法効果が除去された後、乗法効果は残ります。 これらのデータには、乗法効果を除去する前処理方法が必要になります。
生データの散布図は、相加効果を強く示唆しています（図10A）。 乗法的効果もあるかもしれませんが、相加効果が非常に支配的であるため、見分けるのは困難です。 したがって、最初に1を適用して相加効果を取り除きます。 st前の投稿で行ったように、データに対してSGフィルターを導出します。 前回の投稿では、前処理されたスペクトルをGraph Builderでプロットし、乗法効果が残っていることを示しました。 乗法効果は散布図でも明らかです-かなりの扇形に注意してください（図10B）。 したがって、データには相加効果と乗法効果の両方があります。 EMSCは、両方のノイズ源を1つのステップで除去できます。
彼らの元の論文では、Martensetal。 EMSCを紹介し、以前の投稿で示したような、より単純な前処理方法をこの方法でどのように改善できるかを示しました。 EMSCを構築していますが、最初に乗法散乱補正（MSC）から始めるのが最も簡単です。 MSCは、データを参照スペクトルのように見せることで、データ内のさまざまなノイズ源を補正することを目的としています。 多くの場合、利用できる適切な標準がないため、平均スペクトルが頻繁に使用されます。 スペクトルごとに、個別の回帰が実行されます。 させてバツ= {x 1 、 …、 バツp }は、特定のスペクトルの吸光度のベクトルであり、バツ* = {x * 1 、 …、 バツ* p }参照スペクトル。 モデルは
そして、スペクトルは次のように修正されます。
MSCの問題の1つは、散乱効果と波長の間に存在する関係を考慮していないことです。 EMSCは、モデルに多項式の関係を組み込むことでこれに対処します。 通常、波長には2次関係が想定されます。 MSCのもう1つの問題は、平均スペクトルで各スペクトルを回帰することにより、対象となる実際の化学的効果を取り除くことができることです。 サンプルが少数の化学成分の混合物であることがわかっていて、各成分の純粋な参照スペクトルが利用できる場合は、以前の化学組成情報をモデルに組み込むことで、EMSCをさらに拡張できます。 Marten et al。のデータには、純粋なグルテンが含まれています（バツg ）および純粋なでんぷん（バツs ）データのサンプル。 マルテンらのように。論文では、サンプル1とサンプル93を参照スペクトルとして選択しました。 EMSCモデルは、推定された化学組成に応じて参照スペクトルを変更します。これにより、データ内の真の化学信号がより適切に保存されます。
m =（バツg +バツs ）/2およびk =（バツg -バツs ） とl = {l 1 、…、l p }は波長のベクトルです。The mとkモデル項は、補正方程式を単純化するためにこのように表現されます。 補正されたスペクトルは次のように計算されます。
JMPでEMSCを実行するには、最初に次の列を作成する必要があります。バツgとバツs参照スペクトル。 これを行うには、データテーブルをサブセット化して参照スペクトルのテーブルを作成し、参照テーブルを元のテーブルに結合します。 これは、次の手順で行います。
- [行]>>[行の選択]>>[選択場所]を使用して、参照スペクトルの1つに対応するすべての行を選択します。
- サブセットを使用して、参照スペクトルのみを含むテーブルを作成します。
- 一致する列として波長を使用して、テーブルを元のテーブルに結合します。
次に、 kとm列。これは、バツgとバツs列。 これで、EMSCモデルを推定する準備が整いました。 これは、図11に示すオプションを使用して、フィットモデルで実行できます。 EMSC補正を実行するには、モデル項の係数を抽出して、データテーブルの列に保存する必要があります。 これにはjslスクリプトを使用する必要がありますが、スクリプトはかなり単純です。 最後に、図12に示す式を使用してEMSC補正を実行します。
図11。 EMSCモデルのモデル起動ダイアログを適合させます。
図12。 EMSC補正の列式。
最終結果を図13に示します。 スペクトルは散乱効果が著しくなく、真の基礎となるスペクトルをはるかに正確に表現しています。
図13。 このブログで適用される前処理ステップの前後のスペクトル。 （上）前処理前、（下）EMSC補正後。
最終的な多変量キャリブレーションモデル
これで、FDEの最終的な多変量キャリブレーションモデルのスペクトルの準備が整いました。 FDEセクションで説明されている方法を使用して機能DOEを実行します。 結果として得られるモデルにより、混合比率の特定の組み合わせのスペクトル形式を正確に予測できます。 このような予測の例を図14に示します。
図14。 前処理の前後のEMSC補正スペクトルの機能DOE。 でんぷんとグルテンの合計が1になるように、線形制約が適用されています。 前処理後のスペクトル形状の大きな変化に注意してください。 スペクトルから散乱効果が除去されているため、データで観察されていない因子の組み合わせで、予測されたスペクトル形状のより正確な推定値を取得できます。
結論と今後の投稿
スペクトルデータのパターンを識別するのに役立つ、JMPのいくつかの多変量プラットフォームを示しました。 スペクトル分析で一般的なサブグループ分析と外れ値分析に焦点を当てました。 スペクトルデータを分析するためのFDEの有用性は、利用可能な多数の探索ツールを示したときに完全に表示されました。 重要なのは、実験の機能設計により、多変量キャリブレーションモデルを簡単に構築できることです。 JMPのFitModelプラットフォームを使用して、拡張乗法信号補正（EMSC）モデルを構築する方法を示しました。これにより、データのノイズが劇的にクリーンアップされました。 Fit ModelでEMSCモデルを最初から作成することで、モデル作成プロセスをより詳細に制御し、理解を深めることができます。
次の投稿では、監視対象の多変量モデルについて説明します。 Breretonの用語を採用し、これらを逆多変量キャリブレーションモデルと呼びます。 これらは、スペクトルの関数として実験的要因を予測します。 部分最小二乗および一般化回帰プラットフォームでモデルを構築します。 また、機能的主成分をFDEから出力し、JMPの予測モデルに提供して、より複雑なキャリブレーションモデルの構築を可能にする方法も示します。
