スペクトルデータの解析は、虹を解読しようとするようなものです。虹は美しい一方で、意外な発見に満ちています。スペクトルデータは高い相関性を持つため、多くの従来の手法では対応できない特有の課題を抱えています。
本講演では、これらの課題を特定し、そのようなデータの処理に特化した高度な手法を探求します。具体的には、主成分分析（PCA）、部分最小二乗法（PLS）、関数データ解析（FDA）という3つの強力な手法を深く掘り下げます。これらの手法を比較することで、それぞれの長所、限界、そして実用的な応用を明らかにし、相関の高いスペクトルデータを分析するための最適なアプローチを選択するための洞察を提供します。虹の見方が変わっても、データを鮮やかな成功のスペクトルへと変換する方法をご紹介します。
スペクトルデータを分析するための最良かつ最も分かりやすい方法「虹の解読」に関するポスターをご覧いただき、ありがとうございます。このポスターは、近赤外反射分光法を用いて北極の土壌を分析した研究論文に焦点を当てています。スペクトルデータを分析するための3つの異なる手法、主成分分析、部分最小二乗法、関数データ解析について解説します。その後、これらの手法と結果を比較し、それぞれの手法の性能についてご紹介します。
メインページには、スペクトル、3つの異なる分析手法、そして最終的な結論が表示されています。まず、スペクトルを見てみましょう。スペクトルデータの分析における課題がいくつか示されています。相関関係の多変量カラーマップを見ると、非常に高い相関関係にあるデータであることが分かります。そのため、通常データ分析に用いられる分析手法の一部は使用できなくなります。相関関係の強いデータを適切に処理できる手法を用いた、異なるアプローチが必要になります。
こちらは近赤外領域のスペクトルの様子です。どの波長が、私たちが注目している2つの異なる反応、SOM（固体有機物、エルゴステロールの略）と高い相関関係にあるか、低い相関関係にあるか、あるいは負の相関関係にあるかがわかります。また、異なる波長が異なる量で相関しているのもわかります。最初に見ていきたい手法は主成分分析です。トーマス。
ピーターさん、ありがとうございます。はい、これらのスペクトルの主成分分析についてご説明しましょう。主成分分析は探索的な手法で、スペクトルデータのように相関性が高く、複雑で、多変量性の高いデータを調べるのに非常に適しています。非常にシンプルなので、最初に試す手法としてよく使われます。実際にデータ内の情報を探索するため、傾向や外れ値を見つけたり、スペクトル領域内を移動して、モデルの結果が示す興味深い部分に実際に影響を与えている部分を見つけ出すことができます。
PCAでは、生データを主成分に分解します。主成分は「直交アジリティ」と呼ばれる数学的原理に基づいて抽出されます。直交とは、化学的に導き出されたものではないという意味です。そのため、スコアと負荷量の解釈がやや難しい場合があります。しかし、スライドに示されている3つのプロットからわかるように、スコアと負荷量は非常に視覚的に表現されています。上の2つのプロットを見てください。左側にあるのは散布図にプロットされた最初の2つの主成分です。右側には、成分3と4があります。
PCAでは、これらの成分は変異に基づいて抽出されます。生データでは、説明される分散の量が実際に減少していることがわかります。成分1は、変動の約87%を説明します。これはスペクトルデータでは非常に一般的なことです。なぜなら、スペクトル全体にわたってほぼ同じ形状で、わずかな違いはあるものの、実際にはすべての化学情報を含んでいるからです。左側の最初のスコアプロットを固体有機物に応じて色分けすると、スコアプロットに勾配があることがわかります。これは、スペクトルのどこかにこの固体有機物が実際に捕捉されていることを意味します。
成分3と4についても同様です。しかし、エルゴステロールが成分3と4の間に何らかの勾配を描いていることがわかります。これだけでは、なぜそれらが異なるのかは分かりません。それを知るには、ローディングプロットを見る必要があります。ここで、波長軸に沿ってプロットすると、絶対値で言えば、高いか低いかの領域が、対応するスコアプロットにおいてサンプルがどのように分化しているかを説明する上で重要であることがわかります。
PCAを使うと、グループ化やクラスターがある場合でも、非常に良好な全体像が得られます。例えば、外れ値を見つけるのは実際には簡単ではありませんが、勾配は明確に確認できます。これは、スペクトルに化学情報が含まれていると確信していることを意味します。これは重要な点です。なぜなら、多くの場合、データを単に探索するだけでなく、それ以上のことをしたいからです。また、次の2つの技術で示すような予測モデルも作成したいと考えています。
PCAは、予測モデルが成功するか失敗するかの兆候があるかどうかを確認するための非常に優れた第一選択肢です。PCAの長所と短所を一つか二つ挙げると、PCAはスペクトルデータに対して非常に強力な手法です。非常に理解しやすく、視覚的な解釈も非常に優れています。
欠点としては、実際にはすべてを分散に基づいて抽出している点が挙げられます。分散が化学反応と関係がなければ、スペクトル内で実際に何が起こっているのかを解明するのは困難です。しかし、このケースでは、分散が化学反応と等しかったことがわかります。では、もう少し焦点を絞った次の手法を見ていきましょう。ビル。
トーマス、ありがとう。次にご紹介したい手法は、部分最小二乗法です。部分二乗法はスペクトルデータの分析において非常に一般的な手法です。主成分分析と併せて、何が起こっているのかという化学的性質について多くのことを学び、スペクトルデータにとってどの波長が最も重要かを判断し、サンプル全体を分析することで、そこから知見を深めていきます。左側の出力を見ると、ヴァンダービルトのT二乗値、つまりQ二乗値を比較することがわかります。そして、累積R二乗値と累積Q二乗値を見て、潜在因子の最適な総数を決定することができます。
この場合、私たちが作成した全体的な最良のモデルは潜在因子が14個でしたが、潜在因子が6個でも非常に優れたモデルになります。これは、X軸から伸びている黒い線に基づいています。次に、このモデルを、同じく部分平方根を用いた論文から得たデータと比較したかったのです。JMPはスペクトルデータの解析において全体的に非常に優れたパフォーマンスを発揮したと感じました。繰り返しになりますが、最適な潜在因子の数を決定するには、主成分分析のようなものを使います。潜在因子といえば、主成分分析を思い浮かべてください。主成分分析は、相関の高い因子に対して全体的に最適な適合度を決定するために使用されます。
右側には、得られた結果が表示されています。一番上のグラフは回帰係数ベクトル曲線で、各物質において最も重要な波長がどこであったかを示しています。青い線を見てください。そこに隠れていますが、これはモデル、つまり元のスペクトル線です。これは元のスペクトルのデータです。緑と赤の線を見てください。これらは、SOMとエルゴステロールの各スペクトルの係数について決定されたスペクトルの係数変動です。
右下は、出力されたデータ、つまり実データと予測データの比較です。JMPはエルゴステロールとSOMの両方において、全体的に非常に優れたパフォーマンスを示したことがわかります。PLSの利点は、非常に優れた予測モデルを作成できることです。また、PCAとは異なり、全体的なyに関する情報は得られないため、より教師なし手法に近いと言えます。
このPLS法は教師あり学習に近い手法で、そこからある程度の理解が得られるでしょう。なぜそうなるのか、何を予測しようとしているのかを理解できるようになります。優れた予測モデルを構築でき、広く利用されており、スペクトルデータの分析に非常に優れています。モデル自体は非常に計算量が多くなります。実際、PLS法でモデルを構築する際には、すべてのデータを使用しますが、ある時点で変数削減を行うこともできます。最後に、この場合、最終的なモデルは非常に大きくなる可能性があります。FDAについては、Peteにバトンタッチします。
ありがとう、ビル。さて。最後に見てきた手法は関数データ解析です。これは最初に紹介した2つの手法と似ています。関数データ解析の基本的な考え方は、平均、つまりスペクトル形状を求めることです。グラフの赤い線でそれが示されています。
これはすべてのスペクトルデータの平均形状であり、その平均形状からの差異に注目し、それを形状関数と呼ぶ形で抽出します。これらの形状関数は、機能的主成分と考えることができます。トーマスが変動定義主成分について説明したのと同じことですが、データの分散を説明するのではなく、形状の分散を説明します。
このモデルでは、平均値の図形と、その平均値からの差を説明する4つの図形が確認できます。トーマスの場合と同様に、最初の要素はほぼ87%を説明しており、そこから下がっていきます。PCAで見られた数値と非常によく似ています。ビルも話していましたが、FDAや機能データ分析の利点の一つは、私たちが解明しようとしている理由や反応を得られることです。これはいわゆる教師あり学習です。
ここでは2つのレスポンスと、それぞれのレスポンスのレベルに応じたスペクトルがどのように見えるかを確認できます。下にはモデルの結果があります。これは形状要素を抽出し、2つのレスポンス、つまりSOMとエルゴステロールを決定するモデルを作成しています。この手法の利点は、非常に予測力の高いモデルを作成できたことです。今回の場合はPLSほどではありませんが、このように優れた視覚化が得られるため、非常に解釈しやすい手法となっています。
応答レベルの違いによって、スペクトルがどのようになるか予想できます。この手法の欠点としては、PLS法やPCA法が広く用いられている点が挙げられます。しかし、文献も少なく、理解も進んでいません。何が起こっているのか理解するには少し説明が必要で、形状成分を生成するための中間段階として、この代替モデルが必要になります。実際にデータをフィッティングして形状成分を抽出するには、ウェーブレットやAPスプラインのような手法が必要です。
これらのモデルは計算量が多く、中間代替モデルを理解するのが難しい場合があります。最初のスライドに戻って、結果をお見せしたいと思います。ビルが述べたように、論文ではPLS法が使用されており、得られた結果、つまり二乗平均平方根誤差と決定係数がここに示されています。論文では非常に良いモデルが作られましたが、PCAを用いても同様の結果が得られたことがわかると思います。この場合、PLS法が最も良い結果を示したようです。関数データ分析はPLS法とPCA法の中間ですが、優れた解釈可能性を持っています。
ありがとう。トーマス、ビル、最後に何か一言お願いします。
私からはそうではありません。ありがとう、ピーター。
いいえ。ありがとう、ピーターとビル。
ありがとう、トーマス。
