756627_ja-JP

liliconcom

分析のための分光データの前処理 (2021-EU-30MP-787)

Bill Worley、SAS、JMP シニア グローバル イネーブルメント エンジニア

分光データの前処理は、あらゆるデータ分析ツールで分析するためのデータ準備における重要な第一歩です。本稿では、JMPを用いて標準正規変量法（SNV）とSavitsky-Golay法（SG）の平滑化について解説し、その実演を行います。これらの前処理ツールは業界で広く普及しており、生の分光データから予測モデルを構築するための第一歩となります。SGアドインを提供してくださったIan Cox氏に感謝申し上げます。

自動生成されたトランスクリプト...

スピーカー	トランスクリプト
ビル・ウォーリー	皆さんこんにちは。JMPシステムエンジニアのビル・ウォーリーです。JMPに携わって7年近くになります。今日は
	分析のための分光データの前処理。JMPを使った分光データの分析については既に講演しているので、今回は前編と呼んでいますが、前処理は重要な最初のステップであり、その理由も説明します。それでは、早速始めましょう。
	では、少し抽象的な話に移りましょう。分光データの前処理は、あらゆるデータを分析用に準備する上で、非常に重要な最初のステップです。
	デモをご覧いただき、JMPの標準正規分布とSavitzky-Golay平滑化ツールについてご説明します。これらはJMP全体でかなり標準的な前処理ツールです。
	化学の世界、化学産業、そして分光学や分光学データの分析に携わる人なら誰でも知っているはずです…
	標準正規分布とSavitzky-Golay分布、そしてそれらの使用法についてさらに詳しく学びましょう。繰り返しになりますが、これは生の分光データから予測モデルを構築するための重要な第一歩です。
	そのため、スペクトルデータの背景が少しあると、非常に乱雑になる可能性があります。前処理は、これらの予測モデル、あるいはあなたが構築したい予測モデルを構築する前に、平滑化、フィルタリング、ベースライン補正を行うために使用されます。Savitzky-Golayフィルタリングと標準正規変量
	JMPで使われているツールです。Savitzky-GolayはIan Cox氏が開発したアドインなので…Ian氏に感謝します。標準正規分布には…
	何らかの式をJMPに組み込む方法を説明します。そして最後の行は…グラフビルダーです。これは分光データの視覚化に非常に役立つツールで、データの平滑化のための代替プラットフォームとしても使用できます。
	しかし、これについては、また話を進めていく中で触れることにします。
	なぜこのようなことをするのでしょうか？なぜ前処理が必要なのでしょうか？まず、上のスペクトル、あるいはスペクトルのグループを見てください。これは100個のスペクトルの生データであり、実際には違いがわかりません。
	100%デンプンか100%グルテンの混合物です。違いは分かりますが、何が何だか…区別がつきません。ええと、
	そこからサビツキー・ゴレイ法による平滑化とフィルタリングを行い、一次微分をとることでよりきれいなスペクトルが得られます。
	きれいにグループ化されていますが、まだ完全には理想の状態ではありません。そして最後に、標準正規分布の平滑化を行うと、スペクトルははるかにきれいになり、ピークの位置がはるかにわかりやすくなります。
	スペクトルのグループ分けの違いがどこにあるのかが分かります。赤線、灰色の線、青線それぞれに20個のスペクトルがあり、明らかに見やすくなっています。異なる混合物のピークがどこにあるのかが分かります。
	Savitzky-Golayフィルタリングとは、スペクトルデータを平滑化するために適用されるデジタルフィルタです。このフィルタの良いところは、スペクトル全体、ピークの位置など、スペクトルそのものは変化させないことです。そのため、非常に便利なツールです。
	平滑化には畳み込みを使用し、線形最小二乗法に基づいています。
	1 次導関数と 2 次導関数も、滑らかな信号から制御できます。
	スペクトルの両端にある重要でないデータをフィルタリングすることも可能です。例えば、最初に何かがあって、それが単に重要でなく、先に進むにつれて混乱を招くような状況に陥った場合、反対側でも同じことが起こります。
	Graph Builder を使用すると、Savitzky-Golay では実行できない内部スムージングや内部フィルタリングも実行できます。
	アドイン。グラフビルダーでローカルデータフィルターを使用して、関心領域をさらに定義できます。
	それで、
	続けましょう。サヴィツキー・ゴレイ
	分析というのは、私たちが行った分析では、スペクトルのグループ化が行われます。つまり、滑らかな、
	一次導関数を少し伸ばして、ゼロラインをここに置きます。一次導関数を使うと、
	ゼロ点またはゼロ点の交差に基づいてピークがどこにあるかを知ることができます。これにより、任意のピークがどこにあるかがわかります。
	スペクトルのグループ、スペクトルのセットです。2次微分は少し異なりますが、ベースラインを平坦化するのに役立ちます。また、重なり合ったピークがある場合にも役立ちます。
	さらに発展させたり、重なり合っている箇所をより詳しく確認したり、プラスからマイナスに転じたりすることで、ピークの重なりとその位置がわかるようになります。それでは、このツールの使い方は以上です。
	標準正規変量自体も、個々のスペクトルに関してデータを標準化したものです。これは単独で使用することも、追加の平滑化ツールとして使用することもできます。今日は追加のツールとして使用します。
	中古です…
	ベースラインシフト補正と全体的な強度変動の補正に使用されます。スペクトルの形状を変えずにベースライン変動を除去できるのが利点です。
	そして、データに関して言えば、これを実行するとわかるのですが、データは積み重ねられる必要があります。
	さて、これは数式の一つに過ぎません
	標準正規分布の変量式を設定する際に使用される可能性があります。その方法を説明します。いくつかの方法がありますが、少し複雑なので、その方法を説明します。ここで重要なのは、
	標準化された列の標準式はここにありますが、これを変数として、つまりスペクトルそのものとして使う必要があります。
	それを追加するにはちょっとしたコツが必要です。
	そうです。生データのみで標準正規分布に従うと、次のようになります。
	グループ分けや、物事がどのように分かれているかは分かりますが、一次微分を行った後に標準正規分布を求めると、より明瞭になります。スペクトルがどこで重なり合っているか、どこで…といったことがより明確に分かります。
	2次微分が作用するところで、おそらくピークが重なり合う部分があるでしょう。
	そしてまたここに戻ってくるかもしれない。だから
	これが、見ているものをより良く視覚化するのに本当に役立つところです。そして、このゼロラインは、ゼロラインを横切るとピークがどこにあるのかを示しています。ピークは一次微分を使って示しています。
	さて、デモを始めましょう。
	よし、そこから出ろ。
	それでは、データの視覚化についてお話しましょう…まずはデータです。新しいデータセットを入手したら、それを取り込んで視覚化するのが最善です。データをプロットして、自分が直面している状況がどのようなものかをよりよく理解しましょう。では、ここへ移動して、データを視覚化してみましょう。
	グルテンの生データですね。さて、データのインポートは完了です。次はグラフビルダーを使って視覚化を行いましょう。
	そうです、まず最初にやることは
	これを少し上に移動して、生データに移動してください。それでは、それを取り込みます。
	これはポイントデータです。つまり、スムージングやその他の処理を施さない前のデータです。これはラインデータです。これを次のように変更します。
	平行線プロットですね。スペクトルの線データが得られます。ここでも、何が起こっているのかは詳しくは分かりませんが、どこに何が落ち込んでいるのかはよりよく分かります。これを作ることができます…
	必要に応じて、ここでいくつか操作を行うことができます。他のデータと並列マージされているのが分かります。しかし、これでは何も変わりません。他のデータと統合されているのが分かりますが、統合されていないので、閉じておきます。
	そうですね。データを視覚化するときに私がよく使用する他のツールには、モデル駆動型多変量管理図があります。まずはこれをやってみましょう。
	それでは、「分析」、「品質とプロセス」、「モデル駆動型多変量管理図」に進みます。
	これを上へ移動します。
	はい、過去のデータがないので、OKとします。これでデータを見て、OKと言えるようになります。
	スペクトルのグループ分けが見られますね。そして、ほとんどの場合、これは…ちょっと指摘したいのですが、
	観測されている変動の大部分、少なくとも85%までは2つの主成分で説明できます。これはT2乗を使って説明できます。
	ここに得られた情報です。また、特定のスペクトルにおいて、どこで制御不能になる可能性があるかが分かりますね。なぜ他のスペクトルと異なるのでしょうか？
	これらの点のいずれかにマウスを合わせると、それを引き出すことができます。制御不能な点のいずれかにマウスを合わせると、それを引き出すことができます。
	すると、ああ、これは本当に違う、と分かりますね。このスペクトルには何か違うところがあり、それをもっとよく理解する必要があるのか​​もしれません。今回の場合は、混合物であることは分かっているので、既に理解は深まっていますが、それをさらに詳しく見たいのです。
	これも取り出してみましょう。はい、これでまた一つですね。この3つのスペクトルには、実に様々な混合物が含まれていますね。つまり、3つのグループのうち3つが揃っていて、残りの2つも入れてみてもいいかもしれません。でも、今はこのままにしておきましょう。
	はい、これがモデル駆動型多変量管理図です。私がよく使うもう一つのツールは…多変量解析法の「多次元尺度法」です。
	私がこれを使う理由は、特にこのようなシステムでは、
	私たちが持っているのは
	生のデータをもう一度確認する必要があります...
	まずこれを設定してから説明しましょう。
	ここに2つのディメンションがありますね。これは先ほど見た通りですが、私がこれを好んで使う理由は、データのグループ化や視覚化ができるからです。
	それをやってみましょう。これが表示されるまで少し時間がかかります。
	スペクトルには5つのグループがあることがわかります。それぞれが、デンプンとグルテンの混合物のグループに関係しています。ここでハイライトすると、最初のグループ、つまり100%デンプンです。
	真ん中のグループは50/50ブレンドで、下のグループは100%グルテンです。つまり、データテーブル内のデータがハイライト表示されます。
	インタラクティブ性も優れています。これは、私たちが既に、それぞれのグループを分類する作業がかなりうまく進んでいることを示しています。シェパード図を見てみると、
	R2乗は1であり、
	直線ですね。これは視覚化するのに良い方法です。他にも色々な使い方がありますが、それはまた別の機会に。
	さて、ここまでは
	データを取り込んで視覚化しましたが、次は前処理を行う必要があります。
	これからやることは、ここにプレースホルダーがあるので、Savitzky-Golay 分析と、少なくとも 1 次導関数での標準正規分布の解析を実行します。
	さて、これを少し整理してみましょう。
	はい、閉じてください。
	もう一度、この生データを取り込んで、Savitzky-Golayアドインを使って分析を行います。これがアドインの項目です。
	これは無料のアドインなので、入手してすぐに公開できます。ここでも生データを取り出して、
	そうですね。Savitzky-Golay法について詳しく知りたい方は、Wikipediaへのリンクを貼っておきますので、そちらをご利用ください。これを使って、各波長におけるデータを平滑化し、一次微分と二次微分を取ります。それで、わかりました。
	これで、スムーズなデータが得られました。
	必要に応じて調整できますが、私たちがやりたいのは、
	その窓を少し広げます。
	わかりました。
	それをやってください。
	ここでは多項式、つまり多項式の近似順序を試すことができます。
	この場合、8次多項式にしてもあまり違いはありません。2次…2次で十分です。それで、1次導関数からデータを取得できます。
	スムーズデータを保存すると、データテーブルに保存し直すことができます。これは既に実行済みなので、手順を説明する必要はありませんが、データがそこからデータテーブルに戻されることを知っておいてください。
	では、終わりにしましょう。
	さて、これで準備は完了です。でも、最後のステップを踏む必要がありますね。そこに行く前に、戻って確認してみましょう。
	Savitzky-Golayのデータです。これが一次微分データです。これをもう一度見てみましょう。
	グラフビルダーですね。それで、これは…あまり期待できそうにありませんが、並列プロットしてみましょう。
	少し良くなります。そして、これを整理して、スケールと並列マージを組み合わせると、データがより整理されます。
	ビジュアル…前よりも良くなりましたね。これを操作して、ピークが交差する場所をよりよく理解するために、ここに独自のゼロラインを追加することもできます。
	でも、これは一次導関数のデータです。グループが見えますが、より正確に把握するためには、グループが完全に分離されている必要があるのですが、そうではありません。
	これで準備完了です。データはデータテーブルに戻っています。これを閉じます。先ほど言ったように、標準正規分布を求めるにはデータを積み重ねる必要があります。まずはデータを分割してみましょう。
	さて、それで
	これらすべてをサブセット化します。
	テーブル。サブセット。
	すべての行と選択した列を選択して「OK」をクリックします。これで準備完了です。
	右。
	ええ、少なくとも、データは分離できました。次は、データを積み重ねる必要がありますね。繰り返しますが、これは数式に必要なすべてのデータにフィルターを適用できるようにするためです。
	つまり、テーブルの下にスタックします。
	これらは積み重ねる列です。
	右、行ごとに積み重ねます。
	保持したい列を選択します。
	その上。そしてその後、
	すみません…設定を確認するためにちょっとクリックしているだけですが、大体こんな感じです。皆さんが設定に必要な手順を確認できるように、少しの間そのまま残しておきます。それでは保存しておきます。
	ご覧の通り、無題の12を見てください。これが積み上げデータです。これで標準正規分布の変量解析を実行できます。簡単な方法は、新しい列を作成することです。
	右クリックします。
	ここから数式エディタを使って数式を作成します。「」という統計ツールを使います。
	列の「標準化」ですね。ここにマウスを合わせると、何をしているのかが分かります。「標準化」とはどういう意味でしょうか？それでは…
	平均0、標準偏差1です。これが、与えられたスペクトルすべてに関して、データから得ようとしている値です。そのため、データから
	ここで、先ほど二変数、つまりスペクトルを追加する必要があると言いましたよね。それでは、よしとしましょう。
	はい、これでデータセットができました。実は、これをもっと簡単な方法で、というか私がもっと簡単な方法だと思っている方法もありますが…
	少し時間がかかることもあります。ここでスペクトルを右クリックして、繰り返しますが、これは2変数が必要なのでやっていることです。新しい列情報に移動して、グループ化を設定します。
	データ列を選択して右クリックし、新しい数式列を作成します。
	分配の項目に移りましょう。標準化されていることを忘れないでください。私たちは…つまり、
	平均0、標準偏差1。これを選択すると、新しい列が作成されます。この方法の良いところは、データが一致していることです。これで正解だったと安堵できます。
	はい、それでは、ここから「その列」をクリックします。
	このデータを取得して分割し、通常のデータテーブル、つまり初期データテーブルに戻します。ここでお見せしたいのは、
	データを積み重ねたら、他の視覚化もできます。グラフビルダーに戻って、このデータを取得したいのですが
	に
	Y、それからラベルを上に引っ張ってみます。これは、すべてのバリエーションがどこにあるのかを確認するのに便利な方法です。これらはすべて、
	ご存知のとおり、ボックス プロットはデータの変動を確認するためのもので、何が起こっているかを視覚化できる非常に優れた方法です。
	グラフビルダーのもう一つの強力な使い方ですが、この場合はデータを積み重ねる必要があります。また、次のようなこともできます。
	ポイントデータを取り込んで、それを取り込んで、そこにポイントデータを入れて、スムージングを行います。これは個々のデータごとにスムージングするので、すべてのデータの平均になります。私たちがやりたいのは、
	サビツキー・ゴレイ法なので、引き込む必要があります
	オーバーレイですね。これですべてのデータです。少し見づらいかもしれませんが、こうします。「スムーザー」を選択すると、Savitzky-Golayに切り替わります。
	そうです。そして、あなたは...うまくいけば、それが今その線、あの滑らかな線に当てはまるのを見たと思います。
	これはSavitzky-Golay法を使ったデータの平滑化の別の方法です。これを二次関数に変更し、局所的なトリミングを行って、最終的にデータテーブルに保存することができます。
	とりあえずこのままにしておきます。
	そうですね。このデータを分割してデータテーブルに保存し直す必要がありましたね。分割の手順は省略して、元のデータテーブルに戻ります。
	それは必要ありません。
	そう、そして私が
	グラフビルダーでデータをもう一度確認してみましょう。
	この標準正規分布の変量群を例に挙げると、
	それをドロップします。また、あまり期待は持てませんが、並列プロットを実行して右クリックします。
	それらのスケールを組み合わせます。
	これでスムージングは​​ほぼ完了です。これで準備は完了です。ここでゼロラインを追加することもできます。
	必要であれば追加してみましょう。
	ゼロなら緑にするよ
	それがあります、それを追加します。
	「OK」と言って、もう一度、これを使用してピークがどこにあるかを把握します。
	ゼロポイントを超えたときのピーク最大値に基づいて、わかりました。
	ということで、これで終わりです。
	パワーポイント。
	結論として、前処理…データを前処理する必要がありました…データを前処理して、よりクリーンにして、より簡単に作業できるようにします。
	JMP でも同じです...
	JMP がこれを作っています...
	私たちは、このプロセスをさらに簡素化できるよう取り組んでいます。JMP 16では、前処理がアドインと組み込み機能でサポートされる予定です。
	JMP 17 では、前処理、機能データ エクスプローラーで提供される、より洗練されたスペクトルおよびベースラインの平滑化オプション、およびピークの検出と選択機能に期待が高まります。
	スペクトルデータの分析については、2020年にディスカバリーで行った講演があります。
	ミュンヘン。バーチャルな講演でしたが、JMPを使ってスペクトルデータを分析する方法がよくわかると思います。
	では、最後にお礼を申し上げます。皆さんにとって、この情報が役に立ったと感じていただければ幸いです。ぜひご意見をお聞かせください。

高度な統計モデリング基本的なデータ分析とモデリング消費者および市場調査実験計画法予測モデリングと機械学習品質およびプロセスエンジニアリング