349268_ja-JP

liliconcom

分析のための分光データの前処理 (2021-EU-30MP-787)

レベル: 中級

 

Bill Worley 氏、SAS、JMP シニア グローバル イネーブルメント エンジニア

 

分光データの前処理は、データ分析ツールでの分析用にデータを準備するための重要な最初のステップです。 JMP を使用した標準正規変量 (SNV) と Savitsky-Golay (SG) 平滑化を確認し、デモンストレーションします。 これらの前処理ツールは業界全体でかなり標準的なものであり、生の分光データから予測モデルを構築する第一歩となります。 SG アドインを共有してくれた Ian Cox に感謝します。

 

 

自動生成されたトランスクリプト...

 

スピーカー	成績証明書
ビル・ウォーリー	みなさん、こんにちは。JMP システム エンジニアの Bill Worley です。 私はJMPに約7年間勤務しています。 今日は次のことについて話します
	分光データを分析のために前処理します。 これを前編と呼んでいるのは、JMP 内でのスペクトル データの分析についてはすでに説明したからですが、前処理は重要な最初のステップであり、その理由については後ほど説明します。 では、本題に入りましょう。
	それでは、ここで少し抽象的な話をしましょう。 分光データの前処理は、あらゆるデータを分析用に準備するための重要な最初のステップです。
	私たちは、あなたと話し合うことができます...デモをレビューし、JMP の標準正規変量と Savitzky-Golay 平滑化ツールをデモンストレーションするつもりです。 これらは、全世界を通してかなり標準的な前処理ツールです。
	化学の世界、化学産業、そして実際には分光学を行ったり分光データを分析したりしている人すべてです。 彼らはそれを知っているでしょう...
	標準正規変量 Savitzky-Golay とその使用方法について詳しく説明します。 したがって、これも生の分光データから予測モデルを構築するのに役立つ重要な最初のステップです。
	したがって、バックグラウンドが少しあると、スペクトル データが非常に乱雑になる可能性があります。 前処理は、これらの予測モデルまたは構築する可能性のある予測モデルを構築する前に、スムーズ化、フィルター処理、およびベースラインの修正を支援するために使用されます。 Savitzky-Golay フィルタリングと標準正規変量
	これらは JMP で使用されるツールです。 Savitzky-Golay は Ian Cox によって開発されたアドインでした。つまり、Ian のおかげです。 標準正規変量には...が必要です。
	ある種の式を作成し、それを JMP に組み込む方法を示します。 そして最後の行、これは...グラフ ビルダーは、分光学的データを視覚化するための非常に貴重なツールでもあり、データを平滑化するための代替プラットフォームとして使用できます。
	しかし、話をさらに進めていくと、これについても触れていきます。
	なぜこれを行うのか。 何らかの前処理を行う必要があるのはなぜですか? そうですね、これを見ると、まず、そこにある上位のスペクトル、またはスペクトルのグループ、これは 100 個のスペクトルからの生データであり、実際には違いがわかりません。
	100％デンプンまたは100％グルテンの混合物です。 いくつかの違いはわかりますが、違いはわかりません...何が何なのかわかりません。 良い、
	そこから何をするかというと、Savitzky-Golay の平滑化とフィルタリングを行ってから、その一次導関数を取得すると、よりクリーンなスペクトルのセットが得られます。
	うまくグループ化されましたが、まだ完全に希望どおりにはなっていません。 そして最後に、標準の正規変量平滑化を実行すると、スペクトルがはるかにきれいになり、ピークがどこにあるのかがはるかにわかりやすくなります。
	そして、スペクトルの異なるグループのどこに違いがあるのかを確認できます。 繰り返しますが、これらの赤い線、灰色の線、青い線のそれぞれに 20 のスペクトルがあり、間違いなくはるかにクリーンです。 さまざまな混合物のピークがどこにあるかを確認できます。
	さて、Savitzky-Golay フィルタリングとは、平滑化を目的としてスペクトル データに供給されるデジタル フィルタです。 これの良い点は、全体的なスペクトル自体、ピークの位置などすべてを変更しないことです。 したがって、それは素晴らしいツールです。
	平滑化には畳み込みが使用され、線形最小二乗公式に基づいています。
	その一次導関数と二次導関数も...スムーズな信号からそれらを制御することもできます。
	また、スペクトルの両端にある重要でないデータのフィルタリングも同様に実行できます。 最初に何かを持っている状況に陥った場合、それは重要ではなく、先に進むにつれて混乱するだけであり、反対側でも同じことが起こります。
	Graph Builder を使用すると、Savitzky-Golay では実行できない内部スムージングや内部フィルタリングも実行できます。
	加える。 したがって、グラフ ビルダーでローカル データ フィルターを使用し、関心のある領域をさらに定義できます。
	それで、
	続けましょう。 サビツキー・ゴレイ
	分析とは、...我々が行った...その分析を行うと、これがスペクトルのグループ化であるということです。 これでスムーズな結果が得られました。
	最初の導関数が少し拡張されました。 そしてそこにゼロラインを入れます。 そして、一次導関数を使用すると、次のことができます。
	ゼロ点またはゼロ点の交差に基づいて、ピークがどこにあるかがわかります。これにより、特定のピークがどこにあるかがわかります。
	スペクトルのグループ、スペクトルのセット。 そして二次導関数の場合は少し異なります。 ベースラインを平坦化するのに役立ち、ピークが重なっている場合に役立ちます。
	さらに発展させるか、それらが重なっている場所をよりよく確認すると、プラスからマイナスに変化します。これは、重なっているピークとその可能性のある場所を示しています。 さて、それがそのツールの使い方です。
	標準正規変量自体も、個々のスペクトルに関するデータの標準化です。 これは単独で使用することも、追加のスムージング ツールとして使用することもでき、現在は追加ツールとして使用しています。
	中古ですよ…
	ベースラインシフト補正と全体的な強度変動の補正に使用されます。 良い点は、スペクトルの形状を変えることなくベースラインの変動を除去できることです。
	データについては、実際にやってみるとわかりますが、データは積み重ねる必要があります。
	わかりました、これは公式の 1 つにすぎません。
	標準の正規変量式の設定に使用できるので、その方法を説明します。 いくつかの異なる方法がありますが、少し複雑になるので、その方法を説明します。 ここで重要な部分は、
	ここには標準化された列の標準式がありますが、それを by 変数として使用し、それがスペクトルそのものであることを確認する必要があります。 それで
	それを追加するには少しコツがあります。
	そうです、生データのみに対して標準正規変量を実行すると、次のようになります。
	グループ化がわかり、物事がどのように展開するかがわかりますが、一次導関数を実行した後に標準正規変量を実行すると、はるかにきれいになります。 スペクトルがどこにあるのか、あるいはどこが重なっているのか、よりよくわかります。
	ここで少しやる必要があるかもしれません...二次導関数が影響する場所、重複するピークがある場所、おそらくここです、
	そしてまたここに戻ってくるかもしれない。 それで
	これは、見ているもののより良いビジョンを構築するのに本当に役立ちます。 そして、そのゼロラインは、繰り返しになりますが、これを横切るときに、そのゼロラインがピークを示している場所、ピークの場所が一次導関数を使用していることを示しています。
	さて、それではデモを始めましょう。
	よし、そこから出て行け。
	それでは、データの視覚化について話しましょう...まずデータです。 新しいデータセットを取得したときは、それを取り込んで視覚化するのが最善の方法であることを忘れないでください。 データをプロットして、何が直面しているのかをよりよく理解してください。 そしてここに降りて引き上げましょう
	当社のグルテンの生データ。 はい、データをインポートしました。 ここで、視覚化を行う必要があります。それでは、グラフ ビルダーに進みましょう。
	そうです、私たちが最初にやることは、
	これを少し上に移動して、生データに移動します。 そうだ、今からそれを引き込むよ。
	これはポイント データです。つまり、これは、平滑化を行う前、何か他のことを行う前に確認したものです。 それはその行データでした。それを次のように変更できるのであれば、
	右の平行プロットは、スペクトルの線データを提供します。 繰り返しますが、そこで何が起こっているのかはあまり見えませんが、これにより、どこで何が起こっているのかをよりよく理解できます。 それは作れます...
	必要に応じて、ここでいくつかのことを行うことができます...と呼ばれるものです。これが他のデータと併合されていることがわかります。 しかし、それは何も変わりませんでした。 他のデータを見てわかるように、何もまとめられなかったので、これを閉じます。
	データを視覚化するときに私が好んで使用する他のツールには、モデル駆動多変量管理図があります。まずそれを実行しましょう。
	それでは、分析、品質とプロセス、モデル駆動型多変量管理図に進みます。
	これを上に移動します。
	そうです、履歴データがないので、「わかりました」と言います。 これにより、データを見て「わかりました」と言うことができるようになります。
	スペクトルのグループ化がわかりますね。 そして、ほとんどの場合、これは...これを指摘したいだけですが、
	私たちが見ている変動のほとんど、少なくとも変動の 85% までは 2 つの主成分で説明できます。 そしてそれはこれを使っているのですか？ T二乗
	ここで得た情報。 これはまた、特定のスペクトルで制御不能になる可能性がある場所を示します。 なぜ他のグループと違うのでしょうか？
	これらのポイントの 1 つにカーソルを置くと、それを引き出すことができます。 制御不能な点の 1 つにカーソルを合わせると、再びそれを引き出します。
	そして今、私たちは、すごい、それらは本当に違うことがわかります。 このスペクトルには何か違う点があり、それをもっとよく理解する必要があります。 この場合、それらが混合物であることはわかっているので、すでに理解は深まっていますが、それを確認したいと考えています。
	で、これも抜いてみましょう。 さて、それではまたもう一つです。 つまり、これら 3 つのスペクトルの間には、かなり多様な混合物が存在します。 つまり、グループのうち 3 つがあり、他の 2 つも同様にそこに置くことができます。 しかし、今のところはこのままにしておきます。
	さて、これがモデル駆動型多変量管理図です。 私が使用するのが好きなもう 1 つのツールは、多変量法に基づくもので、多次元尺度法と呼ばれます。
	私がこれを使いたい理由は、特にこのようなシステムの場合、
	それは私たちが持っていることです
	生データを再度使用します。そうする必要があります...
	まずこれを設定してから教えてください。
	ここには 2 つのディメンションがあります。これは前に見たものに基づいているだけですが、私が使用したい理由は、これを使用すると、グループ化を実行したり、データ自体のグループ化を視覚化したりできるからです。 大丈夫、
	そうしよう。 表示されるまでに 1 秒かかります。
	そして、スペクトルの 5 つの異なるグループがあることがわかります。つまり、それらのそれぞれは、デンプンとグルテンの混合物のグループに関係しています。 ここでこのグループを強調すると、それが最初のグループで、ご存知のとおり、100% でんぷんです。
	中間のグループは 50/50 ブレンドで、ここの下のグループは 100% グルテンです。 そうです、それで何をするのかというと、そこに示されているように、データ テーブル内のデータも強調表示されます。
	インタラクティブ性も良いです。 これが私たちに示しているのは、私たちがすでに、さまざまなグループが何であるかを明らかにするという点で、かなり良い仕事をしているということです。 シェパード図を見てみると、
	R2乗は1であり、
	直線、大丈夫。 繰り返しますが、これを視覚化する良い方法であり、これを使用してできることは他にもありますが、それは別の機会に譲ります。
	さて、ここまでは、
	データを取り込んで視覚化しました。次に、前処理を行う必要があります。
	そして、私たちがやろうとしていることは、多かれ少なかれ、これらを持っています。ここにプレースホルダーがあるので、Savitzky-Golay 解析を実行し、少なくとも最初の部分では標準的な標準変量を実行します。派生語、わかりました。
	さて、それでは少し整理してみます。
	そうだ、それを閉じてください。
	そして再び生データを取得し、Savitzky-Golay アドインを使用して分析を行います。 つまり、それは私にとってはアドインの下にあります。
	これは無料のアドインなので、入手していただければ、私たちが提供します。 これもまた生データを取得します
	そうですね。Savitzky-Golay について詳しく知りたい場合は、ここに Wikipedia のリンクがありますので、それを使用してください。 しかし、これを使用して、すべての波長でデータを平滑化し、その一次導関数と二次導関数を取得します。 そして、私は言います、わかりました。
	これで滑らかなデータが得られました。
	必要に応じてこれを調整できますが、私たちがやりたいのは、次のようなものです。
	その窓を少し広げてください。
	わかりました。
	それをやってください。
	ここで多項式、つまり多項式の近似の次数を試すことができます。
	この場合、8 次の多項式を使用しても、実際には大きな違いはありません。 2 番目...2 番目の注文でも問題ありません。 よし、一次導関数からそのデータを取得できます。
	スムーズ データを保存すると言うと、それをデータ テーブルに保存し直すことができます。 それはすでに行っているので、そのプロセスを示す必要はありませんが、データがそこからデータ テーブルに戻されることだけは知っておいてください。
	これで終わりにしましょう。
	さて、これで準備完了ですが、最後のステップを行う必要があります。 それでは見てみましょう...そこに行く前に、戻って見てみましょう
	Savitzky-Golay データ。 これが一次導関数データです。 これをもう一度見ていきたいと思います
	グラフビルダー、そうです。 それは...あまり期待できそうにありませんが、並行プロットをしてみましょう。
	少し良くなります。 それをクリーンアップしてから、結合されたスケールの並列マージを実行しましょう。これにより、データがさらに細かくなります。
	ビジュアル...以前よりも優れたビジュアルですよね。 これを試してみると、ピークが交差する場所をよりよく理解するために、ここに独自のゼロ ラインを追加できます。
	しかし、それは一次導関数データです。 それは...グループが見えますが、グループはそうではありません。より良いアイデアを得るために実際にグループを分けたいと思うほど、完全に分離されていません。
	これで準備完了です。 そのデータはデータ テーブルに戻ります。 これを終わりにします。そして、標準の正規変量を行うにはデータを積み重ねる必要がある、と言ったことを思い出してください。したがって、それを行う必要があります。 まずここでいくつかのデータをサブセット化しましょう。
	わかりました、それで
	これらすべてをサブセット化します。
	テーブル。 サブセット。
	すべての行。 列を選択し、OK と言います。 さて、それでは、そこに行ってみましょう。
	右。
	そうですね、少なくとも、私たちは...データを分離しました。 次に、データをスタックする必要があります。 繰り返しになりますが、これは数式に必要なすべてのデータにフィルターを適用できるようにするためです。
	したがって、テーブルの下にあります。 スタック。
	これらは私たちが積み上げている柱です。
	右、行ごとに積み重ねます。
	保持したい列を選択します。
	その上に。 以降、
	申し訳ありません...この設定を取得するためだけにクリックしているだけですが、アイデアは理解できるでしょう。 皆さんがそこに到達するために何が必要かを見てもらうために、これについてはしばらく放置しておきます。 それでこれを保存しました。
	ほら、今すぐ「無題の 12」を見てください。 これが積み重ねられたデータです。これで、標準の正規変量を実行できるようになりました。 これを行う簡単な方法は、新しい列を作成することです。
	右クリック。
	そして、ここから、数式エディターからこの数式を構築する必要があります。 という統計ツールを使用します。
	列を標準化します。 ここにカーソルを合わせると、これで何をしているのかがわかります。 標準化とはどういう意味ですか。 それで、私たちは...
	平均は 0、標準偏差は 1 なので、これが、指定されたすべてのスペクトルに関して、データから得ようとしているものです。 したがって、データを取得する必要があります
	時々、二変数 (この場合はスペクトル) を追加する必要があると述べたことを思い出してください。 大丈夫と言うつもりです。
	これでデータセットが得られました。 これを行うためのより簡単な方法、またはより簡単な方法だと私は考えていますが、それも可能です...
	場合によってはもう少し時間がかかることもあります。 しかし、ここでスペクトルを右クリックし、もう一度クリックすると、二変数が必要なためにこれを行っていることを思い出してください。 そこで、新しい列情報に移動して、そのグループを作成します。
	データ列を右クリックして、新しい数式列を作成します。
	分散型に移行しますが、標準化されたことを思い出してください。 私たちは...だからそれを望んでいます
	0の平均。標準偏差は 1。 それを選択すると、新しい列が構築されます。 これの良い点は、データが一致しているので、正しくできたことに安堵のため息をつくことができることです。
	そうですね、わかりました。 さて、これにはここからその列をクリックする必要があります。
	このデータを取得して分割し、通常のデータ テーブルまたは初期データ テーブルに戻します。 これでお見せしたいことの一つは、
	データを積み重ねたら、他の視覚化を行うことができます。 それで、右のグラフビルダーに戻ると、このデータを取得したいと思います。
	に
	はい、それではラベルをめくります。これは、バリエーションがどこにあるのかを確認するための素晴らしい方法です。 これらはすべて、
	ご存知のとおり、箱ひげ図はデータの変動を確認するため、何が起こっているかを視覚化できる非常に優れた方法です。
	グラフ ビルダーを使用するもう 1 つの強力な方法です。この場合、これを行うにはデータをスタックする必要があります。 さて、あなたにもできることは、
	ポイント データを取り込んだ場合は、それを削除して、そこにポイント データを入れて、スムージングを行うことができます。 これは個別の平滑なので、すべてのデータの平均です。 私たちがやりたいことはそれをすることです
	Savitzky-Golay スムージングなので、引き込む必要があります
	オーバーレイ、そうです。 以上がデータです。 見づらくなっていますが、これを実行します。ご覧いただけると幸いです。[スムーズ] の下を選択すると、Savitzky-Golay に切り替わります。
	そうです、そしてあなたは...うまくいけば、それが今その線に適合し、その滑らかな線がすぐそこにあることがわかりました。
	これは、Savitzky-Golay を使用してデータを平滑化するもう 1 つの方法です。 次に、これを 2 次式に変更し、ここでローカル トリミングを実行し、最終的にそれをデータ テーブルに保存し直すことができます。
	とりあえずはこのままにしておきます。
	覚えておいてください、このデータを分割してデータ テーブルに保存し直す必要がありました。 分割ステップを省略して、データ、つまり元のデータ テーブルに戻るだけです。
	そんなものは必要ありません。
	そう、そして私が
	グラフビルダーでデータをもう一度見てください。
	この標準正規変量グループを採用するかもしれませんが、
	それを入れてください。 これもあまり有望ではありませんが、並列プロットを実行してから右クリックします。
	これらのスケールを組み合わせます。
	これで基本的にスムージングは完了です。 これですべてのセットアップが完了しました。 ここでもゼロ行を追加できます。
	必要に応じて。 それを追加しましょう。
	ゼロ、それをある種の緑にしましょう、
	それがあります、追加してください。
	「わかりました」と言って、もう一度これを使用して、ピークがどこにあるのかを把握します。
	ゼロ点を超えたときのピーク最大値に基づいて、わかりました。
	かなり、それだけです。 私たちのところに戻りましょう
	パワーポイント。
	結論として、前処理...データを前処理する必要がありました...データを前処理して、データをよりクリーンにし、はるかに作業しやすくします。
	JMPもどこに...
	JMPがこれを作っています...
	私たちはこれをより簡単なプロセスにするために取り組んでいます。 JMP 16 での前処理は、アドインと組み込み機能によってサポートされる予定です。
	私たちは JMP 17 での前処理、より洗練されたスペクトルおよびベースラインの平滑化オプション、およびいくつかのピークの検出と選択を備えた Functional Data Explorer で提供される内容を楽しみにしています。
	スペクトル データの分析については、そこにお願いします...2020 年にディスカバリーのために行った講演がありました。
	ミュンヘン。 これは仮想的な話でしたが、JMP を使用してスペクトル データを分析する方法についてよく理解できるでしょう。
	これで、私は感謝の意を表します。そして、願わくば、皆さんもこの記事が役に立ったと思っていただければ幸いです。 私にお知らせください。

サミットのベスト起こるデータのアクセスと操作予測モデリング