349268_ja-JP

liliconcom

分析のための分光データの前処理（2021-EU-30MP-787）

レベル：中級

 

SAS、JMPシニアグローバルイネーブルメントエンジニア、Bill Worley

 

分光データの前処理は、データ分析ツールで分析するためにデータを準備するための重要な最初のステップです。 JMPを使用した標準正規変量（SNV）とサビツキーゴーレイ（SG）の平滑化を確認してデモンストレーションします。 これらの前処理ツールは業界全体でかなり標準的であり、生の分光データから予測モデルを構築するための最初のステップです。 SGアドインを共有してくれたIanCoxに特に感謝します。

 

 

自動生成されたトランスクリプト...

 

スピーカー	トランスクリプト
ビル・ウォーリー	みなさん、こんにちは。JMPシステムエンジニアのBillWorleyです。 私はJMPに7年近く在籍しています。 今日は話します
	分析のために分光データを前処理します。 JMP内のスペクトルデータの分析についてはすでに説明したので、これを前編と呼んでいますが、前処理は重要な最初のステップであり、その理由を説明します。 入りましょう。
	それでは、ここで少し要約について話しましょう。 分光データを前処理することは、分析のためにデータを準備する上で本当に重要な最初のステップです。
	ご存知のとおり、私たちはあなたに話しかけることができます...デモをレビューし、JMPの標準正規変量とSavitzky-Golay平滑化ツールをデモンストレーションします。 これらは前処理ツールであり、全体を通してかなり標準的です。
	化学の世界、化学産業、そして分光法をやっていて分光データを分析している人なら誰でも。 彼らはそれを知っているでしょう...
	標準正規変量Savitzky-Golayとその使用方法の詳細。 したがって、これも、生の分光データから予測モデルを構築するのに役立つ重要な最初のステップです。
	したがって、バックグラウンドが少しあると、スペクトルデータが非常に乱雑になる可能性があります。 前処理は、これらの予測モデルまたは予測モデルを構築する前に、スムーズ化、フィルタリング、およびベースライン修正を支援するために使用されます。 Savitzky-Golayフィルタリングと標準正規変量
	JMPで使用されているツールです。 Savitzky-Golayは、Ian Coxによって開発されたアドインでした。つまり、Ianに感謝します。 標準正規変量には...が必要です。
	ある種の公式とそれをJMPに組み込む方法を紹介します。 そして最後の行です。これは...グラフビルダーは、分光データを視覚化するための非常に貴重なツールでもあり、データを平滑化するための代替プラットフォームとして使用できます。
	しかし、話をさらに進めていくうちに、もう一度それについて説明します。
	なぜこれを行うのか。 なぜ前処理をしたいのですか？ さて、それを最初に見ると、そこにある一番上のスペクトル、またはスペクトルのグループ、つまり100のスペクトルからの生データであり、実際には違いがわかりません。
	ご存知のように、100％でんぷんまたは100％グルテンの混合物です。 あなたはいくつかの違いを見ることができます、あなたはただそうではありません...あなたは何が何であるかを言うことができません。 上手、
	そこから行うことは、Savitzky-Golayの平滑化とフィルタリングを行うことです。次に、その1次導関数を取得すると、はるかにクリーンなスペクトルのセットが得られます。
	うまくグループ化されていますが、それでもあなたが望む場所に完全にはありません。 そして最後に、その標準正規変量平滑化を実行した後、スペクトルははるかにクリーンになり、ピークがどこにあるかをはるかに簡単に確認できます。
	そして、スペクトルのさまざまなグループのどこに違いがあるかを確認できます。 したがって、これらの赤い線から灰色の線、青い線のそれぞれに20のスペクトルがあり、間違いなくはるかにクリーンです。 さまざまな混合物のピークがどこにあるかを確認できます。
	さて、Savitzky-Golayフィルタリングでは、平滑化の目的でスペクトルデータに提供されるデジタルフィルターです。 それの良いところは、全体的なスペクトル自体、ピークがどこにあるか、そしてそのようなすべてを変更しないことです。 だから、それはそこにある素晴らしいツールです。
	平滑化に畳み込みを使用し、線形最小二乗法に基づいています。
	その一次および二次導関数も...スムーズな信号からそれらを飼いならすことができます。
	また、スペクトルの両端で重要でないデータをフィルタリングすることもできます。 あなたが知っている、あなたが最初に何かを持っている状況に陥った場合、それは単に重要ではなく、あなたが前進するときにあなたを混乱させるだけであり、反対側では同じことです。
	グラフビルダーを使用すると、Savitzky-Golayでは実行できない内部平滑化または内部フィルタリングを実行できます。
	加える。 したがって、グラフビルダーでローカルデータフィルターを使用して、関心のある領域をさらに定義できます。
	そう、
	続けましょう。 サビツキー・ゴーレイ
	分析は、私たちが持っているということです...私たちが行った...その分析を行う場合、これはスペクトルのグループ化です。 スムーズに、
	一次導関数は、少し伸びています。 そして、そこにゼロラインを入れます。 そして一次導関数で、あなたはすることができます
	ゼロ点がどこにあるか、またはゼロ点の交差に基づいて、ピークがどこにあるかを教えてください。これにより、任意の特定のピークがどこにあるかがわかります。
	スペクトルのグループ、スペクトルのセット。 そして二次導関数については、今では少し異なります。 ベースラインを平坦化するのに役立ち、重複するピークがある場合は、
	それらが重なり合っている場所をさらに発展させるか、よりよく確認し、正から負に変化します。これは、重なり合うピークとそれらがどこにあるかを示します。 さて、それはあなたがそのツールを使用する方法です。
	標準正規変量自体も、個々のスペクトルに関するデータの標準化です。 単独で使用することも、追加のスムージングツールとして使用することもできます。現在、追加のツールとして使用しています。
	使用されています...
	ベースラインシフト補正とグローバル強度変動の補正に使用されます。 良い点は、スペクトルの形状を変更せずにベースラインの変動を取り除くことです。
	そして、データ、これについてのことは、私たちがそれを行うときにこれを見るでしょう、データはスタックされなければならないということです、大丈夫です。
	わかりました、これは式の1つにすぎません
	標準の正規変量式の設定に使用される可能性があります。その方法を説明します。 いくつかの異なる方法がありますが、少し複雑になるので、その方法を説明します。 ここで重要なのは
	ここでは、標準化された列の標準式がありますが、変数ごとに使用することを確認する必要があります。これがスペクトルそのものです。 そう
	それを追加するためのちょっとしたコツがあります。
	そうです、生データのみで標準正規変量を実行した場合、これは次のようになります。
	グループ化を見ることができます。どのように物事が発生するかを見ることができますが、一次導関数を実行した後に標準正規変量を実行すると、はるかにクリーンになります。 スペクトルがどこで重なっているのか、どこで重なっているのか、どこで重なっているのか、よりよく理解できます。
	少しやらなければならないかもしれない場所...その二次導関数が作用する場所、おそらくここで重複するピークがある場所、そうです、
	そして多分ここに戻って。 そう
	これは、あなたが見ているもののより良いビジョンを構築するのに本当に役立ちます。 そして、そのゼロラインは、繰り返しますが、これを横切ると、ゼロラインはピークを示し、ピークは一次導関数を使用していることを示しています。
	では、デモを始めましょう。
	了解しました。そこから出てください。
	それでは、データの視覚化について話しましょう...最初にデータです。 新しいデータセットを取得するときはいつでも、それを取り込んで視覚化するのが最善の方法であることを忘れないでください。 あなたが知っている、そのデータをプロットし、あなたが直面しているもののように見えるもののより良いアイデアを得る。 そして、ここに降りて引き上げましょう
	私たちのグルテン生データ。 そうです、データをインポートしました。 次に、視覚化を行う必要があります。それでは、グラフビルダーに移動しましょう。
	そうです、そして私たちが最初にやろうとしていることは、
	これを少し上に移動して、生データに移動します。 さて、それを引き込みます。
	これはポイントデータなので、これは私たちが...スムージングを行う前、他のことを行う前に見たものです。 それはその行データであり、私がそれを変更できる場合
	右の平行プロットは、スペクトルのラインデータを提供します。 繰り返しになりますが、そこで何が起こっているのかを多く見ることはできませんが、どこで物事が落ちているのかをよりよく理解することができます。 私はそれを作ることができます...
	ここでいくつかのことを行うことができます。何かと呼ばれます...必要に応じて、これを他のデータと一緒に見ると、この並列がマージされます。 しかし、それは何も変わりませんでした。 他のデータが何であるかがわかるように、何もまとめられなかったので、それを閉じます。
	そうです、そしてデータを視覚化するときに使用したい他のツールのいくつかは、モデル駆動型の多変量管理図です。最初にそれを実行しましょう。
	そこで、分析、品質とプロセス、およびモデル駆動型多変量管理図に進みます。
	これを上に移動します。
	そうです、履歴データがないので、わかりました。 そして、これによって私たちができることは、データを見て、「OK」と言うことです。
	スペクトルのグループ化を見ることができます。 そして、ほとんどの場合、これは...これを指摘したいだけです、
	私たちが見ている変動のほとんどを説明することができます。少なくとも2つの主成分による変動の最大85％です。 そしてそれはこれを使用しています??? Tの2乗
	ここにある情報。 そして、これはまた、与えられたスペクトルに対して物事が制御不能になる可能性がある場所を教えてくれます。 なぜそれはグループの他の人と違うのですか？
	したがって、これらのポイントの1つにカーソルを合わせると、それを引き出すことができます。 制御不能なポイントの1つにカーソルを合わせると、もう一度、それを引き出します。
	そして今、私たちは見ることができます、すごい、それらは本当に異なっています、あなたは知っています。 このスペクトルには、私たちが理解しなければならない何か違うことがあります。 この場合、それらが混合物であることがわかっているので、私たちはすでにより良い理解を持っていますが、私たちはそれを見たいと思っています。
	そして、これも引き出しましょう。 了解しました。もう1つです。 したがって、これら3つのスペクトルの間には、非常に多様な混合物があります。 つまり、グループのうち3つ... 3つがあり、他の2つもそこに入れることができます。 ただし、今のところはそのままにしておきます。
	これがモデル駆動型の多変量管理図です。 私が使用するのが好きな他のツールは...それは多変量メソッドの下にあり、多次元尺度構成法と呼ばれています。
	そして、私がこれを使用するのが好きな理由は、特にこのようなシステムの場合、
	私たちが持っているということです
	生データをもう一度、そうです、そして私たちはする必要があります...
	最初にこれを設定させてください。
	ここには2つの次元があります。これは以前に見たものに基づいていますが、これを使用する理由は、データ自体のグループ化を実行したり、グループ化を視覚化したりできるためです。 了解しました。
	そうしよう。 これが表示されるまでに1秒かかります。
	そして、5つの異なるスペクトルのグループがあることがわかります。したがって、それぞれがでんぷんとグルテンの混合物のグループと関係があります。 ここでこのグループ化を強調すると、それが最初のグループであり、100％でんぷんです。
	真ん中のグループは50/50ブレンドで、この下のグループは100％グルテンです。 そうです、それは、そこに示されているように、データテーブルに戻ってデータを強調表示することです。
	双方向性もいいです。 これが私たちに示しているのは、私たちがすでにかなり良い仕事をしているということです...すでにさまざまなグループが何であるかを解明することができています。 シェパード図を見ると、
	Rの2乗が1で、
	直線、大丈夫。 繰り返しになりますが、それを視覚化するための良い方法であり、これでできることは他にもありますが、それはまた別の機会に残しておきます。
	さて、これまでのところ、
	データを取り込み、視覚化したので、前処理を行う必要があります。
	そして、私たちがやろうとしていることは、多かれ少なかれこれらを持っているので、ここにプレースホルダーがあるので、Savitzky-Golay分析を行い、少なくとも最初に、いくつかの標準的な通常の変種を行います派生物、わかりました。
	了解しました。これを少しクリーンアップしましょう。
	そうです、それを閉じてください。
	また、その生データを取得し、そのSavitzky-Golayアドインを使用して分析を行います。 だから、それは私にとってアドインの下にあります。
	そして、これは無料のアドインなので、あなたはそれを手に入れることができ、私たちはあなたのためにそれをそこに出します。 これもまた、生データを取得します。
	そうです。Savitzky-Golayの概要について詳しく知りたい場合は、ここにWikipediaのリンクがあります。これを使用できます。 ただし、これを使用して、すべての波長でデータを平滑化するのに役立ててから、その1次および2次導関数を取得します。 そして、私は言います、大丈夫です。
	これで、スムーズなデータが得られました。
	そして、1つは、必要に応じてこれを調整できることですが、私たちがやりたいのは、これを取ることです。
	そのウィンドウを少し広げます。
	Alrigh。
	それをしなさい。
	そして、ここで多項式、つまり多項式フィットの順序を試してみることができます。
	この場合、8次多項式に行くことは実際にはあまり違いはありません。 2番目のもの... 2番目の順序は問題ありません。 了解しました。それで、一次導関数からそのデータを取得できます。
	スムーズなデータを保存すると言ってください。そうすれば、それをデータテーブルに保存できます。 そして、私はすでにそれを行っているので、そのプロセスを示す必要はありませんが、データがそこからデータテーブルに戻されることを知っているだけです。
	それを閉じましょう。
	了解しました。これで問題ありませんが、最後のステップを実行する必要があります。 見てみましょう...そこに行く前に、戻って見てみましょう
	Savitzky-Golayデータ。 したがって、これは一次導関数データです。 私は再びこれを見たいと思います
	グラフビルダー、右。 そして、それは...そこにはあまり有望に見えませんが、並列プロットを実行しましょう、
	少し良くなります。 そしてそれをクリーンアップしてから、この結合されたスケールの並列マージを実行しましょう。これにより、データがさらに多くなります。
	ビジュアル...以前よりも優れたビジュアルですね。 それで遊ぶことができます。また、ここに独自のゼロラインを追加して、ピークが交差する場所をよりよく理解することができます。
	しかし、それはその一次導関数データです。 それは...あなたはグループを見ることができますが、彼らはそうではありません、あなたが知っている、あなたが本当により良いアイデアを得るために彼らに望んでいるように、彼らは完全に分離されていません。
	だから私たちはそこに設定されています。 そのデータはデータテーブルに戻ります。 それを締めくくります。そして、私が言ったことを思い出してください。標準の正規変量を実行するには、データをスタックする必要があるので、それを実行する必要があります。 まず、ここでいくつかのデータをサブセット化してみましょう。
	了解しました。
	これらすべてをサブセット化します。
	テーブル。 サブセット。
	すべての行。 選択した列、および大丈夫と言います。 了解しました。これで、そこに行くことができます。
	正しい。
	ええと、少なくとも、私たちは...データを分離していますね。 次に、データをスタックする必要があります。 繰り返しになりますが、これは、数式に必要なすべてのデータにフィルターを適用できるようにするためです。
	だからテーブルの下。 スタック。
	そして、これらは私たちが積み重ねている列です。
	右、行ごとにスタックします。
	残しておきたい列を選択します。
	その上に。 以降、
	申し訳ありません...この設定を取得するためだけにクリックしているだけですが、アイデアは得られます。 そこにたどり着くまでに何が必要かを人々が理解できるように、これを少しの間残しておきます。 だから私はこれを保存しました。
	あなたが知っている、今無題の12を参照してください。 これがスタックデータです。これで、その標準正規変量を実行できます。 そのための簡単な方法は、新しい列を作成することです。
	右クリック。
	そして、ここから、数式エディタからこの数式を作成する必要があります。 と呼ばれるこの統計ツールを使用します
	列の標準化、右。 そして、私がこれにカーソルを合わせると、ここで、これはあなたがそれで何をしているのかについての考えをあなたに与えます。 標準化とはどういう意味ですか？ だから私たちは行くつもりです...
	平均が0、標準偏差が1であるため、データを使用して、指定されたすべてのスペクトルに関して取得しようとしています。 したがって、データを取得する必要があります
	時々、その2変数を追加する必要があると言ったことを思い出してください。この場合、これがスペクトルになります。 大丈夫と言うつもりです。
	了解しました。これでデータセットが得られます。 今、これを行うためのより簡単な方法があります、または私が思うことはより簡単な方法ですが、それはまた可能性があります...
	少し時間がかかることもあります。 しかし、ここでスペクトルを右クリックすると、2変数が必要になるため、これを実行していることを思い出してください。 それで、新しい列情報に移動して、そのグループを作成します。
	そして、データ列を取得し、それを右クリックして、新しい数式列を作成します。
	標準化された配布と記憶にスライドします。 私たちは...だから私たちはそれが欲しい
	0の平均; 1の標準偏差。 それを選択すると、その新しい列が作成されます。 これの良いところは、データが一致していることです。それで、私はそれを正しく理解したことで安堵のため息をつくことができます。
	そうです、私はそれを持っています。 さて、これはここから必要になるでしょう、私はその列をクリックするつもりです、
	このデータを取得して分割し、通常のデータテーブルまたは初期データテーブルに戻します。 これでお見せしたいのは
	データをスタックしたら、他の視覚化を行うことができます。 だから私が...グラフビルダーに戻ると、このデータを取得したい
	に
	Y、それからラベルを引っ張るつもりです、そしてこれはすべてのバリエーションがどこにあるかを見るクールな方法です。 だからこれらはすべてです、
	ご存知のとおり、データの変化が見られる場所の箱ひげ図です。これは、何が起こっているのかを視覚化できる非常に優れた方法です。
	グラフビルダーを使用するもう1つの強力な方法であり、この場合、データをスタックする必要があります。 さて、あなたにもできることは
	ポイントデータを取得する場合は、それを削除して、ポイントデータをそこに配置すると、スムージングを実行できます。 これで個人がスムーズになり、すべてのデータの平均です。 私たちがやりたいのはそれをすることです
	Savitzky-Golayスムージングなので、引き込む必要があります
	オーバーレイ、右。 これがすべてのデータです。 今は見づらいですが、これを実行します。これが表示されることを願っています。よりスムーズに選択すると、Savitzky-Golayに切り替えます。
	そうです、そして私はあなたが...うまくいけば、それが今その線に合っているのを見たと思います、そのスムージング線はすぐそこにあります。
	これは、Savitzky-Golayを使用して、データを平滑化するもう1つの方法です。 次に、これを2次式に変更し、ここでローカルトリミングを実行して、最終的にそれをデータテーブルに保存することができます。
	とりあえずそのままにしておきます。
	このデータを分割して、データテーブルに保存し直す必要があったことを覚えておいてください。 分割手順を省略して、データに戻ります...元のデータテーブル。
	私はそれを必要としません。
	右そして私が
	グラフビルダーでデータをもう一度見てください。
	この標準正規変量グループを取ることができます、
	それをドロップします。 繰り返しになりますが、あまり有望に見えませんが、並列プロットを実行してから右クリックします。
	それらのスケールを組み合わせます。
	これが基本的に完成したスムージングです。 これで、すべての設定が完了しました。 ここでもゼロラインを追加できます。
	必要に応じて。 先に進んでそれを追加しましょう。
	ゼロと私たちはそれをある種の緑にします、
	それがあります、それを追加します。
	「わかりました」と言ってから、これを使用して、ピークがどこにあるかを把握します。
	そのゼロ点を超えたときの最大ピークに基づいて、わかりました。
	かなり、それだけです。 私たちに戻りましょう
	パワーポイント。
	したがって、結論として、前処理...データを前処理する必要がありました...データを前処理して、データをよりクリーンにし、より簡単に操作できるようにします。
	JMPでもどこに...
	JMPはこれを作っています...
	私たちはこれをはるかに簡単なプロセスにするために取り組んでいます。 JMP 16での前処理は、アドインと組み込み機能によってサポートされる予定です。
	JMP 17では、前処理、機能データエクスプローラーで提供されるもの、さらに高度なスペクトルおよびベースライン平滑化オプション、およびいくつかのピーク検出と選択を楽しみにしています。
	スペクトルデータを分析するために、どうぞ... 2020年にディスカバリーのために私が行った話がありました
	ミュンヘン。 これは仮想的な話でしたが、JMPを使用してスペクトルデータを分析する方法についての良いアイデアが得られます。
	そしてそれで、私はあなたに感謝を言うでしょう、そして、うまくいけば、あなたはすべて見つけました...これが役に立つと思います。 私にお知らせください。

サミットのベスト起こるデータアクセスと操作予測モデリング