自動データ代入: 欠損値を処理するための JMP® Pro 14 の多用途ツール (US 2018 130)レベル: 中級
Milo Page 氏、SAS、JMP 研究統計開発者
JMP Pro 14 には、新しい自動データ代入 (ADI) ユーティリティが含まれています。これは、多用途で経験的に調整された、ストリーミングの欠損データ代入方法です。 予測モデル フィッティングの前処理ステップとして欠損データを処理する場合に推奨します。 経験的にデータセットに合わせて調整し、データが欠落している場合でも、基礎となる構造を抽出します。 また、トレーニングと検証のパーティションを尊重し、予測モデルとシームレスに連携します。 これは、強力なマトリックス補完メソッドを使用して開発されており、堅牢性と柔軟性を高めるためにいくつかの拡張機能が追加されています。 この講演では、ADI が適切な場合と、JMP Pro 14 での ADI の使用方法に焦点を当てます。 また、欠損値を含むデータを処理するための推奨ワークフローの概要を説明し、いくつかの例で ADI のパフォーマンスを示します。
予測モデリング起こるRe: 自動データ代入: 欠損値を処理するための JMP® Pro 14 の多用途ツール (US 2018 130)こんにちは、フェリーチェさん
私はマイロの博士号を取得したので、あなたの質問にお答えします。 JMP Pro での ADI の作成につながった研究のアドバイザー。
よく理解できれば、欠損値を代入するためにトレーニングセットとテストセットのデータを分割すると言っています。 データを分割したら、トレーニング データにのみ ADI メソッドを適用しますか。
ワークフローは、Make Validation Column プラットフォームに移動して、行をトレーニング/検証セットに分割するデータテーブル列を設定することです。 Explore Missing Values を起動するときに、その列を検証ロールに設定します。 ADI アルゴリズムは、PCA タイプのモデルをトレーニング セットに適合させ、検証セットを使用して、次元削減の最適なランクを特定するなどの目的でモデルを調整します。
では、検証とテストセットでは何をするのでしょうか?
モデリング プロセスの次のステップでニューラル ネットワークやブートストラップ フォレスト モデルなどの教師あり学習アルゴリズムのフィッティングに進むときは、同じデータのトレーニング/検証またはトレーニング/検証/テストの分割を使用することをお勧めします。 代入は、予測モデリング コンポーネントと同様に、モデリング プロセスの一部です。 教師あり学習ステップでトレーニング/検証/テスト セットに同じ行の分割を使用することは、モデリング演習全体の適合度について同程度の独立した評価を確実に行う方法です。
ストリーミングに代入された検証/テスト セットとは何を意味しますか?
おそらく私たちの言語はここでは明確ではありません。 何が起こるかというと、ADI は既存の列の代入バージョンを作成する数式列を保存します。 これは、Tables<
このプロセスは、データ ADI のトレーニング/検証/テスト部分で即座に発生します。 したがって、欠落しているセルについてあまり心配することなく、列の代入されたバージョンを使用してモデリングに直接進むことができます。 ADIはかなり賢いですね。 検証行を使用して、使用される次元削減のランクを決定します。 列が独立している場合、または線形ランク削減するには乱雑すぎる場合は、それを判断し、単純に列のトレーニング平均を代入します。
Re: 自動データ代入: 欠損値を処理するための JMP® Pro 14 の多用途ツール (US 2018 130)@マイロSASを辞めました。 多分@chris_gotwalt1ここで答えられます。
Re: 自動データ代入: 欠損値を処理するための JMP® Pro 14 の多用途ツール (US 2018 130)チャオミロ
あなたのPDFファイルはとても興味深いと思いました。
以下のこのスライドで報告されているプロセスについて詳しく教えていただけますか?
よく理解できれば、欠損値を代入するために、トレーニングセットとテストセットの前にデータを分割すると言っています。 データを分割したら、トレーニング データにのみ ADI メソッドを適用しますか。 正しい？
では、検証とテストセットでは何をするのでしょうか?
ストリーミングに代入された検証/テスト セットとは何を意味しますか?
ご協力いただきありがとうございます。フェリーチェ
