55388_ja-JP

liliconcom

表形式データに潜む 10 の危険性

Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.データテーブルから予測モデルを構築しますか? 10人の悪役たちに注目してください。 画像はPixabyのprettysleepyから提供。

私はデータ サイエンス コンテストの世界にどっぷりと浸かっています。このコンテストでは、ブラインド ホールドアウト セットでの予測パフォーマンスによって、あなたとあなたのチームメイトがリーダーボードでランク付けされ、賞金とストリートでの信用がかかっています。 これらのコンテストで成功するには、時間を非常に効率的かつ賢く使う必要があります。途中で何百もの小さな決定やさまざまな方向性が考えられるからです。失敗したり時間を無駄にしていると、誰かがあなたを追い抜いていきます。 時には、危険が意図的にあなたをつまずかせようとしているようにさえ感じます。 なんだか現実の生活のように聞こえますよね？

私が学んだ優れた実践とデータの扱い方のおかげで、おそらくその 10 倍の間違いを犯してきました。 時間をかけて、私は常に注意し、対処すべき 10 の危険のリストを集めました。 で説明しているように、以前の投稿、データは決してきれいな状態で提供されることはなく、これらの問題は常に潜んでいます。 このリストは表形式のデータに焦点を当てていますが、問題の多くは画像、テキスト、その他の種類の構造データにも当てはまります。

これらの危険は非常に現実的で蔓延しているため、それ自体が邪悪な性格を帯びる可能性があり、実際、私は楽しみのためにそれぞれをスーパーヴィランに関連付けました。 以下の表で、これらの悪者がデータ テーブル上で自らの危険を悪意を持って擬人化している様子を想像できるかどうかを確認してください。  

 

危険	スーパーヴィラン	質問	答え	JMPプラットフォーム
1. 不適切な形状	神秘的、からの魅惑的で欺瞞的なシェイプシフター。エックスメン	ａ．テーブルは縦長ではなく、横幅が広く、積み重ねられていませんか? b.行はトレーニングおよび/または予測される個別の観測値に対応し、列はターゲットと特徴に対応しますか?	1. 目視検査 2. 必要に応じてデータの操作と再形成を実行します。	転置、分割、スタック、結合、更新
2. 間違った値	ジョーカーからバットマン、いつもあなたに悪いいたずらをしようとしています	ａ．データの値は正しいですか? b.間違いの原因は何でしょうか?	1. 視覚スキャン 2. 一変量、二変量、多変量のプロットと統計 3. 必要に応じて、元のデータ ソースを確認して検証します。	分布、グラフビルダー、多変量
3. 欠損値	ヴォルデモート卿からハリーポッター, 名前を付けてはいけない人は、不思議なことにそこにあるべき価値観を削除することができます。	ａ．値がランダムに欠損しているのか、それとも体系的なパターンがあるのか? b.欠損値パターンは予測可能ですか?	1. 欠落の程度とパターンを注意深く研究します。必要に応じて新しい機能を設計する 2. 欠損値インジケーターを作成し、それらが応答と相関しているかどうかを確認します 3. 注: 通常、勾配ブーストされたツリーには代入は必要ありません。	「分析」>「画面」>「欠損値の探索」、「列」>「再コード」、グラフビルダー
4. 無効な予測子	バーンズさんからシンプソンズ、あなたの人生を悲惨にする方法で利己的に計画を立てたり陰謀を企てたりする	ａ．将来予測に使用できない、または不適切な列はありますか? b.すべての潜在的な予測因子は科学的および倫理的に意味があるのでしょうか?	1. すべての列に目を通し、それぞれの意味を理解します。 2. 無効な列を削除するか、後で選択されないようにテーブルの先頭または末尾に移動します。	左側のパネルでマウスを使用して列 > 削除、列 > 並べ替え、列を移動
5. 高いカーディナリティ	マグニートーからX-メン、金属を含むあらゆるものを制御し、一度に大量の破片を投げることができます	ａ．レベル数が多いカテゴリ予測変数はどれですか? b.どのような数値エンコーディングが意味をなすのでしょうか? c.低頻度のカテゴリは折りたたむ必要がありますか?	1. 数と頻度を検査する レベルのカウント 2. 必要に応じてレベルを再コード化する 3. オーバーフィッティングを避けるためにターゲット情報を使用する場合は特に注意して、数値エンコーディングを計算します。	ディストリビューション、列 > 再コード
6. インライアとアウトライア	翼ある猿からオズの魔法使い、常に内側と外側を飛び回り、悪い魔女の邪悪な命令を実行します。	ａ．極端な値は妥当な範囲内にありますか? b.予想外に頻繁に繰り返される値はありますか?	1. ヒストグラムと分位数を検査する 2. 異常な値が正しいことを確認します 3. 対数変換を使用して実際に偏った連続分布を評価する 4. マハラノビス距離	分布、多変量、分析 > スクリーニング > 外れ値の探索
7. 重複したデータ	シャム猫からレディとトランプ、二重の邪悪な意図と迷惑なほどキャッチーな曲で	ａ．行や列が誤って重複していませんか?   b.同型の列はありますか? c. ID 値は行ごとに一意ですか?	1. 視覚スキャン 2. 双方向クラスタリング散布図マトリックス	サマリー、ソート、クラスタリング (行の場合)、多変量 (列の場合)
8. 応答の不均衡	ジャバ・ザ・ハットからスターウォーズ、彼の嫌な脂肪の下であなたを押しつぶしてスライムにするのが幸せです	ａ．どのような対応なのでしょうか？ b.二元または名目について、その比率は予測したい母集団を代表していますか? c.継続的な場合、その分散は意味がありますか?	1. 応答分布を検査する 2. 重み付け、オーバーサンプリング、アンダーサンプリングを検討します。必要なパフォーマンス指標に依存する可能性があります	[分布]、[列] > [新しい列] を選択して重み変数を作成します
9. トレーニングとテストの不一致	サウロンの目からロード・オブ・ザ・リング、あなたの最も内側の矛盾を見つけてそれを利用するためにあなたを常に監視しています	ａ．応答と予測子の分布は、トレーニング、検証、テストの分割全体で類似していますか? b.将来のテスト セットは範囲内に留まるのでしょうか、それとも外挿が本当に必要なのでしょうか?	1. 分割を示す新しい変数を作成します。それを使用してディストリビューションを動的に探索します 2. 低次元射影を使用してサブセットの構造を比較する	Y を X でフィットします。Y はすべての変数、X は分割インジケーターです。名目変数のモザイク プロットと連続変数の経験的累積分布比較を作成します。多変量
10. データ漏洩	ウルスラからリトル・マーメイド、彼女の漆黒のインクであなたを完全に盲目にし、望ましくない場所にインクを漏らす可能性があります。	ａ．トレーニング、検証、テスト分割の機能で、応答からの情報を不適切に使用しているものはありますか? b. ID 列は予測可能ですか?	1. 予期しない関係や、機能の漏洩を示す可能性のある手がかりを探します。 2. 漏れをさらにチェックするためのシンプルな機能を備えた新機能を設計する	Y by X のフィット、グラフ ビルダー、多変量、クラスタリング、列の選択 > 右クリック > 新しい数式列

 

特にそれらが共謀しており、カスタム コードを作成してデバッグする十分な時間がない場合、これらの厄介な問題の原因に一体どうすれば効率的に対処できるでしょうか? 最後の列には、 JMPそれらを処理するために私が毎日行っているルーチン、それは私の秘密の、不可欠な武器です。有名人からインスピレーションを受けて小さなスーパーヒーロー1950 年代と Apple MacIntosh の永遠に革新的なユーザー インターフェイスから、 JMPは、マウスによる統計とグラフィックスの超緊密な統合という主要な指針のもと、30 年間にわたって着実に改善を続けてきました。  

Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.データテーブルから予測モデルを構築しますか? 10人の悪役に注目してください。 画像はPixabyのprettysleepyから提供。

機械学習用にデータをクリーニングして準備する際に対処すべき 10 の危険に関する Russ Wolfinger のチェックリストをご覧ください。