Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?通常、実際のデータ セットには、カナダ西部の天気、波、クマと同様に、あらゆる種類の落とし穴、落とし穴、落とし穴があります。 これらのデータクリーニングとデータ準備タスクを処理する方法と正確な場所は?
数年前、私は親友の 2 人、父と息子のスティーブとアーロンと一緒にカナダの荒野の冒険に出かけました。 私たちはすべてのギアをアーロンの使い古したピックアップに積み込み、ブリティッシュ コロンビア州の素晴らしいフィヨルドを北上して真っ直ぐ走り、遠く離れた手付かずの高山峡谷に降り立ちました。この峡谷は、香りのよい常緑樹の壁が長く深く透き通った湖を取り囲んでいます。
私たちが水上に出ると、天候が突然暖かく晴れたものから、不快で寒く強い風と雨に変わると、深い静けさと逃避の感覚がアドレナリンの急増に追い越されました. 私たちのカヤックとカヌーは白波で転覆しそうになり、私たちは猛烈に漕いで岸まで行かなければなりませんでした。 乾燥して再編成した後、次の4日間は壮観でした。私たちはずっと別の魂を見ませんでしたが、野鳥とヘラジカの素晴らしい動物園を目撃し、直火で鍋料理されたおいしい新鮮なコカニーを味わい、崖が氷の水に飛び込み、天然温泉で何時間も温め直しました。 アーロンが毎晩キャンプから遠く離れた場所で徹底的に掃除した食料を巧みに封印してぶら下げたおかげで、グリズリーを引き寄せることはありませんでした。 何度か悪天候に見舞われ、安全な避難所が見つかるまで骨の髄まで震えたのを覚えています。
私の合同統計会議の講演が最初のセッションだったので、帰国中の予期せぬ遅れのために、スティーブとアーロンは急いで親切にバンクーバーのダウンタウンのホテルに私を降ろしてくれました. 同僚の何人かが同時にチェックインしていましたが、汚れたギアをすべてけん引して完全に荒れ果ててひげを剃っていなかったので、「こんにちは」と言う前にトリプルテイクをしなければなりませんでした。 部屋で温かいシャワーを浴びて、これほど気分が良かったことを思い出したことはありません。また、素晴らしい屋外からの自然な高揚感に支えられた会議で、スタットの友人と再会するのも素晴らしい気分でした。
応用統計学とデータ サイエンスの間の途切れ途切れの海域を探索するために全力を尽くし、別の種類の長い旅から戻ってきた自分に今気づきました。 私の 2 年間の遠足では、Kaggle と DREAM でのデータ サイエンス コンテストを深く掘り下げる必要がありました。このような魅力的な形式を設定してくれたこれらの組織に感謝しています。 また、数え切れないほどの「不在」の時間の間に、家族、友人、同僚に多大な感謝の意を表したいと思います。かなりの数の人々が、成功事例と学んだ教訓を共有するよう私に勧めてきました。この長々としたブログは、これに対する最初の試みです。
自然に開始する場所は、データのクリーニングと準備です。 価値のあるものを構築するには、汚れて大きな混乱を招く必要がありますよね、子供たち？ 次に、クリーンアップする必要があります。 これは確かに優れたデータセットに当てはまり、よく準備された競争でさえ多くの問題を抱えています. 現実のデータ セットは、カナダ西部の天気、波、熊のように、あらゆる種類のわな、落とし穴、落とし穴があり、通常はもっと悪いものです。 これらをどのように、そしてどこで正確に処理し始めますか?
分割して征服し、一歩ずつ探索します。 これらの線に沿った 1 つの優れた新しいチュートリアルが、最近の5 日間のデータ クリーニング チャレンジKaggle の Rachael Tatman から。 これは、いくつかの興味深いデータ セット (不動産、キックスターター、自然災害、自爆攻撃) を Python ノートブックの実践的な詳細な例として使用して、いくつかの主な清掃トピックを親しみやすく詳細に扱っています。 これらを理にかなった順序と流れにまとめるために時間を割いてくれた Rachael と同僚に敬意を表します。
真に深く、効果的かつ効率的なデータ クリーニングの目的を達成するために、視覚的なインタラクティブな探索と、マウスを使用した機能的なポイント アンド クリックが非常に役立つことがわかりました。 ここで私が選んだツールはJMP . これは、表形式のデータを使用した Kaggle および DREAM の課題で成功するための秘密兵器です。 純粋なビジュアル パッケージや Python や R などのデータ分析言語には見られない、グラフィックスと統計のユニークで複雑な統合があります。 マウス駆動のビジュアル インタラクションとすぐに使える便利で豊富な分析ライブラリにより、コードを直接記述するよりもはるかに効率的に、隠れた問題を非常に迅速に発見し、汚れたデータをクリーニングできます。 さらに、シック クライアントである JMP は、複数のリンクされたグラフとオンザフライで構築されたダッシュボードでのマウス操作に即座に応答します。 JMPカスタム分析コードを作成する場合でも、新しい表形式のデータ セットを最初に確認するためのツールです。
JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP は、カスタム分析コードを作成する場合でも、新しい表形式のデータ セットを最初に確認するためのツールです。
ただし、大きな問題が 1 つあります。何かをきれいにするのが本当に好きな人はいますか? 私のデスク、コンピューターのデスクトップ、開いている多数のブラウザー タブを一目見ただけで、それが通常、私の最優先事項ではないことがわかります。 勾配ブースト ツリー モデルのアンサンブルやディープ ラーニング アーキテクチャの調整などの楽しい作業に取り掛かることができるように、他の誰かや AI ボットが私たちのためにこれを行うことはできませんか? 悲しいかな、すべてのデータセットは、思慮深い人間の注意を必要とする独自の一連の厄介な問題をもたらします。 ここでの秘密は、データを本当に理解することへの強い好奇心であり、物事を発見したときにそれを整理することであり、冒険心と、ディープ クリーニングはほぼ常により良いディープ ラーニングにつながるという自信を持っています。 ここでも、マウスは強力であり、時間とエネルギーを費やしてキーボードで 1 回限りのコードを常に入力してデバッグすることに比べて、これを楽しくすることさえできます。
まとめました詳細なクリーニングチェックリスト予測モデリング専用の新しいデータセットを見るたびに使用しており、例とともに比較的すぐに共有したいと考えています。 さらに、私の同僚である Don McCormack、Olivia Lippincott、Rob Carver、および Trevor Bihl による優れた JMP データ クリーニング資料へのリンクをいくつか示します。
