私が使った JMP 最近探検する FAA ドローンデータセットと呼ばれる毎週のデータ視覚化の課題に触発 52Vis 。データセットには「無人航空機の報告（ UAS パイロット、市民そして法執行機関からの目撃情報 "私は時間データの調査に焦点を合わせることにしました。時間データをどのように準備したか、その中にあるいくつかの品質問題に気付き、それに応じて分類した方法について説明します。幸いなことに、JMPはビジュアルデータのクリーンアップを簡単にします。
データを準備する
データは2つの別々のExcelファイルで提供され、JMPのExcelインポートUIはデフォルト設定でそれらをインポートしても問題ありませんでした。しかし、列名は少し面倒で、お互いに一致することすらありませんでした。
一致するように列名を整理してから使用しました連結する下テーブル一方のデータテーブルを他方のデータテーブルに追加するためのメニューです。連結する列が異なる順序で並んでいることさえ処理しました。
品質問題を見つける
私はデータで遊び始め、時間フィールドでいくつかの品質問題に気付きました。私は新しい列を作成し、そこから時刻を抽出します。日付時刻列を作成してヒストグラムを作成します。私はそれを呼んだ時刻テーブル私は一日のうちに別の時間を計算するからです。
最も顕著な特徴は深夜の急増です。明らかに欠損値コードとして、正確に午前12:00と報告されていることがたくさんあります。第二の特徴は、正午には小さいが大幅な減少です。おそらく、正午の一部の時間帯にAM / PM部分の符号が誤っていて、真夜中の時間帯に一部の正午時間帯が表示されています（欠損値の時間帯に加えて）。
それ以外の分布は見栄えがいいですが、予想より夕方にシフトしているようです。時間の値を品質チェックする方法がいくつかあっただけで...
GMTの抽出
実際、時間の値を品質チェックする方法があります。の報告書列にはインシデントを説明するフリーテキストが含まれ、多くの場合24時間のGMTでの報告時間が含まれています（Zサフィックスに注意してください）。
それでは、GMT時刻を抽出して、表の時刻と比較しましょう。レポートテキストの「Time：」と「Z」の間の数字を抽出するために、正規表現に基づいて新しい数式列を作成します。
もう1つはJMP時間値（秒数）に変換します。
新しい時間列が呼び出されます時刻抽出されたZ そして、散布図のテーブルタイムと比較すると、興味深いパターンがいくつかわかります。
2本の対角線を追加しました。オレンジ色のものはESTに対応し、その近くの対角線のクラスタは他の米国のタイムゾーンです。灰色の対角線は、表内の時刻がGMTと同じ場所です。それらがたくさん！奇妙なことに、午後1時（1300Z）時間前に起こるものはほとんどありません。これは、米国でのGMT監視時間には妥当だと思われますが、現地時間には妥当ではありません。
時間を分類する
現時点では、時間は3つのカテゴリに分類されると考えることができます。
行方不明 - フリーテキストにGMTタイムがありませんでした同じ - GMT時間は「現地時間」と同じオフセット - GMT時間は現地時間からのオフセットであり、通常は米国にとって妥当なものです。その分類を計算するために2つの列を追加し、次に各カテゴリのヒストグラムをプロットしました。
これで、同一カテゴリが現地時間を夕方に歪めていたことがわかります。オフセットカテゴリは、日中の時間帯でより予想されるピークを持ち、GMT時間が欠落していた時間とよく一致します。後者の両方ともコーディング問題のために12:00 AMスパイクと12:00 PMドロップに苦しんでいます。同一カテゴリの分布がほぼ一様である理由は不明です。1つは東海岸用、もう1つは西海岸用の2つのオフセット正規分布の組み合わせです。
結論
抽出されたGMT時間を考慮することによって、さらなる時間ベースの分析のために疑わしい時間値を除外することができます。 つまり、GMTから相殺される現地時間により多くの信頼があります。そして、GMT時間が足りない人たちは同じような分布をしているので、私たちは同じような自信を持ってそれらを使うことができます。
52Visの課題はスクリプトソリューションを対象としており、幸いJMPはインタラクティブとスクリプトの両方のスタイルのインターフェースを提供しています。私の最初の探索では対話式インターフェースを使用しましたが、私はすべてのステップを再現するという課題のためにJMPスクリプト言語（JSL）でスクリプトを作成しました。興味のある方は、JSLをこの記事の以前のバージョン GitHubで。
もう少し...
ほんの数カラムのデータしかなくても、さらに検討する必要があります。あなたが使用することができますジオコーダーアドインマッピングのために都市/州を経度と緯度に変換します。
そして、あなたは私が示した報告書テキストの高度データに気づいたのですか？多くのレポートには高度データがあり、時には無人航空機の外観やサイズに関する情報もあります。
