テキストデータのクリーニングは、統計および分析における魅力的ではありませんが重要なステップです。手動で入力したデータには、つづりの誤り、誤字、矛盾がたくさんあります。2つのデータソースがフォーマットに同意しない場合、機械生成データでも問題を引き起こす可能性があります。データを分析する前にエラーを修正する必要があります。これは、わずかな違いで2つのテキストがコンピュータとは異なるように見えるためです。2014年ニューヨークタイムズ記事データ科学者はデータのクリーニングに時間の50〜80％を費やすと推定しています。
データのクリーニングは重要なステップであると認識しています。そのため、JMP 12には、簡単にするためのいくつかの新機能が追加されています。オーバーホールされたRecodeコマンド JMP そのうちの一つです。自動データクリーニングアルゴリズムと手動クリーニングタスク用の改良されたユーザーインターフェースでRecodeを拡張しました。
Recodeの新しい「Group Similar Values」コマンドは、小さなデータ入力エラーを自動的に修正します。タイプミスや矛盾する綴りは、その他の点では同一のテキスト内に、少数の欠落、余分な、または誤った文字として表示されます。たとえば、スペルミスの「リズム」は、「i」の文字を削除することで「リズム」に修正できます。類似値のグループ化は、データテーブル内のそのようなエラーを識別し、それらをグループ化して、グループの正しいつづりを推測して最善の推測を出力します。空白、句読点、大文字と小文字の区別だけでなく、差異のしきい値を手動で制御できます。
自動ツールは多大な労力を節約しますが、常に正しい答えを得ることはできません。そのような場合は、手動編集用にユーザーインターフェイスを再設計したため、大規模なデータセットを扱いやすくなり、記録された値が正しいことを確認できます。
一部のグループが折りたたまれたグループ類似値の結果を示すRecodeのスクリーンショット。
Recodeの新しい「Grouped Display」は、2つの異なる文字列が同じ文字列に再変換されたときにそれを明確にします。グループは検索クエリによって折りたたまれたりフィルタされたりすることができるため、大きなデータセット内の関心のある領域に簡単に集中できます。右クリックメニューでは、グループの作成と分割を手動で制御できます。すべての操作は元に戻すことができます。
最後に、繰り返しのデータクリーニング作業のためにRecodeスクリプトを保存、ロード、変更、および結合するための多くの新しい方法を追加しました。スクリプトはデータテーブルに加えてスタンドアロンファイルに保存することができます。Recodeダイアログでスクリプトをロードすると、現在のテーブルデータに対するスクリプトの効果が表示され、さらに編集することができます。ロード時または保存時にスクリプトをインテリジェントにマージできます。
編集者注： この投稿は、の一部です JMP 12の一連のプレビューソフトウェアを開発する人々によって書かれました。
メルビンアレクサンダー書きました：
私は最近データテーブル（埋め込みスクリプトを含む）とスライドデッキを発表しました。SVD（）関数など）
プレゼンテーションは次の場所にあります。
https://community.jmp.com/docs/DOC-7473
お役に立てれば
ジェームズ・プリス書きました：
こんにちはマイケル、あなたのフィードバックをありがとう。データベースやExcelからインポートされたデータをクリーンアップする例は今のところありません。トピックは次のリリースのための私達の提案リストにあります。それまでの間、JMP 12の後にRecodeに関するより詳細な投稿があるでしょう。あなた（または他の読者）が共有したいサンプルデータまたはテキストクリーニングの問題がある場合は、 JMPユーザーコミュニティお客様のデータクリーニングニーズについてさらに詳しく知ることができます。
マイケルクレイトン書きました：
厄介なデータを分析しやすくするための努力をありがとう。
HELPツールも更新されることを願っています、そしておそらくいくつかの新しいチュートリアル、ケーススタディなどがDBやExcelから（通常）乱雑なデータを移動し、必要に応じてそれを再編成するための何らかの方法に関するものです。
