たぶん…でも、面倒なデータはもっと大した問題です。
過去1年ほどでビッグデータが主流になりました。私はこれを知っています BBC それをカバーするいくつかのプログラムを作成しました。私が聞いたことは、ビッグデータとは何か、そしてなぜそれが重要なのかについて明確な定義がないことです。私が人々にビッグデータがあるかどうかを尋ねると、彼らは何千行も何百万行ものデータまたは観測を持っているかどうかにかかわらず、「はい」と圧倒します。だから誰が正しいですか？場合によります。
今日、統計ソフトウェアのようなデスクトップの力を最大化するように設計されたものを含め、 JMP Pro 、数百万行のデータセットを簡単に処理できます。もっと重要なのは列の数です。とても背が高いそして非常に広いデータセットは本当に大きいです。これらは、有用なモデルを構築するためのサンプリング、デスクトップコンピュータの能力の範囲内でモデル構築をもたらすことなどの標準的な統計的方法を必要とし得る。
それでは、ビッグデータを簡単に管理できるとしたら、今日のアナリスト、エンジニア、科学者が直面する本当の課題は何でしょうか。私たちは最近MarlowとEdinburghで開催された2つのモデル構築セミナーで参加者を調査し、興味深い発見を見つけました。参加者全員が乱雑なデータを持っていました。
面倒なデータを最大限に活用する
欠けているデータ、空のセル、外れ値、間違ったエントリがあると、データが乱雑になります。ロジスティック回帰や線形回帰などの従来の統計的手法では、セルが欠落している行は破棄されるため、モデルが悪くなります。外れ値もモデルを破棄し、あまり有用ではありません。
ジョン・ソールで「有益な欠落」と呼ばれる乱雑なデータを扱う新しい方法を議論しました彼のブログ記事 。これは、データを補完することを超えて、欠けているデータを新しい領域に利用することを意味します。例としては、貧しい信用履歴を隠すために融資申請者が申請の一部を空白のままにすることが考えられます。これは、クレジットアナリストがモデル化するための重要な発見です。製造現場で作業している場合は、結果が文字通りスケール外であったためにデータが欠落している可能性があります。これは、モデルに取り込むのに役立つ情報となる可能性があります。化学的性質に基づいて物質の活性をモデル化している場合、測定された温度範囲で物質が分解していないと考えられる場合は、分解温度などのデータが不足している可能性があります。したがって、この情報をモデルに含めると、アクティビティの予測が良くなります。
シュリンクメソッドと呼ばれる新しいクラスのモデリング手法があります。これは、適切に予測できるモデルを提供するように設計されています。そして入力変数間に強い相関がある場合でも、変数の数が最も少なくなります。の一般化回帰パーソナリティにより、Fit Modelプラットフォーム内からこれらの方法を使用できます。Informative Missingと一緒に使用すると、モデルを構築するときにデータのすべての行を使用するという厄介なデータがあっても追加の利点があります。
決定木ベースの方法分割が発生するポイントは偏っていないので、外れ値を扱うのに適しています。JMP Proユーザーは、これらの理由でデータを消去する必要なしに有用なモデルを構築していると言っています。有益な行方不明 ：堅牢なモデリング手法を使用すると、データクレンジングをスキップできる可能性があります。そしてまだ良いモデルを作ります。今それは本当に革命的です。デシジョンツリーには視覚的であるという追加の利点もあります。これにより、結果を実行担当者に説明できます。
厄介なデータがある場合はどうすればいいですか？
JMP Proはの厄介なデータを処理するように設計されたソフトウェア。
私達はこのソフトウェアの新しいユーザーのためにイギリスで独占的で実践的なワークショップを運営する予定です。 6月12日だから、あなたがマーローで私たちに参加したいのなら、お知らせ下さい 。
JMP Proがこれらの問題にどのように対処しているかを上司に確認してもらいたい場合は、上司に参加するよう依頼してください。ウェブキャストに 4月3日 2つのケーススタディを示す予定です。
バーナードマッケウン書きました：
あなたは正しいフィルです。セミナーへの参加者の調査も同様にこれを確認します。これがこれらのテクニックがとても役に立つ理由です。
フィルケイ書きました：
乱雑なデータを絶対に持っていない人はいませんか。
私自身の経験からすると、小規模の試験と実験計画法は通常、あまり問題なく完全なデータセットを作り出すでしょう。ただし、データマイニングと予測モデリングの分野に入ると、常にデータには厄介な側面がいくつかあります。
フォルカークラフト書きました：
Mikeさん、こんにちは。あなたがイギリスにいると仮定して、私はいくつかの良いニュースがあります。今、私たちは高校でSTEM関連の授業をJMPパッケージでサポートする機会を模索しています。あなたが最新の状態に保ち、高校教育におけるあなたの要求についてもっと学ぶために、あなたが連絡を取ってくれれば幸いです（volker.kraft@jmp.com）。
バーナードマッケウン書きました：
こんにちはマイク、これはJMP Academic Suiteの中核製品であるため、多くの学校が現在JMP Proを使用しています。あなたはより多くの情報を見つけることができます： http://www.jmp.com/uk/academic/ 。私はあなたがアメリカにいると思いますよね？もしそうなら、Curt Hinrichsがお手伝いします。ヨーロッパにいるならば、ボルカークラフトは正しい人です。Volkerの詳細は次の場所にあります。 http://www.jmp.com/uk/software/buy-jmp-academic.shtml 。
マイク・クレイトン書きました：
どうもありがとう。
学生はこれらのより高度な方法を学ぶ必要がありますが、学校はJMP Proをサポートしていません、それでは無料のウェビナーが高校のSTEMクラスが恩恵を受けることができる方法で新しい概念をデモするチャンスは何ですか？
