Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.仮想的、まばらな、欠落している、または偽のデータ -- それはゴースト データです。 驚かないでください、とジョン・ソールは言います。 それに対処する方法を学びましょう。
データはあらゆる場所に存在し、その速度、量、多様性により、統計的な発見をしようとする科学者やエンジニアにとっての課題はますます増大しています。
しかし、まったく別の種類のデータもあります。ジョン・サルSAS のエグゼクティブ バイスプレジデント兼共同創設者である 氏は、データ探索者は次の点に注意する必要があると考えています。ゴーストデータ–そこにないデータ。
ゴーストデータは、ジョンの基調講演のテーマでした。ディスカバリーサミット2017ミズーリ州セントルイスにある。 John は JMP 開発チームを率い、引き続き JMP の主任アーキテクトを務めます。デスクトップ統計検出ソフトウェア。
科学者やエンジニアは 4 種類のゴースト データを扱うことが多いと彼は言います。 ここでは、それらが何であるか、そしてそれらに対して何をすべきかについて説明します。
1. 仮想データ
仮想データは、探すか必要になるまで存在しないデータです。 このタイプのゴースト データは、データ テーブルを乱雑にしないため便利です。 2 つの例は、変換列と仮想結合です。 JMP 。 変換列を使用すると、実際に新しい列を作成しなくても、グラフを作成するのにちょうどいいタイミングで列の変換バージョン (たとえば、対数変換または 2 つの列の比率を取得) を具体化できます。 これにより、データ テーブルがクリーンな状態に保たれ、メモリも節約されます。
仮想結合を使用すると、キーによってテーブルをリンクできるため、実際に結合を行わなくても、メイン テーブルから補助テーブルの列にアクセスできます。 これは、特に物理結合に幅×高または高×幅のデータ テーブルが含まれる場合に、テーブルの保守性とメモリ使用量に役立ちます。
2. スパースデータ
スパース データとは、データ ポイントが存在しないことを意味するゼロの状況です。 これはゴースト データの一種でもあり、効果的に利用すると、アルゴリズムによってスキップされて計算が大幅に高速化されます。 スパース データの一例は、テキスト分析における文書用語マトリックス (DTM) です。 文書のコーパス内で個々の単語が使用される頻度は非常に低いため、DTM はまばらです。 (ここには幽霊データのコーパスに関するジョークがあるような気がします。)
主成分分析 (PCA) などの多変量手法はこのスパース性を利用でき、JMP の PCA プラットフォーム内でスパース手法が選択された場合、2,000 ワードの DTM での分析の実行時間は 10 分から約 1 秒に短縮されます。 スパースメソッドは、PCA、判別分析、テキストエクスプローラー、混合モデルなどの JMP 全体にあります。
3. データの欠落
多くの科学者やエンジニアは、欠落データに定期的に対処していると報告しています。 このタイプのゴースト データは、私たちが知らない、または存在しないデータです。 データが欠落する理由は数多くあります。センサーの故障、ネットワークのダウン、被験者がアンケートの質問への回答を拒否したなどです。 しかし、データが欠落しているからといって、それが役に立たないというわけではありません。 JMP のモデリング プラットフォームの多くは、単に観察結果を破棄するのではなく、この「欠落」を利用してより良いモデルを構築できます。 たとえば、Partition プラットフォーム、Fit Model、Neural はすべて、情報欠損として知られるものを利用することで、欠損を予測子として使用できます。 モデリングで情報欠損を使用することに加えて、外れ値の探索と欠損値の 2 つのモデリング ユーティリティを利用することもできます。 これらを使用すると、データ内にあるものの欠損とみなされるべき値 (マシン エラー コードなど) を欠損値に変更して、モデルの予測に影響を及ぼさないようにすることができます。 または、欠損値を代入して、どのような値になるかを推定することもできます。 欠損値を適切にトリアージして処理することで、重要な洞察を逃すことがなくなります。
4. ふりデータ
最後の種類のゴースト データは、私たちが作り上げたデータです。 ふりまたはシミュレートされたデータは、仮説をテストしたり、実験計画に応答を検出するのに十分な検出力があるかどうかを判断したり、因子の変動に対してプロセスを堅牢にするために使用できます。 重要な質問に答えるためのデータを作成するシミュレーション ツールは、JMP のさまざまな場所にあります。 プロファイラーにはモンテカルロ シミュレーションが組み込まれています。 DOE プラットフォームでは応答シミュレーション オプションを使用できます。 JMP効果を検出するのに十分な実験が行われたかどうかを確認するために、予想される効果サイズと誤差の推定値も併せて表示します。 右クリックでシミュレーション機能を使用できます。 JMPプロこの検出力分析または階層ベイズの MCMC をさらに深く掘り下げて、個々の被験者と、選好構造に基づいて他の被験者とどのように異なるかを調べます。
データを調査する科学者やエンジニアに対して、ジョンは次のようにアドバイスしています。「私たちはデータの世界の探偵です。 私たちは、存在しないもの、つまりゴーストデータをうまく扱う方法を学ぶ必要があります。 そうしないと、非効率になったり、間違った結論に達したり、発見を見逃したりする可能性があります。」
あなたは見ることができますジョンのスピーチの録音ここJMPユーザーコミュニティにあります。
