Python と JMP の統合について詳しく知りたい場合は、まず、関連ビデオを視聴して、理解を深めてください (まだ視聴していない場合)。
JMP SE のグループが、JMP と Python を統合して、データのクリーニングやより高度な分析やモデリングなどの日常的なタスクを簡単に処理できることを紹介するブログ シリーズを開発しました。ビデオとブログで使用されている Python コーディングに協力してくれた Yasmine Hajar ( @yasmine_hajar ) と Wendy Tseng ( @wendytseng ) に特に感謝します。
このビデオでは、マウスと目だけを使って、潜在的な外れ値を見つけてデータ テーブルから削除する方法を説明します。また、欠損値を分析する方法や、必要に応じて代替値を代入して、データが欠損していない場合の分析結果を確認する方法も学びます。
JMP と Python は数年前から互いに補完し合ってきましたが、JMP 18 のリリースにより、Python 分析と JMP の優れたデータ視覚化を統合することがはるかに簡単になりました。ただし、これは私の偏見ですが、JMP でのデータ クリーニングは、コーディングという非常に基本的な理由から、Python よりもはるかに簡単です。
たとえば、JMP では、分布プラットフォーム内で単変量モードで、また多変量プラットフォーム内で多変量モードで外れ値を視覚的にスキャンできます。モデル駆動型多変量管理図プラットフォームを使用して、すべての対象データに対して Hoteling の T2 外れ値をスキャンする機能もありますが、これは別の機会に説明します。繰り返しになりますが、この機能の実際の動作を確認するには、付属のビデオをご覧ください。
とりあえず、Python のデータクリーニング オプションの一覧を以下に示します。
- 電子メール アドレス、電話番号、日付などのテキスト データから特定のパターンを抽出します。
- テキスト データから不要な文字または部分文字列を削除します。
- 特定のパターンまたは部分文字列を新しい値に置き換えます。
- すべての文字を小文字または大文字に変換してテキスト データを標準化します。
- テキスト データに基づいて重複を識別して削除します。
- 列の名前を、より認識しやすいラベルのセットに変更します。
- DataFrame 内の不要な列を削除します。
- DataFrame のインデックスを変更します。
最初の 5 つのオプションは、JMP の再コード オプションを使用して簡単に実行できます。さらに、[Cols] メニューのドロップダウンの [Column Names] オプションを使用すると、数回クリックするだけで列の名前を変更できます。
データ テーブル内の不要な列を削除するのは、目的の列を選択し、選択した列ヘッダーのいずれかを右クリックして [列の削除] を選択するだけです。
欠損値の検索と欠損データの補完に関しては、JMP が優れています。外れ値の検索と隔離も JMP では簡単です。以下をご覧ください。
以下は、JMP テーブルを開いて外れ値と欠損値を調べる Python コードです。その下には、データ フレームの画像と外れ値と欠損値の出力の一部があります。Python では、外れ値は絶対値が 3 より大きい Z スコアを使用して決定されることに注意してください。この基準に基づいて、Python はデータ テーブル内のほぼすべての連続列で外れ値を検出しました。
JMP で外れ値を解析するには、JMP サンプル データ インデックスの Arrythmia.jmp を使用する次の例に従います。[分析] > [スクリーニング] > [外れ値の調査] に移動します。
どのデータが本当に外れ値であるかを判断でき、数回クリックするだけで外れ値の範囲を簡単に再計算できます。監査証跡が残る可能性があるため、JMP ではデータ セットからデータを完全に削除しないことをお勧めします。JMP でデータを非表示にして除外すると、データ セットから削除せずに分析から除外することができます。Python でデータを非表示にするには、より多くのコーディングが必要になり、おそらく誰もデータを見ることができないことになります。
JMP で欠損値を調べるには、データ テーブルを開き、「分析」>「スクリーニング」>「欠損値の調査」に移動します。
