今日の製造業は競争が激しく、企業は効率を向上させ、コストを削減し、製品の品質を維持するための革新的な方法を常に模索する必要があります。この動的で複雑な環境では、統計分析ツールが業界で強力なツールとなっており、広く使用されているツールの 1 つがデシジョン ツリーです。デシジョン ツリーは、製品の欠陥分析から生産効率の最適化、サプライ チェーン管理や品質管理に至るまで、製造業のさまざまな問題の解決に役立つ強力な統計モデルです。この記事では、デシジョン ツリーとは何か、そのアプリケーション シナリオ、および変化する市場ニーズに対応するための使用テクニックについて説明します。
決定木とは何ですか?
デシジョンツリーとは、毎回一定のルールに従って特徴を選択し、その特徴の特定の値を閾値としてトレーニングサンプルをいくつかのサブツリーに再帰的に分割し、それらを同じルールに従って再帰的に分割する機械学習手法です。最後に、意思決定の分類に使用できるツリー分類器が取得されます。その主なアルゴリズムは、ID3、C4.5、CART などです。決定木は、教師あり学習を必要とする一般的に使用される分類方法です。教師あり学習では、分類結果が既知であるという前提の下で、サンプルのセットを与え、このサンプルのセットを取得します。新しいサンプルを予測して分類できるデシジョン ツリー。次に、誰もがデシジョン ツリーの分析的思考を理解できるように、簡単なケースを使用します。
デシジョンツリーのケース共有
次の 20 サンプルのデータセットがある場合、次の図 (1)「今日は週末かどうか」と「今日の気分はどうか」から、「映画を見に出かけるかどうか」を予測したいと考えています。
図1）
次に、このサンプルのセットと分類結果をトレーニングに使用します。プロセスを簡略化するために、決定木はバイナリ ツリーであり、次の図 (2) に似ていると仮定します。
図Ⅱ)
サンプルデータの研究を通じて、各変数ノードには週末、週末以外、良い気分、平均的な気分、悪い気分などの特定の判断指標があることがわかります。これを「しきい値」と呼びます。数値変数ノードの場合、閾値は一般に特定の値であり、例えば、年齢が30歳以上であるかどうかを判定する場合、30を閾値と呼ぶ。
決定木の生成は一般に 2 つのステップに分かれており、既知のサンプルの分類結果を学習することで達成されます。
- 一般に、変数のノードが結果の判断を下せない場合、そのノードを2つに分割するか、二分木でない場合は分割できなくなるまで多数に分割します。たとえば、このサンプル データでは、「今日が週末かどうか」では映画を見るかどうかを直接判断できませんが、「気分はどうですか」という新しい変数ノードを追加して、分割できなくなるまで分割します。
- 適切なしきい値を選択すると、誤分類率を最小限に抑えることができます。
一般的に使用されるデシジョン ツリー アルゴリズム
以前紹介したように、一般的に使用される決定木アルゴリズムには ID3、C4.5、CART (Classification And Regression Tree) があり、その中でも CART は他のアルゴリズムに比べて分類効果が高く、JMP でも使用されている手法です。次にそれぞれを紹介します。
ID3アルゴリズム
情報ゲインは、サンプル データのグループのゲインが大きいほど、分類効果が高くなります。情報獲得のプロセスは、実際には、エントロピー削減のプロセスであり、情報のカオスの度合いを定義します。ID3 モデリングのプロセスは、情報をカオスからシンプルに変えるプロセスでもあります。
上の例では、週末か気分かという 2 つの変数が言及されています。各変数ノードの分類効果がどのようになるかを見てみましょう。
- 「映画を見る」という決定を決定するための「今日は週末」: サンプルのうち 11 個が週末であると決定されましたが、最終的に 10 個のサンプルが映画を見ることを決定し、1 個は誤って分類されました。
- 「映画を見る」という決定を判断するための「機嫌が良い」: 6 つのサンプルは間違いなく機嫌が良く、6 つのサンプルは最終的に映画を見ることに決定し、誤分類は 0 件でした。
- 「映画を見る」という決定を判断するための「通常の気分」: サンプルのうち 6 つが通常の気分であると判断されましたが、最終的に 4 つのサンプルが映画を見ることを決定し、2 つのサンプルが誤分類されました。
最終的に、「機嫌が良い」は「映画を観ている」と誤分類率が最も低いことがわかり、これは情報獲得が最も大きいことを意味します。そのため、ID3 が決定木を構築する際には、変数の分割を優先します。 "今日の気分はどうですか"。
C4.5アルゴリズム
上記の ID3 アルゴリズムを観察すると、レベルの数が増えるほど、変数ノードを分割するときの誤分類率が低くなり、エントロピーが小さくなることがわかります。 「ID」を分割変数として使用すると、サブセットの純度が最高に達し (現時点では各サブセットにサンプルが 1 つしかないため)、情報ゲインが最大になります。しかし、明らかに、このような分割変数は予測には無意味であり、これは過学習とも呼ばれます。
したがって、分割カテゴリが多すぎるという「罠」を回避するために、C4.5 アルゴリズムは情報利得率を使用して分割条件を評価します。その結果、分割レベルの数が増加するにつれて情報利得率の分母が増加します。情報獲得率が低下します。 C4.5 アルゴリズムに従って分割すると、分割変数として「今日の気分はどうですか」というより単純な部分集合が得られますが、「良い気分、平均的な気分、悪い気分」の 3 つのレベルがあり、情報獲得率が決まります。 「今日が週末かどうか」という変数よりも低いので、C4.5では「今日が週末かどうか」を分割変数として優先します。特定の情報獲得率アルゴリズムについては、この記事では詳しく説明しません。
カートアルゴリズム
CART アルゴリズムは C4.5 アルゴリズムに非常に似ていますが、特定の実装およびアプリケーション シナリオでは若干異なります。CART アルゴリズムはカテゴリカルなターゲット応答だけでなく、連続的なターゲット応答も処理できます。これがその理由の 1 つです。は分類および回帰ツリーと呼ばれます。ID3 アルゴリズムは分類応答のみを処理できます。つまり、分類ツリーを構築することしかできません。
CART は回帰ツリーにすることができます。理想的には、各子ノードにカテゴリが 1 つだけある場合に分類を停止する必要がありますが、大量のデータを完全に分割するのは容易ではなく、完全に分割するには多くの分割が必要となり、必然的に実行時間が長くなります。そのため、CART は分類できます。分析のデータはその平均標準偏差であり、標準偏差が特定の値より小さい場合、分割を終了することができるため、計算コストが削減されます。
CART アルゴリズムは純度の尺度としてジニ指数 (分類ツリー) と標準偏差 (回帰ツリー) を使用しますが、ID3 アルゴリズムは純度の尺度として情報エントロピーを使用します。また、母集団に含まれるカテゴリーが複雑になるほど、ジニ指数は大きくなります。 CART アルゴリズムはバイナリ ツリーのみを構築できますが、ID3 および C4.5 アルゴリズムはマルチツリーを構築できます (注: バイナリ ツリーを構築することだけが、応答変数が 2 レベル変数のみを選択できることを意味するわけではありません。CART アルゴリズムは、複数のレベルを結合してバイナリ ツリーを出力する原理)。
CART には、過学習という小さなセグメント化の問題がいくつかあります。この問題を解決するために、特に長い木は剪定され、直接切断されます。もちろん、一部の相互検証方法は、過剰適合の問題を防ぐためのデシジョン ツリーの構築を支援するために使用することもできます。
利用ジャンプ行為カートモデル構築
JMP 分析、予測モデリング、セグメンテーション (つまり、デシジョン ツリー) を使用すると、CART モデルを迅速に構築し、ツリーを形成できます。 JMP では、分類ツリーに G² (尤度比カイ 2 乗、ジニ指数と同様) が使用されます。G² が小さいほど、純度が高く、分類効果が高くなります。以下の図 (3) に示すように:
図 (3) は、[セグメンテーション プラットフォーム] ダイアログ ボックスに応答変数と因子を配置する方法を示しています。
上の図 (4) の CART 分類ツリーは、「映画を見るかどうか」の決定において、「今日が週末かどうか」が最も重要な変数であり、G² が最も早く低下する原因となる変数でもあることを示しています。 。次に、「今日は週末です」というブランチを分割すると、G² が 0 のサブブランチを取得できます (週末で機嫌が良い、つまり、100% 映画を見ることに決めています)。という目的は分離不可能であり、分類ツリーが構築されます。これは、JMP を使用してデシジョン ツリーを構築するプロセスです。皆様のお役に立てれば幸いです。
>> ハウツー ビデオ: JMP を使用してデシジョン ツリーを描画する
>> 詳細: JMP を使用した予測モデリングと機械学習
>> JMP をダウンロード: ソフトウェアを 30 日間お試しください
