分類問題みなさん、こんにちは2021年。
添付のxlsファイルで報告されているように、グループ（oおよび1状態）と呼ばれるバイナリ応答の分類問題に取り組んでいます。 全体として、13の予測子があり、そのうちの2つはカテゴリカルです。 この表は、クリーニング、特徴選択、およびクラスタリング（照合を削除するため）の結果です。 グループ状態1であるため、0に対して非常に不均衡であるため、SMOTE + TOMEKアドインを使用して応答のバランスを取りました。 追加された行は、[ソース]列で認識できます。 結果が添付のpptファイルにあるいくつかの分類モデルを実行しました。NNはR2が最も高く、誤分類エラーが少ないものですが、ナイーブベイズは約0.2の誤分類エラーがある最悪のものです。 誤化エラー（過剰適合）が0のモデルが怖いので、あなたの意見の中で最も信頼できるモデルはどれですか（一度展開されたモデルでも同じ誤分類エラーが発生します）？
ありがとうフェリーチェ
分析Re：分類の問題あなたの結果をざっと見たときに気づいたことがいくつかあります。
まず、これはJMPコミュニティであるため、ExcelファイルよりもJMPファイルの方が適しています。 結局のところ、私が最初にしたことは、データをJMPに入れて、それが見えるようにすることです。 さらに、試したオプションを確認するために再実行できるスクリプトとして、さまざまなモデルを保存することもできます。
応答のバランスをとるためにSMOTE + TOMEKをどのように実装したかはわかりませんが、応答のバランスをとる方法は他にもあります。 オーバーサンプリングしたり、より一般的なケースのいくつかを無視したり、応答の層化サンプリングに基づいて行をトレーニング/検証/テストに割り当てたりすることもできます。「完璧な」モデルに関心がある場合でも、これらのモデルが取り上げられる可能性があります。バランシングがどのように行われたかについて？ アルゴリズムがバランシングを行っている場合、モデル/アルゴリズムがそれを説明できる可能性があります。
バランス調整がモデリング作業に影響を与えないと仮定して、データをトレーニング、検証、およびテストに分割しました。 テストセットは実際のパフォーマンスを示している必要があるため、過剰適合が発生しているとは思われません。 テストセットは、フィッティングプロセスではまったく使用されません。 モデルが良すぎると思われる場合は、データ（特にテストセット）がプロセスを代表していることを確認してください。
検証値のない89行があります。 どうして？ それらの行を分析から除外していますか？ どうして？
ブーストされたツリーのデフォルト値をすべて使用したようです。 デフォルトのブーストされたツリーには50のレイヤーがあり、最終結果は50のレイヤーすべてが使用されたことを示していることに注意してください。 つまり、ブーストされたレイヤーを増やすことで、より良いツリーを作成できます。 これは、非常に多くのレイヤーを指定した場合の結果です。
サポートベクターマシンも、誤分類率に応じて完全に適合しました。 考えてみませんか？
モデルに真に自信を持つ唯一の方法は、新しいデータでモデルを使い始めることです。 3つすべて（より階層化されたブーストツリー、ニューラルネット、サポートベクターマシン）を進めて、どれが本当にうまく機能するかをデータに判断させてみませんか？
Re：分類の問題チャオダンはあなたのメールをありがとう。
あなたが正しいxlsファイルについて。 次回は、Excelファイルの代わりにjmpファイルを共有します。
Smoke + tomekアドインはモデルに影響を与えません。 それがある場合とない場合のパフォーマンスはまったく同じです。
私が開発したモデルのいくつかでは、JMPによって提案されたハイパーパラメータ値のみを使用しました。 あなたが正しいです。
参照している89のインスタンスは、モデルの開発には使用されていません。これらの見られない89の例（テストグループを除く）でもモデルのパフォーマンスを確認しました。 また、この場合、モデルはトレーニング/テストグループで見られる良好なパフォーマンスを確認しました。 すべてが順調のようです。
モデルの信頼性を確認する唯一の可能性は、展開を実行し、見えないデータのパフォーマンスを確認することです。
