JMP ユーザーおよび JMP チームの皆様、こんにちは。
このウィッシュリストリクエストのきっかけは何ですか?
クラスタリングのさまざまなアプリケーションや利用可能なさまざまな手法 (K 平均法、ガウス混合法、DBSCAN、階層型など) についてさらに詳しく学ぶうちに、JMP で利用できるプラットフォームとメトリクスについて議論してほしいという希望がいくつかありました。
- 主なさまざまなタイプのクラスタリング (重心ベース、分布ベース、階層ベース、密度ベース) を見てみましょう。クラスタリングアルゴリズム |機械学習 | Google 開発者)、JMP は 4 つの主要なクラスタリング タイプのうち 3 つ (それぞれ K 平均法、正規混合クラスタリング、階層的クラスタリング) をカバーできるようですが、密度ベースのクラスタリングはカバーできません。 このトピックは、2021 年からすでに JMP ウィッシュ リストに含まれていました。密度ベースのクラスタリング - JMP ユーザー コミュニティ
- どのクラスター数が最も合理的であるかを知るために「評価」メトリクスを確認すると、プラットフォーム間にいくつかの違いがあります。
- 階層的クラスタリングの場合、評価メトリックは距離ベースです。
- K-Means クラスタリング (セントロイド クラスタリング) の場合、評価は 3 次クラスタリング基準 (CCC) を使用して分散に基づいて行われます。
- 正規混合 (分布クラスタリング) の場合、評価は AICc および BIC を使用した情報理論に基づいて行われます。
クラスタリング固有のアルゴリズムに基づいて評価が異なる可能性があるのはごく普通のことのように思えますが、同じ基準/指標に基づいてクラスタリング手法を比較できるのは素晴らしいことです。 文献にもあります（ [2212.12189] K 平均法のエルボ基準の使用をやめ、代わりにクラスター数を選択する方法 (arxiv.org) )、分散基準または BIC 基準は、K 平均法で異なる数のクラスターを比較する場合に推奨されるオプションのようです。
改善してほしいことは何ですか?
- DBSCAN や HDBSCAN などの密度ベースのクラスタリング手法の実装。
- どの方法が最も合理的な選択であると思われるかをより適切に評価するために、さまざまなクラスタリング方法 (AICc や BIC など) に共通の評価メトリクスを実装します。 特定のクラスタリング方法の選択は、ドメインの専門知識や好みによって決まる可能性がありますが、この選択や課題を快適にする「中立的な」メトリックがあれば素晴らしいでしょう。
- 各クラスタリング モデルについて、分散 (CCC、VRC など)、距離 (ダン、シルエット スコアなど)、および情報理論 (AICc、BIC など) に基づく他のクラスタリング メトリクスを実装します。
この考え方がなぜ重要なのでしょうか?
JMP で提供されるクラスタリング アルゴリズムは、予想されるケースの大部分を表していますが、密度ベースのクラスタリングは実際には欠如しており、さまざまな状況で見つかる可能性があります。
さまざまなクラスタリング手法を比較するための共通のメトリックが存在しない場合、「正しい」手法を選択すること、または特定の手法の選択に十分な自信をもつことが難しい場合があります。
最後に、さまざまなデータ構造に基づくさまざまなクラスタリングのため、クラスター数に関する「堅牢性」の決定を評価するのに役立つ、各メソッドの異なる評価メトリクスを用意することが重要です。
