双方向クラスタリングとクラスター変数数週間前、変数クラスタリングを使用してデータセットの複雑さを軽減するための良いヒントを Scott Allen から得ました。 16 行、35,000 以上の列からなる非常に広いデータ テーブルがあります。 奇妙なことに、階層クラスタリングで「Fast Ward」を使用し、赤い三角の下で「双方向」を選択すると、数秒以内に双方向クラスタリング (行ごとおよび列ごと) が発生します。 ただし、各クラスター内で「最も代表的な列」を検索するオプション (「クラスター変数」に直接移動する場合のオプション) が見つかりません。 64 GB の RAM を搭載した Mac で 35,000 列すべてをクラスター変数に追加しても、完全には近づきません (3 日後には 5 ～ 10% になるかもしれません!)。 私の質問は、階層クラスタリングの Fast Ward 出力から、最も代表的な列を提供するデータを抽出することは可能でしょうか? 実際には（生データをそれぞれのクラスターの平均に対して回帰するなど）あるかもしれないと思います。 そうでない場合は、クラスター変数プラットフォームに「高速」アルゴリズムを追加するようウィッシュ リストにリクエストを入れる必要があるかもしれません。
データのブレンディングとクリーンアップデータの探索と視覚化マックOSRe: 双方向クラスタリングとクラスタ変数このようなものを欲しいものリストに登録するのは常に良いアイデアです。 しかし、それまでは...これがうまくいくかどうかはわかりません...ちょっと難解で、私が提案しているものの背後にある数学が有効かどうかはわかりません...でも、各クラスターをサブセット化してもらえますか? 次に、各クラスターで PCA を実行します。 そして、固有値パレート、スコア、および読み込みプロットの間に、最も代表的な列へのバックドアのようなものを入れることができますか? ここにいる他の人の意見を聞きたいですか?
Re: 双方向クラスタリングとクラスタ変数ありがとう。 何かを理解していると思いますが、20 ～ 25,000 列あたりで計算上の「中断」があるように見えることは言及する価値があります。 つまり、25,000 個の分析物 (多少は関係なく) を使用すると、24 ～ 36 時間で実行されます (これは私にとって許容範囲内です) が、この数を大幅に超えるとハングします。 したがって、予測または応答画面 (またはカラム ビューアー) を使用して、変動がないか、ほとんど変動しないサンプルを除外し、約 35,000 のカラムを 20 ～ 25,000 に減らし、それらの「変動する」分析物で実行できる可能性があります。 しかし、すべての分析物に対して PCA を使用するだけでも、特にこれらのタンパク質の多くは相互に相関しているため、効果的な冗長性の感覚を得ることができると思います。
Re: 双方向クラスタリングとクラスタ変数私が思うに@P_Bartelさんの提案は良いですね。 変数クラスタリングのアプローチでは、PCA を「舞台裏」で使用し、固有値を使用して最も代表的な変数を決定します。
双方向クラスタリングには、最も代表的なものを決定するための固有値やその他の基準はありません。 したがって、双方向クラスタリングの後に PCA を使用することは、変数クラスタリングで起こっていることを模倣する方法になります。
Re: 双方向クラスタリングとクラスタ変数素晴らしい。 あなたがた両方に感謝します。 ここで少し試してみるつもりですが、必要なものが正確に得られるはずです。
