物理学者が彼らの重ね合わせ魔法を持つことができるならば、統計学者もそうすることができます。3つのグループの3つの変数にまたがってたくさんのポイントがあるとします。各グループのポイント数を数える必要があります。しかし、各ポイントがどのグループに由来するのかはわかりません。そして、ところで、各グループはすべての変数にわたって同じ意味を持ちます。このブログ記事の残りの部分を読む前に、そのためのアプローチを考えてみてください。
ポイントのグループ化は、通常、クラスター分析の仕事です。コンピュータ科学者たちはこれにもっとカラフルな名前を付けています。それは教師なし学習です。それは簡単です。データをクラスタリングするだけで、互いに近くにあるポイントがクラスタを形成します。各点を最も近いクラスタに割り当て、各クラスタ内の点を数えれば完了です。
しかし、これらのクラスタリング手法では、クラスタが重なることは決してなく、同じ中心を持つことははるかに少なくなります。そのため、通常のクラスタリングではこの作業はできません。
問題を解決する前に、まずデータについてもう少し具体的に説明し、問題のあるデータセットを生成する必要があります。データには多変量正規分布があり、各クラスターは同じ平均値を持ちますが、各グループに対して異なる共分散構造を持つことでそれらを区別します。簡単にするために、３つのクラスタのそれぞれが、そのクラスタに固有の１つの成分方向においてより大きい分散を有する、相関のない多変量正規データを生成する。
データを生成するためのJSLスクリプト
そのため、各クラスタの変数ごとに1の分散を持つテーブルを生成します。ただし、各クラスタには、1ではなく分散が4の1つのコンポーネントがあります。その結果、各グループは同じ中心を持っていても、異なる方向に突き出ています。これが私がデータを作るために使用したJSLコードです：
3グループの通常の楕円体の輪郭
これが、多変量正規密度の等高線図です。
大きなXおよびY分散を持つグループは35％のデータを持ち、大きなZ分散を持つグループは30％のデータしか持たないことに注意してください。この方法でプロポーションが適切に推定されれば、問題は解決します。各点を特定する必要はありません。割合、つまり各グループの数値を推定するだけです。
ここに秘密があります：通常の階層的またはk-meansクラスタをする代わりに、我々は通常の混合をします。つまり、データの可能性が最大になるように、各グループの平均、分散、共分散、および相対的な比率を調整します。これはJMPでChris Gotwaltによって実装されました。これが結果です。
通常の混合物の結果
私たちがどれほどうまく行ったかに注目してください。3つのグループの比率は、.343、.351、および.308で、データの生成に使用された比率、.35、.35、.30に非常に近い値です。また、平均値と標準偏差、相関関係も密接に関係しています。問題が解決しました。これは最も可能性の高いグループメンバーシップによって色付けされたポイントを持つデータの写真です。
最も可能性の高いグループの色付きの点
この魔法は役に立ちますか？HIV症例における感染密度を測定する際に行うことが非常に重要である非常に重要な種類のカウントがあることがわかります。CD4と呼ばれるタンパク質を発現する特別な種類の白血球 - ヘルパーT細胞 - があります。ＨＩＶ感染は、一部には、他の白血球と比較して、これらの細胞のうちのいくつが血液サンプル中に存在するかによって測定される。結合部位を異なる蛍光色素でタグ付けすることで、さまざまな種類の白血球が自分自身を識別できるようになります。それからそれをフローサイトメーターと呼ばれる機器を通して送ります。フローサイトメーターは細胞を含んだ小さな液滴を噴射します。異なる波長のいくつかのレーザーが液滴を通して発射され、そして各液滴がそれがどのように蛍光を発するかが測定される。その結果、膨大なデータセットとなり、12種類の波長でさまざまな強度の測定で50万行になる可能性があります。データには各セルの行があります。異なるセルが重なり合うクラスタを形成しているので、各クラスタ内のセルを数える必要があります。これを行うための現在のやり方は、クラスタ上でポリゴンを手でドラッグして、グループを目で任意に分割することです。通常の混合物を使用してカウントすると、より客観的な方法が得られ、データの再現性が向上します。しかし、どのクラスタにも属さない多くの迷惑な点があります。問題ない。Chris Gotwaltのルーチンには、（Huber）堅牢な異常値処理方法が含まれています。50万ポイントの間12次元でこれを実行することは現在かなり費用がかかるので、これを高速化する方法についてのアイデアを探しています。
かなりいい魔法。
ロブ湖書きました：
「これを12次元で50万ポイントするのは、現在かなり費用がかかります...」とあなたは言います。データ収集かデータ分析か
あなたが明確にするとき、私は共有するべきいくつかの考えを持っています。
乾杯、
ロブ湖
