如果物理學家可以擁有他們的疊加魔法，那麼統計學家也可以。假設您在三組中的三個變量中有很多分數。您需要計算每組中的點數。但是你不知道每個點來自哪個組。而且，順便說一下，每個組在所有變量中具有相同的均值。在閱讀本博文的其餘部分之前，嘗試發明一種方法。
分組點通常是聚類分析的工作。計算機科學家的名字更加豐富多彩：無監督學習。這很簡單。您只需對數據進行聚類，使得彼此靠近的點形成聚類;將每個點分配給最近的群集，計算每個群集中的點數並完成。
但是這些聚類方法從不允許聚類重疊，更不用說具有相同的中心。所以普通的聚類不會做這個工作。
在我們解決問題之前，首先我們必須更加具體地了解數據並生成問題數據集。我們將使數據具有多元正態分佈，儘管每個聚類具有相同的均值，但我們將通過為每個組具有不同的協方差結構來區分它們。簡單來說，我們將生成不相關的多元正態數據，三個聚類中的每一個在一個組件方向上具有較大的方差，該方差對於該聚類是唯一的。
JSL腳本生成數據
因此，我們生成一個表，在這種情況下，每個集群的每個變量的差異為1，除了每個集群有一個方差為4的組件，而不是一個。結果是每個組都朝著不同的方向伸出，儘管它們具有相同的中心。這是我用來製作一些數據的JSL代碼：
正常橢圓體輪廓為3組
以下是通過這樣做得到的多元正常密度等值線圖：
請注意，具有較大X和Y差異的組具有35％的數據，而具有較大Z方差的組僅具有30％的數據。如果該方法很好地估計比例，那麼問題就解決了。我們不需要識別每個點 - 我們只需要估計每個組中的比例，或者等價。
這是秘密：我們不是做通常的分層或k-means集群，而是做普通的混合。也就是說，我們適合每個組的均值，方差，協方差和相對比例，以便最大化數據的可能性。這是由Chris Gotwalt在JMP中實施的。結果如下。
正常混合物結果
注意我們做得多好。三組的比例為.343，.351和.308，非常接近用於生成數據的比例，.35，.35，.30。而且手段和標準偏差以及相關性也很接近。問題解決了。以下是數據的圖片，其中的點由最可能的組成員身份著色。
為最可能的組著色的點
這個魔法有用嗎？事實證明，有一種非常重要的計數類型對於測量HIV病例中的感染密度非常重要。有一種特殊的白細胞 - 輔助T細胞 - 表達一種叫做CD4的蛋白質。HIV感染部分地通過相對於其他白細胞在血液樣品中存在多少這些細胞來測量。事實證明，你可以通過用不同的熒光染料標記它們的結合位點來製造不同類型的白細胞。然後你通過一個叫做流式細胞儀的儀器發送它，它會產生一小滴含有細胞的液滴。通過液滴射出幾個不同波長的激光，並測量每個液滴如何發熒光。結果是一個巨大的數據集，在不同波長的12個左右的強度測量中可能有50萬行。每個單元格的數據都有一行。不同的單元格形成重疊的簇，您需要計算每個簇中的單元格。目前的做法是通過在群集上手動拖動多邊形，通過眼睛任意劃分群組。使用常規混合物進行計數將提供更客觀的方法，並提高數據的可重複性。但是有很多雜散點不屬於任何集群。沒問題。Chris Gotwalt的例程包括（Huber）處理異常值的強大方法。目前在12個維度中以50萬分這樣做是非常昂貴的，所以我們正在尋找如何加快這一點的想法。
相當不錯的魔法。
羅布湖中寫道：
你說“以12個尺寸做這個50萬分目前相當昂貴，......”什麼是昂貴的？數據收集還是數據分析？
當你澄清時，我有一些想法可以分享。
乾杯，
羅布湖
