需要幫助:對分類值進行分組,找到最佳數量的類別和例外伙計們,
我有一個問題,我希望有人能幫助我找到解決方案,或者至少讓我朝著正確的方向前進。
所以,假設我們有 N 個工具。 它們有多個屬性,比方說 10 個。 這可能是確切的型號、顏色、附加功能、修改等。
它們還有數百個參數。 有些可能在所有工具中都是相同的,有些可能取決於屬性的組合或單個屬性。
我需要管理所有數百個參數。 這些參數可能會發生變化,並且與應有的不同,我在任何時候都知道每個參數。
現在,方法如下:將所有工具分成幾大組,我們稱它們為類別,它們由屬性組合定義。 假設A型和藍色的所有工具都是一類,A型紅色是第二類,B型是第三類,無論顏色如何。
現在,並非所有參數在一個類別中都是相同的。 Model A 紅綠鈴和 Model A 紅黃鈴的某些特定參數可能不同。 因此,我們找到最常見的組合併將其稱為該類別的“默認”。 我們需要解釋所有不同的部分,並為它們添加某種註釋,以解釋參數不同的原因。
最終,我們將有兩個未知數:我們需要將其分成的類別數和我們需要為與“默認”參數不匹配的參數填充的異常註釋數。
如果我們設置一個類別 - 維護一個類別會很容易,但我們將有太多來自“默認”的例外情況難以管理。 如果我們為幾乎每個屬性組合創建一個類別,我們將不必管理太多來自“默認”的異常,但我們將難以管理那麼多類別。
問題是基於數據集,找到最佳類別數,其中類別數合理,異常數合理。
關於如何解決這個問題的任何想法?
謝謝,
M.
回复:需要幫助:對分類值進行分組,找到最佳數量的類別和例外全部,
感謝您的評論。
這是我選擇解決這個問題的途徑。
我的初始表是我的工具列,我的行是不同參數的值。 也是參數名稱的列。
我做的第一件事是堆疊所有工具列。 所以我最終得到了三列:工具、參數標籤、參數值。 沒有提到任何屬性 - 沒有模型,什麼都沒有......!
參數值是一個字符標稱值,因為很多值都是十六進制格式。
然後我啟動了 Hierarchical Clustering 平台並選擇了以下選項(列出了與默認值不同的選項):選擇“Data is stacked”(因為我只是堆疊了它!),得到了幾個可用的角色。 將參數值轉換為 Y,將參數標記轉換為屬性 ID,將工具轉換為對象 ID。
得到了一個很好的聚類樹。
下面是距離圖。
前幾次拆分負責大部分參數。 並且基於集群之間的工具分佈(請記住,在此分析中我們不知道每個工具的型號、顏色、功能是什麼),它們負責以下內容:
第一部分:工具模型
第二次拆分:其中一個模型上的工具子模型
第三次拆分:主要子系統版本
等等。
下面的圖——距離圖,在我的理解中,基本上給出了所有集群成員與集群平均值的平均距離。 對於標稱值,這是通過訂購來定義的。 在某種意義上,這可以作為異常值的估計。 在三分之二分裂後它幾乎飽和了。 這意味著如果我們要使用 2 或 3 個集群,我們將不得不解釋很多異常。 對於 4 個集群,它在這個數據集上明顯更少。 我們選擇了 5 個集群。
可以保存一個聚類表(基本上應該是分類值的最頻繁值),我相信如果我為每個聚類數保存這樣的表,然後將這些表連接到主表(或虛擬連接 -向 gzmorgan 點頭),我可以檢測到特定值是否不同於 POR/默認/黃金值,因此可以為每個簇數計算異常的確切數量。
然後唯一要決定的是——你想管理多少集群(類別),以及你準備為這些異常做多少處置。
謝謝,
M.
回复:需要幫助:對分類值進行分組,找到最佳數量的類別和例外戴爾,
是的,你是對的,最終我停止了聚類分析。 唯一的細節是我有很多參數作為十六進制值。 其中,如果我想避免大量嘗試解析它們的腳本,那麼我只能使用可以處理標稱值的層次聚類。 好事 - 我不必使用主要組件。
我將在單獨的評論中描述更多。回复:需要幫助:對分類值進行分組,找到最佳數量的類別和例外非常感謝您的回复,給了我一些思考。 我想提的主要事情是,我只對匹配/不匹配感興趣,無論值之間的距離如何。 正如我提到的,主要問題是管理數百個工具常量\參數。 從這個意義上說,我需要知道它是 POR 還是非 POR,或者換句話說,是否與 Golden Parameter List 不匹配。 問題基本上是找到最佳數量的黃金參數列表。 另一件事是許多參數都是十六進制格式。 如果沒有有助於以十進制輕鬆解析它們的內置函數,這將保留為字符值,這意味著我只能進行分類分析。 一方面,這簡化了事情,因為據我所知,參數之間的距離將根據值的排序來計算。 另一方面,這限制了我可以執行的分析類型。
在下面的單獨評論中有更多相關信息。 我將描述一種方法,至少我是如何理解它的,然後可能是最終的解決方案。
再次感謝!回复:需要幫助:對分類值進行分組,找到最佳數量的類別和例外這對我來說聽起來像是一個集群問題。您不確定聚類的數量及其構成,並希望識別聚類內的偏差。鑑於您擁有的變量數量,您可能必須在聚類之前降低維度,例如使用主成分。我要說的是,我自己在聚類方面的努力並不令人滿意——聚類很少與任何可識別的群體相匹配(例如,我通常對個人消費者或大學申請者這樣做)。在我看來,您想事先定義集群,例如將“相似”工具放在一起。問題在於,你認為可能“相似”的可能與數據所說的“相似”不同。如果您認為自己了解這些組,那麼一種方法可能是將事前聚類與聚類算法生成的內容進行比較 - 然後探索兩者之間的差異。
回复:需要幫助:對分類值進行分組,找到最佳數量的類別和例外米蓋羅,
這讓人想起剖面分析或 K 最近鄰。 創建一個表,其中每一行都是一個實體,除了實體列之外,每個屬性都有一列。 我建議有一個屬性代碼,如 1=red 和 2=green 等,然後根據您假設的示例,bell 的列將具有這些值。我建議您為值指定標籤。
然後您可以定義一個或多個指標和權重。例如,某些規格必須匹配可能是最重要的:A 組必須是高容量噴霧器(> 一些立方單位),C 組必須是低容量(< 一些立方單位),B 組是其他。 要細化或細分您可能使用的組:
- 潛在類別分析——注意類別不需要編碼,但編碼可以簡化其他分析。
- 多重對應分析,顯示可能的屬性配對
- k 最近鄰方法,請參閱腳本索引函數:KDE(統計)和 KDTable(矩陣)。
也就是說,隨著時間的推移,群體通常是由他們的結果來定義的。 由於臨近美國中期選舉,我將以它為例。 預測通常是在課堂上進行的。 這些類別根據年齡、性別、教育程度、城市與農村、哪個州、宗教、教堂出席率、中期投票的次數來定義/改進,換句話說,社會和空間人口統計數據以及行為的混合(#次投票,教堂出席)。
關於實體不匹配,需要格外小心。 假設 A 組實體與配置緊密匹配,除了較舊的實體沒有 3 個原位傳感器,而較新的實體具有從傳感器讀取的性能。 需要根據可用數據計算失配。 繼續這個場景,假設所有 A 組工具都有 100 個指標,但較新的工具有 3 個額外的指標,即 103 個。 許多 JMP 平台可以輕鬆處理缺失值,但處理方式取決於您可能使用哪些分析/標準來識別不匹配。
我喜歡 JMP 虛擬連接。如果我正在做這個分析,我可能會創建我的實體屬性表來定義類別,然後將它與其他變量表虛擬地連接起來。 如果其他變量每次運行有多個值(行),這也很容易。
這些只是麵包屑。 祝你完成這個有趣的任務好運。