Ciao,
un cliente ha chiesto perché il CCC ottimale specificato nel rapporto di confronto dei cluster per il raggruppamento dei kmean a volte è inferiore al CCC di altri cluster, il che è contraddittorio con la documentazione.
Potrei riprodurre questo comportamento usando il set di dati della nicardipina e il clustering kmean come allegato (esegui lo script per il clustering)
vi sono altri criteri coinvolti nella decisione non menzionati nella documentazione o perché ciò accade?
Penso che potrebbero esserci diverse cose che causano questa anomalia. Se uno di questi lo sta causando, la documentazione dovrebbe menzionarlo, quindi penso che siano necessari maggiori dettagli nel documento.
I miei pensieri:
Le variabili di nicardipina che hai usato sono davvero categoriche, non continue. Ciò potrebbe contribuire al problema. La discrezione dei dati di solito porta il CCC a scegliere troppi cluster.
Due delle variabili sono valori costanti. Persino il documento afferma che sono stati ignorati, quindi non penso che questo sia il problema.
Ogni cluster da 6 in su ha un cluster con una sola osservazione. Questo potrebbe essere il motivo per cui quei cluster non sono "ottimali" (ma non ci credo nemmeno, ma è possibile).
Osservando il CCC attraverso i cluster, il CCC cala drammaticamente e diventa negativo. I valori CCC negativi di solito indicano valori anomali. Poiché ci sono 5 dimensioni di cluster in una riga con un CCC inferiore, credo che qualsiasi cosa con un CCC più elevato rispetto al modello a 3 cluster indicherebbe un overfitting. JMP potrebbe applicare una logica simile?
Se esegui KMeans con cluster da 4 a 12, anziché 3, ottieni i risultati che ti aspetti, quindi forse questo è un bug ??
Per completezza, il documento JMP fa riferimento a un documento tecnico SAS, per completezza ho incluso le conclusioni di tale documento. Il documento completo è qui: https://support.sas.com/kb/22/addl/fusion_22540_1_a108_5903.pdf
Certamente una situazione interessante. Mi piacerebbe sentire la vera ragione per cui 3 sono stati scelti!
Grazie @Dan_Obermiller . Verificherò con il mio cliente eventuali valori anomali, #valori nei cluster e il tipo di colonne utilizzate. Questo potrebbe far luce.
Spero che qualcuno possa conoscere il motivo sottostante (bug, previsto, tipo di dati, ...).
Quindi, ora ho ulteriori informazioni sui dati del cliente:
613 osservazioni, 39 variabili [in base alla documentazione SAS si potrebbe essere in grado di esaminare circa 60 cluster]
- Le variabili sono categoriche / binarie?
6 variabili hanno circa l'85% -90% di valore 0.
8 variabili hanno solo 20-25 valori diversi.
- Che ne dici di outlier (CCC negativo)?
Controllo approssimativo mediante PCA e analisi anomala, rimossi solo i valori anomali più estremi. Utilizzato per controllare comunque i cluster in seguito utilizzando grafici di coordinate parallele, dichiarando pochi come rumore, pochi messi insieme. Quindi un CCC ottimale è solo una linea guida e deve esaminare ulteriormente i cluster. tuttavia è difficile capire che OptCC CCCC è selezionato su un cluster precedente con il valore non più alto. Nel mio caso, solo i cluster N = 2 e N = 3 sono negativi, N = 4 è ottimale sebbene N = 7 e N ancora più alto sia valore più alto.
- Ci sono cluster con valori singoli coinvolti?
Si No:
Metodo NCluster N Righe CCC Migliore
K Significa Cluster 2. -11.181
K significa cluster 3. -25.497
K significa cluster 4. 4,46481 CCC ottimale
K significa cluster 5. 0,87854
K significa cluster 6. 7,58562
K significa cluster 7. 4,0766 à un cluster con 1 osservazione
K significa cluster 8. 25,9692
K significa cluster 9. 16,4746
K significa cluster 10. 23.1449 à un cluster con 0 osservazioni (y, 0 ...)
K significa cluster 11. 24,0572
K significa cluster 12. 26,9875
K significa cluster 13. 27.7786 à un cluster con 0 osservazioni (y, 0 ...)
K significa cluster 14. 29.0657 à un cluster con 0 osservazioni (y, 0 ...)
K significa cluster 15. 18.975 à un cluster con 0 osservazioni (y, 0 ...)
A partire da NCluster = 3 c'è almeno un cluster con circa 10 osservazioni
- Che ne dici di usare solo 5-15 cluster?
Sì, allora il CCC ottimale è visualizzato correttamente!
!!! Anche se deseleziono "usa deviazioni std all'interno del cluster" e utilizzo 2-15 cluster, il risultato visualizzato è come previsto.
Metodo NCluster CCC Migliore
K Significa Cluster 2-8.3209
K Significa Cluster 3 -14.199
K Significa Cluster 4 9.28967
K Significa Cluster 5 5.42936
K Significa Cluster 6 24,6335
K Significa Cluster 7 30.4458
K Significa Cluster 8 23.5854
K Significa Cluster 9 36.858
K Significa Cluster 10 35.6172
K Significa Cluster 11 36,5099
K Significa Cluster 12 38.4017
K Significa Cluster 13 48,2059
K Significa Cluster 14 44,3545
K Significa Cluster 15 49.7344 CCC ottimale
==> Quindi sembra che ci sia una sorta di standardizzazione in corso all'interno dei cluster che si traduce in diversi CCC ottimali rispetto al non utilizzo di questa opzione. In tal caso, la visualizzazione dovrebbe essere corretta in quanto il CCC sembra avere valori diversi per l'opzione non selezionata e selezionata, questo dovrebbe essere menzionato da qualche parte nel rapporto e ovviamente nella documentazione.
Qualsiasi approfondimento da parte di sviluppatori / tester / scrittori potrebbe essere utile. Ovviamente posso anche dirlo attraverso il supporto tecnico, se questo è qualcosa che dovrebbe essere cambiato in JMP.
Grazie,
balestruccio
