Stima delle caratteristiche più importanti per ciascun cluster k-medieCIAO,
Utilizzo il cluster kmeans per raggruppare i dati. Ora voglio scoprire per ciascun cluster di dati quale caratteristica ha un impatto elevato. Mi chiedo se JMP pro K-mean fornisca la stima delle caratteristiche più importanti per ciascun cluster k-mean? Qualcuno può fornire suggerimenti su come posso calcolarlo se non è disponibile? Stavo pensando che forse la distanza può essere usata per una stima. Qualcuno però?
Modellazione predittiva e machine learningfinestreRi: Stima delle caratteristiche più importanti per ciascun cluster k-meanCIAO @dadawasozo ,
Penso a due possibili modi per spiegare il clustering fatto con K-means:
- Puoi utilizzare la formula del cluster come risposta e provare a modellare questa risposta del cluster in base ai tuoi input. Una piattaforma flessibile ed efficiente per fare ciò potrebbe essere Bootstrap Forest (JMP Pro) o Predictor Screening (JMP). È quindi possibile confrontare i contributi dei fattori al clustering.
- Puoi anche pensare a questo in modo "statistico": maggiore è l'importanza di un fattore nel raggruppamento, più separati sono i punti su questo asse dei fattori (è più semplice creare cluster se puoi separare/discriminare i punti in base a uno o più fattori). diversi fattori). Quindi puoi utilizzare la piattaforma "Adatta Y per X", utilizzare i cluster come X e i fattori come Y e confrontare i rapporti F dei diversi adattamenti utilizzando un test parametrico (t-test, Welch, ...) .
A seconda dell'uso adeguato del test statistico e della verifica delle ipotesi (normalità, uguaglianza della varianza, indipendenza, assenza di valori anomali, ...), potresti trovare un risultato simile all'opzione 1.
Come esempio:
Sul famosissimo e pubblico set di dati "Iris", ho eseguito il clustering dei mezzi K sui fattori Lunghezza sepalo, larghezza sepalo, lunghezza petalo e larghezza petalo. Sono riuscito a trovare tre cluster, che corrispondono strettamente alle tre specie trovate. Salvo la formula del cluster.
- Quando utilizzo la piattaforma di screening Predictor, inserendo la formula del cluster come Y, la risposta e i fattori come X, posso dare un'occhiata alla differenza nei contributi dei miei fattori al clustering:
- Quando utilizzo la piattaforma "Adatta Y per X", inserendo la formula del cluster come X e i fattori come Y, eseguo un test di Welch e creo una tabella dati combinata con tutti i rapporti F. Con un grafico che mostra il rapporto F in base ai fattori, sono in grado di trovare risultati simili:
C'è una differenza tra le due piattaforme e uno scambio tra i due maggiori fattori che contribuiscono al clustering, perché la lunghezza e la larghezza del petalo hanno entrambe due distribuzioni non normali. Quindi il test di Welch non sarebbe l'opzione più appropriata in questo caso, ma un test Steel-Dwass All Pair sarebbe probabilmente migliore.
Su questo set di dati, lo screening Predictor sarebbe un'opzione più sicura in quanto è robusto rispetto ai valori anomali e non richiede ipotesi sulla distribuzione dei dati (la piattaforma utilizza un modello Random Forest).
Ho allegato il datatable di Iris in modo che tu possa guardare le diverse analisi e riprodurre i test che ho fatto.
L'ultimo aspetto da prendere in considerazione (anche se fuori dall'ambito della tua domanda) è assicurarti che l'approccio K-Means sia adatto al tuo set di dati poiché si basa su due presupposti:
- I cluster sono sferici (tutte le variabili hanno la stessa varianza),
- I cluster hanno dimensioni simili (numero di osservazioni più o meno uguale in ciascun cluster).
Altri approcci di clustering possono essere più flessibili se queste ipotesi non vengono soddisfatte (miscele gaussiane/normali per esempio), o più "appropriati" a seconda del contesto di clustering: clustering basato sulla densità di punti, basato su distribuzioni sottostanti presunte, su relazioni gerarchiche tra punti , ...
Spero che questa risposta ti possa aiutare,
Ri: Stima delle caratteristiche più importanti per ciascun cluster k-meanCiao Vittorio,
è possibile ottenere le funzionalità più importanti per ciascun cluster separatamente? K significa che aiuta a raggruppare i dati in pochi gruppi. Voglio comprendere le funzionalità di maggiore impatto per ciascun cluster per capire cosa li rende cluster diversi.
Ri: Stima delle caratteristiche più importanti per ciascun cluster k-meanCIAO @dadawasozo ,
Se comprendo meglio il tuo obiettivo, vorresti valutare meglio le disparità e le differenze tra i cluster in base ai valori delle caratteristiche?
Se sì, puoi consultare le opzioni "Parallel Coordinate Plot", "Scatterplot Matrix" e i vari grafici "Biplot" disponibili nel triangolo rosso accanto a "KMeans NCluster = (X)", poiché forniscono, con le statistiche riassuntive "Cluster Means", visualizzazioni interessanti su come i diversi cluster differiscono in base ai valori medi delle caratteristiche.
Esempio di grafico a coordinate parallele sul set di dati Iris (puoi riprodurlo con il Costruttore di grafici per personalizzarlo e aggiungere legende dei valori):
Esempio di matrice del grafico a dispersione sul set di dati Iris:
Esempio Biplot 2D (con componenti principali) sul set di dati Iris:
Spero di aver compreso meglio il tuo obiettivo e che questa risposta possa aiutarti,
