Quando viene presentato un numero elevato di variabili per prevedere un risultato, è possibile ridurre il numero di variabili in qualche modo per rendere più facile affrontare il problema di previsione. Una possibile tecnica di riduzione delle dimensioni è il metodo noto di analisi delle componenti principali (PCA). Le variabili risultanti dal PCA, tuttavia, possono essere difficili da interpretare. Una strategia alternativa è da usare clustering variabile , un metodo disponibile in JMP Pro .
Creato da SAS / STAT Direttore dello sviluppo Warren Sarle per il Procedura VARCLUS il clustering variabile riduce il numero di variabili raggruppando insieme variabili simili. Questo ti permette di usare il risultato componenti del cluster , il primo componente principale delle variabili all'interno di ogni cluster, come nuove variabili. Queste nuove variabili condividono una somiglianza in quanto sono costituite solo da variabili all'interno di ciascun cluster. Per migliorare ulteriormente l'interpretazione riducendo al contempo la collinearità, in alternativa è possibile utilizzare solo la variabile più rappresentativa di ciascun cluster al posto di ciascun componente del cluster.
Come funziona il clustering variabile
L'algoritmo di clustering variabile è un algoritmo iterativo che inizia con tutte le variabili in un singolo cluster e procede dividendo e assegnando iterativamente le variabili a nuovi cluster fino a quando non sono possibili nuove suddivisioni o assegnazioni. Più specificamente, i cluster sono suddivisi iterativamente in cluster più piccoli in base ai componenti principali dei cluster. Ad ogni iterazione dell'algoritmo, il cluster con il secondo autovalore più grande viene scelto per essere suddiviso in due nuovi cluster. I membri del cluster che vengono suddivisi vengono assegnati ai nuovi cluster in base alla loro correlazione con i primi due componenti principali ruotati ortogallici del cluster che viene suddiviso. Una volta suddivisi, tutte le altre variabili vengono esaminate e riassegnate a un cluster diverso se si riscontra una correlazione più elevata con un diverso cluster. Il clustering variabile termina quando il secondo autovalore di tutti i cluster è inferiore a uno.
Esempio: previsione della qualità del vino
Per dimostrare il clustering variabile, predichiamo la qualità del vino usando il set di dati sulla qualità del vino fornito al UCI Machine Learning Repository . Separato da vini rossi e bianchi, questo set di dati comprende le seguenti 11 variabili che descrivono il contenuto di ciascun vino: acidità fissa, acidità volatile, acido citrico, zucchero residuo, cloruri, anidride solforosa libera, anidride solforosa totale, densità, pH, solfati e alcol.
Per ridurre la dimensione di queste variabili con il clustering variabile, per prima cosa lanciamo il Componenti principali piattaforma dal menu Analizza. Successivamente, selezioniamo le variabili come Y, colonne e fare clic su OK.
Questo avvia la piattaforma Principal Components per i dati sulla qualità del vino. Da qui, seleziona l'opzione Cluster Variables nel menu a triangolo rosso Principal Components. Dovresti vedere il sommario del cluster Clustering variabile. Come mostra questo riepilogo, le 11 variabili sono state riassunte da quattro cluster, con ciascun cluster avente rispettivamente 4, 3, 2 e 2 membri. Il La maggior parte della variabile rappresentativa colonna mostra la variabile che meglio rappresenta ciascun cluster di variabili. La proporzione della variazione spiegata all'interno di ciascun cluster è elencata nella colonna Proporzione della variazione spiegata mentre la percentuale complessiva di variazione spiegata, 0,558, è elencata nella parte inferiore del sommario.
Possiamo richiedere una tabella di membri del cluster usando il menu a triangolo rosso del Clustering variabile. Questi membri del cluster danno un'idea della somiglianza tra le variabili. Ad esempio, questa tabella mostra che i quattro membri del cluster numero 1 sono simili: acidità fissa, cloruri, densità e solfati.
Il valore RSquare tra ogni variabile e il cluster di cui è membro è elencato nella colonna RSquare con Own Cluster . Il RSquare con Next Closest colonna è il valore RSquare tra ciascuna variabile e il successivo cluster più simile. Il Rapporto 1-RSquare la colonna è una misura della vicinanza relativa tra il cluster di cui è membro un membro e il successivo cluster più simile. Ad esempio, il rapporto 1-RSQuare per l'acidità fissa viene calcolato con (1-0,527) / (1-0,106) = 0,473 / 0,894 = 0,529. Questo illustra come questa quantità misuri la relativa vicinanza. Un valore di 1-RSquare Ratio superiore a 1 significherebbe che il prossimo cluster più vicino è in realtà più simile al cluster di cui la variabile è attualmente membro e, di conseguenza, tutti i rapporti 1-RSquare devono essere inferiori a 1.
Confronto sulla riduzione della qualità del vino
Per confrontare il modo in cui queste varie tecniche di riduzione predicono la qualità del vino, adattiamo una regressione lineare utilizzando tre diversi gruppi di variabili predittive:
- I primi quattro componenti principali (PC).
- I quattro componenti del cluster (CC).
- Le quattro variabili più rappresentative di ciascun cluster (MRV).
Questi modelli sono adatti a un set di dati di addestramento di due terzi e usiamo il Confronto di modelli piattaforma per confrontare i modelli.
Il campione di addestramento RSQuare e l'esempio di convalida RSquare raccontano una storia simile: il modello con le componenti principali supera leggermente il modello con i componenti del cluster, mentre il modello che utilizza le variabili più rappresentative ha prestazioni migliori di entrambe. Questa è una soluzione ideale, in quanto non solo abbiamo trovato un modello più parsimonioso, ma ne abbiamo trovato anche uno che fornisce un'interpretazione più semplice dei risultati.
Prendi in considerazione l'aggiunta di clustering variabile da JMP Pro al tuo toolkit di riduzione variabile oggi!
Riferimenti
P. Cortez, A. Cerdeira, F. Almeida, T. Matos e J. Reis. Modellare le preferenze del vino mediante il data mining dalle proprietà fisico-chimiche. In Decision Support Systems, Elsevier, 47 (4): 547-553, 2009.
La funzione di clustering delle variabili è stata davvero utile per il mio lavoro.
Puoi dirmi come viene controllato il numero finale di cluster: quali criteri vengono utilizzati per prendere questa decisione, ad esempio l'autovalore?
Per JMP 14 stai pensando di includere un'opzione per scegliere il numero di cluster?
Inoltre, sarebbe bello avere un dendrogramma o qualche tipo di visuale per mostrare la relazione
Lene
Ryan Parker ha scritto:
Ciao Jose, questa non è attualmente un'opzione in JMP 11 Pro. Pianificheremo di aggiungere questo futuro in una versione futura di JMP Pro!
Ryan
Jose Guerrero ha scritto:
Ciao,
Abbiamo un'opzione per scegliere il numero di cluster che abbiamo in VARCLUS per JMP 11 pro PC
Grazie
