Quando si esaminano le relazioni nei dati multivariati, viene utilizzata l'analisi delle componenti principali (PCA) per ridurre le dimensioni a circa due o tre dimensioni ed esaminare le relazioni tra i dati.) viene spesso utilizzato.
Tuttavia, negli ultimi anni, metodi come UMAP e t-SNE hanno attirato l'attenzione come metodi per la riduzione della dimensionalità. Si tratta di metodi di riduzione delle dimensioni non lineari e si dice che siano efficaci anche quando la struttura dei dati non può essere espressa bene utilizzando l'analisi delle componenti principali, che è un metodo di riduzione delle dimensioni lineari.
Questi metodi sono anche metodi di riduzione della dimensionalità, pertanto è possibile ridurre i dati multidimensionali a due o tre dimensioni ed esaminare visivamente i modelli nei dati.
Nel campo dell’apprendimento automatico, UMAP e t-SNE sono ampiamente utilizzati anche per scopi di riduzione della dimensionalità. Ad esempio, è utile in una varietà di applicazioni come il riconoscimento delle immagini, la classificazione del testo e l'analisi genetica.
Proprio così, JMP Pro dispone di una piattaforma chiamata "Multivariate Embedding" ed è dotata delle tecniche UMAP e t-SNE.
Esempio di raggruppamento del campione utilizzando t-SNE
In questo blog utilizziamo i dati spettrali per ridurre la dimensionalità e visualizzare le relazioni tra i dati utilizzando le tecniche di analisi delle componenti principali, UMAP e t-SNE. A quel punto, controlleremo se i dati con etichette possono essere separati con successo.
Dati spettrali utilizzati
Ciò che useremo questa volta sono i dati dello spettro del medio infrarosso dell'olio d'oliva. *
Sono stati raccolti tramite campionamento gli spettri di 60 tipologie di olio d'oliva. Le informazioni sul paese vengono aggiunte a ciascun campione. Esamineremo se il paese di origine (Grecia, Italia, Portogallo, Spagna) può essere classificato da questi dati dello spettro multivariato.
Nell'apprendimento automatico, le informazioni sul paese di origine equivalgono a una "etichetta" e sono dati supervisionati. L'analisi che segue si concentrerà sulla possibilità di classificarlo in base all'etichetta.
Ho utilizzato "Graph Builder" per rappresentare graficamente gli spettri per paese di origine. Mostra l'intensità per ciascun numero d'onda, consentendoti di controllare visivamente le caratteristiche dello spettro di ciascun paese e le differenze rispetto ad altri paesi, come picchi a numeri d'onda specifici, grandi e piccole fluttuazioni di intensità, ecc.
*Fonte di dati:
Dati per: classificazione dei dati spettrali con Kernel Extreme Learning - Mendeley Data
Riduzione della dimensionalità mediante l'analisi delle componenti principali
Innanzitutto, eseguiamo l'analisi delle componenti principali (PCA) su questi dati spettrali e visualizziamo le prime due componenti in un grafico del punteggio.
Poiché stiamo misurando l'intensità al numero d'onda 570, abbiamo ridotto la dimensione 570 a 2 dimensioni.
Osservando il grafico del punteggio, puoi vedere che i diversi punti del grafico si sovrappongono molto, indicando che il paese di origine dell'olio d'oliva non è ben separato. La riduzione della dimensionalità eseguita dall'analisi delle componenti principali si basa su una trasformazione lineare, quindi se i dati sono distribuiti in modo non lineare, potrebbe non essere in grado di catturarne bene la struttura.
Riduzione della dimensionalità mediante UMAP, t-SNE
Successivamente, eseguiremo UMAP e t-SNE sui dati dell'olio d'oliva.
In JMP Pro, selezionare Analizza > Multivariato > Incorpora multivariato .
- Nella finestra di dialogo di avvio, specificare una colonna continua (in questo esempio, 570 colonne che rappresentano le intensità in numeri d'onda) come [Y, Colonna].
- Facoltativamente, è possibile selezionare il metodo, le dimensioni dopo la riduzione delle dimensioni, ecc.
- È possibile selezionare [UMAP] o [t-SNE] in "Metodo". L'impostazione predefinita è [UMAP].
- È possibile selezionare Dimensione dopo la riduzione della dimensione. Il valore predefinito è "2" (2 dimensioni).
I grafici vengono visualizzati quando con queste operazioni vengono eseguiti sia UMAP che t-SNE (in basso a sinistra: UMAP, in basso a destra: t-SNE).
Un confronto con il grafico dei punteggi dell'analisi delle componenti principali mostra che i paesi di origine dell'olio d'oliva possono essere in una certa misura separati. In particolare, il colore arancione della Spagna può essere distinto quasi chiaramente dagli altri paesi di origine.
Successivamente, impostiamo la "dimensione dopo la riduzione della dimensione" su 3 e visualizziamola in 3D. I report di incorporamento multivariato visualizzano grafici tridimensionali. Questo grafico può essere spostato trascinando il cursore ed è ben classificato, inclusa la terza dimensione.Puoi considerare cosa si sta facendo.
Nel grafico bidimensionale di t-SNE non è stato possibile classificare tutti i colori tranne l'arancione (Spagna), ma nel grafico tridimensionale è stato possibile classificare il verde (Italia), il rosso (Grecia), e blu (Portogallo) in una certa misura.
Sia UMAP che t-SNE sono metodi di riduzione della dimensione non lineare che riducono la dimensionalità in modo che le relazioni tra punti dati vicini in uno spazio ad alta dimensionalità possano essere mantenute anche in dimensioni basse. Questo lo rende un ottimo modo per raggruppare visivamente i dati.
Tuttavia, mentre l'analisi delle componenti principali interpreta gli assi dei report come i grafici di caricamento, i metodi UMAP e t-SNE si concentrano sulla ricerca di relazioni tra i dati (campioni), sulla loro divisione in gruppi e sulla ricerca di modelli. Pertanto, può essere difficile interpretarne il significato degli assi.
Ad esempio, nel grafico UMAP sopra, gran parte dei dati arancioni per la Spagna sono tracciati in basso a destra, ma è difficile specificare cosa indica la posizione in basso a destra delle coordinate bidimensionali.
Confronto tra UMAP e t-SNE
Si dice che UMAP abbia una velocità di calcolo più rapida di t-SNE. Si dice anche che la regolazione dei parametri sia più semplice con UMAP.
Infatti, nel nostro esempio di dati spettrali, quando abbiamo eseguito t-SNE con le impostazioni dei parametri predefinite, è stato visualizzato un avviso relativo ai calcoli di convergenza. Come accennato nel messaggio, il problema è stato risolto allentando il criterio di convergenza (1e-8⇒1e-4) e aumentando il numero massimo di iterazioni (1000⇒10000).
Quando si confrontano UMAP e t-SNE, si dice che UMAP è generalmente migliore, ma in pratica è meglio provare sia UMAP che t-SNE e confrontare i risultati. Tuttavia, nel caso di t-SNE, quando si tratta di dati su larga scala, i calcoli potrebbero richiedere tempo e in alcuni casi potrebbe essere necessario modificare i parametri.
di Naoyu Masukawa (JMP Giappone)
Naohiro Masukawa - Comunità degli utenti JMP
