In un’era in cui l’intelligenza artificiale sta diventando sempre più popolare, l’apprendimento automatico gioca un ruolo importante: la maggior parte delle persone vede prodotti o concetti completati e la chiave è in realtà il metodo che sta dietro ad essi. L'apprendimento automatico distingue anche due diverse categorie in termini di algoritmi, vale a dire apprendimento supervisionato E apprendimento non supervisionato . I metodi comuni di machine learning sono classificati come segue:
apprendimento supervisionato
|
apprendimento non supervisionato
|
albero decisionale
|
raggruppamento
|
rete neurale
|
mappa auto-organizzante
|
foresta casuale
|
Analisi di correlazione
|
analisi di regressione
|
Scomposizione di un valore singolo
|
K il vicino più vicino
|
|
L'ingenuo Bayes
|
|
esistere apprendimento supervisionato Uso medio e generale Contrassegnato Set di dati per la formazione, viene utilizzato principalmente l'apprendimento supervisionato Classificare e stabilire relazioni di regressione ; piuttosto che apprendimento supervisionato utilizzo Dati senza etichetta Lo scopo dell'addestramento è scoprire alcune strutture o modelli dai dati, la maggior parte dei quali vengono utilizzati in raggruppamento E Riduzione della dimensionalità superiore.
Comprendere l'apprendimento automatico: l'approccio delle reti neurali
Oggi presenterò la rete neurale che viene spesso utilizzata nell'apprendimento supervisionato e che ha una lunga storia di sviluppo. La rete neurale utilizzata in JMP è ANN (rete neurale artificiale) metodo della rete neurale artificiale , rispetto al corpo umano, è il concetto di neuroni. I neuroni includono corpi cellulari, dendriti e assoni. La funzione principale dei dendriti è ricevere segnali da altri neuroni. Questi segnali verranno trasmessi ai dendriti attraverso le sinapsi e i dendriti lo faranno I segnali ricevuti vengono integrati e trasmessi al corpo cellulare del neurone per l'ulteriore elaborazione. L'assone è principalmente responsabile della trasmissione del segnale di uscita del neurone. Quando un neurone è attivato, trasmette segnali ad altri neuroni attraverso il suo assone. La sinapsi è il punto di contatto tra due neuroni. Attraverso di essa, i segnali possono essere trasmessi tra neuroni attraverso neurotrasmettitori e ciascun neurone trasmette segnali attraverso il suo assone. Ogni sinapsi ha una forza specifica equivalente al peso della rete neurale. (Figura 1)
Figura 1
Nella rete neurale (Figura 1-2), il perceptron è un componente importante, che include input, somma ponderata, funzione di attivazione (funzioni di attivazione) e output, dove output = funzione di attivazione ( ∑ io ( w io × X io ) + B ) , wi è il peso, xi è il valore di input e b è il bias. Di seguito è riportato un diagramma schematico di una rete neurale a strato singolo e una semplice espressione di regressione lineare multipla quando la funzione di attivazione è una funzione lineare (Figura 2).
Figura 2: Espressione di regressione lineare multipla semplice quando la funzione di attivazione è una funzione lineare
3 Tipo JMP La funzione di attivazione utilizzata all'interno
- TanH:
: La funzione tangente iperbolica è una funzione a forma di S, compresa tra -1 e 1. È la versione centralizzata e in scala della funzione logistica, dove x è una combinazione lineare di variabili di input (Figura 3) e il suo output è centralizzato, Quando Y è una variabile categoriale o una relazione non lineare, può essere utilizzata come funzione di attivazione, che è anche una funzione di attivazione comunemente usata. Il gradiente dei valori estremi -1 e 1 su entrambe le estremità è vicino a 0 , che potrebbe rallentare la velocità di apprendimento.
Figura 3: combinazione lineare
- Lineare: detta anche funzione identità, non subisce il processo di conversione delle variabili (Figura 4), vale a dire: Le variabili mostrano una relazione lineare e lo scenario di utilizzo abituale è ridurre la dimensione delle variabili di input. .
Figura 4:
- Gaussiana: Funzione gaussiana:
, appartiene alla funzione base radiale, che è una funzione non lineare ed è applicabile quando il piano di reazione è un piano gaussiano (Figura 5). Lo svantaggio è che la velocità di aggiornamento del peso è lenta, il che influisce sull'efficienza e sull'effetto dell'allenamento. Rispetto a Tanh, la frequenza è inferiore.
Figura 5-1:
Figura 5-2:
Successivamente, spiegheremo come impostare la rete neurale in JMP: (Figura 6)
Figura 6
Il metodo di convalida iniziale viene utilizzato per valutare la capacità di spiegazione del modello del set di addestramento e del set di validazione. Vengono forniti due metodi di convalida incrociata, KFold e Holdback, poiché KFold utilizza tutti i dati per la verifica e fornisce stime multiple, il che aiuta la stabilità della valutazione del modello. , è possibile evitare risultati distorti per campioni piccoli, il tempo di esecuzione è più lungo e il tempo di esecuzione Holdback è breve, ma la verifica dei dati avrà una variabilità relativamente elevata.
Il numero di tour riportato di seguito rappresenta il numero di volte in cui riavviare il processo di addestramento del modello per evitare che il modello rientri nel valore ottimale locale anziché nel valore ottimale globale. In termini di impostazioni del livello nascosto, JMP Standard Edition fornisce il livello nascosto a livello singolo JMP Pro fornisce un'impostazione del livello nascosto a doppio livello. L'utilizzo di più livelli nascosti solitamente serve per esplorare complesse relazioni non lineari quando la struttura dei dati è complessa o i dati sono gerarchici e sequenziali, come variabili di diverso tipo e numerose origini dati ; Lo scopo di impostare più nodi è apprendere più modelli. Quando ci sono più variabili di input, i nodi che devono essere impostati devono essere migliorati.
Per l'overfitting, JMP fornisce il metodo di penalità come segue:
(Al quadrato): utilizzato quando si presuppone che la maggior parte delle variabili di input abbiano un impatto sul modello.
(Assoluto) o
(Decadimento del peso): utilizzato quando sono presenti molte variabili di input, ma si prevede che solo alcune di esse influenzino il modello.
JMP fornisce inoltre opzioni per la conversione delle variabili, come Trasforma covariate, che converte le variabili di input in distribuzioni approssimativamente normali. I vantaggi della conversione possono far convergere più velocemente l'addestramento ed evitare la scomparsa del gradiente. 1 problemi, ecc. Allo stesso modo, per le situazioni in cui la variabile di output ha una distribuzione distorta, una coda spessa, ecc., è possibile utilizzare l'opzione Robust Fit per evitare l'influenza dei valori anomali.
Il processo di adattamento del modello
Sulla base della descrizione di cui sopra, descrivere brevemente il processo di adattamento del modello:
Utilizza la funzione di verosimiglianza più la funzione di penalità e utilizza il metodo di iterazione quasi-Newton, noto anche come BFGS. 2 Metodo, trovare il punto in cui la funzione di perdita più la funzione di penalità (se considerata) raggiunge il minimo (Figura 7) per regolare i pesi dei parametri. In generale, il punto minimo può essere trovato utilizzando la convalida incrociata circa 20-50 volte.
Figura 7
Quando JMP adatta il modello, è possibile scegliere anche un metodo Boosting. I tassi di apprendimento sono compresi tra 0 e 1 e il numero di modelli da adattare può essere regolato. Viene sommato da una serie di piccoli modelli. Nel modello finale, ciascun modello piccolo viene adattato in base all'errore del modello precedente, tenendo conto del numero di modelli adattati e se l'interpretabilità complessiva del modello non può più essere migliorata dopo la convalida incrociata. Per i modelli piccoli, in genere, solo un vengono impostati un singolo strato nascosto e uno o due nodi, che ha il vantaggio di migliorare la precisione del modello. (Figura 8)
L'impostazione del tasso di apprendimento e del numero di modelli è generalmente tale che quanto più il tasso di apprendimento è vicino a 1, tanto minore dovrebbe essere il numero di modelli. Quanto più complesso è il modello piccolo utilizzando il metodo Boosting, il significato del bonus andrà perso.JMP non consente l'impostazione di due livelli.Livello nascosto combinato con il metodo Boosting.
Figura 8
Litografia / Condivisione dei casi di incisione
Esempi citati di seguito tratti dal JMP Discovery Summit del 2022 3 , Difetti sui fianchi a volte si verificano durante la fase di litografia/incisione (Figura 9). È necessario utilizzare un microscopio elettronico a scansione SEM (microscopio elettronico a scansione) per vedere se la larghezza della linea rientra nelle specifiche. Di solito è difficile individuare l'anomalia perché è difficile misurarlo esattamente.La posizione del difetto rilevato. Pertanto, viene utilizzato un software open source per convertire prima le immagini in indicatori di dati di immagine, quindi viene utilizzato JMP per l'analisi e la modellazione. In questo momento, la Y corrispondente è una variabile categoriale di buono o cattivo e X corrisponde a ciascun dato di immagine indicatore (Figura 10) (per la descrizione dell'indicatore, fare riferimento all'ultimo collegamento),
Figura 9
Figura 10
Il primo passo è selezionare le variabili Y e X (Figura 11)
Figura 11
Nella seconda fase, viene selezionato KFold per evitare piccole distorsioni nella stima del campione, vengono selezionati un singolo strato nascosto e la funzione di attivazione TanH per convertire le variabili di input rilevanti in variabili (Figura 12)
Figura 12
Il terzo passaggio consiste nel determinare indicatori quali la risoluzione degli errori, l'accuratezza dei difetti di previsione e Rsquare (Figura 13)
Il quarto passaggio consiste nel trovare i parametri che hanno un impatto significativo sul peso in base al profiler di previsione (Figura 14)
(Figura 14)
Il quinto passaggio consiste nel memorizzare la formula di previsione e visualizzare i pesi (Figura 15)
(Figura 15)
Infine, riassumiamo alcune regole pratiche per la configurazione di JMP su reti neurali, come segue:
- Le funzioni di attivazione lineare sono solitamente abbinate a variabili di input, mentre le variabili di output sono solitamente abbinate a funzioni di attivazione non lineare, soprattutto quando ci sono troppe variabili e si desidera ridurre la dimensione.
- Quando più nodi possono portare a un overfitting, è possibile utilizzare come set point iniziale il numero di nodi nello strato nascosto inferiore o uguale al numero di variabili di input.
- I modelli di reti neurali di piccole dimensioni hanno una migliore velocità di calcolo e una migliore stabilità. Se la precisione della previsione è simile a quella dei modelli di grandi dimensioni, i modelli piccoli dovrebbero essere i principali.
- Quando il numero di nodi o livelli nascosti nel livello nascosto della variabile di input è troppo grande, può essere introdotta una complessità non necessaria, portando a un overfitting del modello. È possibile utilizzare metodi di convalida incrociata per confermare e modificare le impostazioni.
- Eliminare il più possibile i valori anomali può evitare errori di stima e rendere le previsioni più efficienti.
- Le prestazioni di bilanciamento dei dati migliorano l'accuratezza della previsione. Ad esempio, quando Y è una variabile categoriale, il numero di ciascuna categoria dovrebbe essere il più coerente possibile.
Rete neurale, come metodo di apprendimento supervisionato comune, in questo articolo riassumiamo i componenti principali e il processo di formazione della rete neurale, tra cui percettrone, funzione di attivazione e configurazione del modello. Benvenuto Prova JMP gratuitamente per 30 giorni , sviluppa diversi modelli di apprendimento AI per la tua azienda.
Lettura consigliata:
Riferimenti
- Caso d'uso: JMP nella creazione di una pipeline di analisi delle immagini (2022-US-30MP-1096)
