Maschinelles Lernen spielt in einer Zeit, in der KI immer beliebter wird, eine wichtige Rolle. Die meisten Menschen sehen fertige Produkte oder Konzepte. Die Methode dahinter ist eigentlich der Schlüssel. Maschinelles Lernen unterscheidet auch hinsichtlich der Algorithmen zwei verschiedene Kategorien, nämlich überwachtes Lernen Und unbeaufsichtigtes Lernen . Gängige Methoden des maschinellen Lernens werden wie folgt klassifiziert:
überwachtes Lernen
|
unbeaufsichtigtes Lernen
|
Entscheidungsbaum
|
Clusterbildung
|
neurales Netzwerk
|
selbstorganisierende Karte
|
zufälliger Wald
|
Korrelationsanalyse
|
Regressionsanalyse
|
Einzelwertzerlegung
|
K nächster Nachbar
|
|
Naiver Bayes
|
|
existieren überwachtes Lernen Mittlerer, allgemeiner Gebrauch Gekennzeichnet Datensätze werden hauptsächlich für Schulungen und überwachtes Lernen verwendet Klassifizierung und Herstellung von Regressionsbeziehungen ; statt überwachtes Lernen verwenden Unbeschriftete Daten Der Zweck des Trainings besteht darin, einige Strukturen oder Muster aus den Daten zu entdecken. Die meisten davon werden in verwendet Clusterbildung Und Dimensionsreduktion Vorgesetzter.
Maschinelles Lernen verstehen: der Ansatz des neuronalen Netzwerks
Heute werde ich das neuronale Netzwerk vorstellen, das beim überwachten Lernen häufig vorkommt und eine lange Entwicklungsgeschichte hat. Das in JMP verwendete neuronale Netzwerk ist ANN (künstliches neuronales Netzwerk) Methode des künstlichen neuronalen Netzwerks Im Vergleich zum menschlichen Körper handelt es sich um das Konzept der Neuronen. Neuronen umfassen Zellkörper, Dendriten und Axone. Die Hauptfunktion von Dendriten besteht darin, Signale von anderen Neuronen zu empfangen. Diese Signale werden über Synapsen an Dendriten übertragen, und Dendriten werden dies tun Die empfangenen Signale werden integriert und zur weiteren Verarbeitung an den Zellkörper des Neurons weitergeleitet. Das Axon ist hauptsächlich für die Übertragung des Ausgangssignals des Neurons verantwortlich. Wenn ein Neuron aktiviert ist, überträgt es Signale über sein Axon an andere Neuronen. Die Synapse ist der Kontaktpunkt zwischen zwei Neuronen. Durch sie können Signale zwischen Neuronen über Neurotransmitter übertragen werden, und jedes Neuron überträgt Signale über sein Axon. Jede Synapse hat eine spezifische Stärke, die dem Gewicht des neuronalen Netzwerks entspricht. (Abbildung 1)
Abbildung 1
Im neuronalen Netzwerk (Abbildung 1-2) ist das Perzeptron eine wichtige Komponente, die Eingabe, gewichtete Summe, Aktivierungsfunktion (Aktivierungsfunktionen) und Ausgabe umfasst, wobei Ausgabe = Aktivierungsfunktion ist ( ∑ ich ( w ich × X ich ) + B ) , wi ist das Gewicht, xi ist der Eingabewert und b ist die Vorspannung. Das Folgende ist ein schematisches Diagramm eines einschichtigen neuronalen Netzwerks und ein einfacher mehrfacher linearer Regressionsausdruck, wenn die Aktivierungsfunktion eine lineare Funktion ist (Abbildung 2).
Abbildung 2: Einfacher multipler linearer Regressionsausdruck, wenn die Aktivierungsfunktion eine lineare Funktion ist
3 Art JMP Die darin verwendete Aktivierungsfunktion
- TanH:
: Die hyperbolische Tangensfunktion ist eine S-förmige Funktion zwischen -1 und 1. Sie ist die zentralisierte und skalierte Version der Logistikfunktion, wobei x eine lineare Kombination von Eingabevariablen ist (Abbildung 3) und ihre Ausgabe zentralisiert ist. Wenn Y eine kategoriale Variable oder eine nichtlineare Beziehung ist, kann sie als Aktivierungsfunktion verwendet werden, was auch eine häufig verwendete Aktivierungsfunktion ist. Der Gradient der Extremwerte -1 und 1 an beiden Enden liegt nahe bei 0 , was die Lerngeschwindigkeit verlangsamen kann.
Abbildung 3: Linearkombination
- Linear: Auch als Identitätsfunktion bekannt, durchläuft sie nicht den Variablenkonvertierungsprozess (Abbildung 4), das heißt: Die Variablen weisen eine lineare Beziehung auf, und das übliche Verwendungsszenario besteht darin, die Dimension der Eingabevariablen zu reduzieren. .
Figur 4:
- Gaussian: Gaußsche Funktion:
Es gehört zur Radialbasisfunktion, einer nichtlinearen Funktion, die anwendbar ist, wenn die Reaktionsebene eine Gaußsche Ebene ist (Abbildung 5). Der Nachteil besteht darin, dass die Geschwindigkeit der Gewichtsaktualisierung langsam ist, was sich auf die Effizienz und den Effekt des Trainings auswirkt. Im Vergleich zu Tanh ist die Frequenz niedriger.
Abbildung 5-1:
Abbildung 5-2:
Als nächstes erklären wir, wie man das neuronale Netzwerk in JMP einrichtet: (Abbildung 6)
Abbildung 6
Die anfängliche Validierungsmethode wird verwendet, um die Modellerklärungsfähigkeit des Trainingssatzes und des Validierungssatzes zu bewerten. Es werden zwei Kreuzvalidierungsmethoden, KFold und Holdback, angegeben, da KFold alle Daten zur Überprüfung verwendet und mehrere Schätzungen bereitstellt, was die Stabilität verbessert der Modellbewertung. Bei kleinen Stichproben können verzerrte Ergebnisse vermieden werden, die Ausführungszeit ist länger und die Holdback-Ausführungszeit ist kurz, aber die Datenüberprüfung weist eine relativ hohe Variabilität auf.
Die Anzahl der Touren unten gibt an, wie oft der Modelltrainingsprozess neu gestartet werden muss, um zu verhindern, dass das Modell auf den lokalen optimalen Wert statt auf den globalen optimalen Wert fällt. In Bezug auf die Einstellungen für versteckte Ebenen bietet JMP Standard Edition eine versteckte Ebene mit einer Ebene Einstellungen. JMP Pro bietet eine Einstellung für ausgeblendete Ebenen mit zwei Ebenen. Die Verwendung weiterer ausgeblendeter Ebenen dient in der Regel der Untersuchung komplexer nichtlinearer Beziehungen, wenn die Datenstruktur komplex oder die Daten hierarchisch und sequentiell sind, wie z. B. Variablen unterschiedlichen Typs und zahlreiche Datenquellen ; Der Zweck des Festlegens mehrerer Knoten besteht darin, mehr Muster zu lernen. Wenn mehr Eingabevariablen vorhanden sind, müssen die festzulegenden Knoten verbessert werden.
Für Überanpassung stellt JMP die folgende Strafmethode bereit:
(Quadrat): Wird verwendet, wenn davon ausgegangen wird, dass die meisten Eingabevariablen einen Einfluss auf das Modell haben.
(Absolut) oder
(Gewichtsabfall): Wird verwendet, wenn viele Eingabevariablen vorhanden sind, aber nur einige davon voraussichtlich Auswirkungen auf das Modell haben.
JMP bietet auch Optionen für die Variablenkonvertierung, wie etwa Transform Covariates, das Eingabevariablen in annähernd normale Verteilungen umwandelt. Die Vorteile der Konvertierung können dazu führen, dass das Training schneller konvergiert und das Verschwinden von Gradienten vermieden wird. 1 Probleme usw. In ähnlicher Weise können Sie in Situationen, in denen die Ausgabevariable eine schiefe Verteilung, einen dicken Schwanz usw. aufweist, die Option „Robuste Anpassung“ verwenden, um den Einfluss von Ausreißern zu vermeiden.
Der Prozess der Modellanpassung
Beschreiben Sie anhand der obigen Beschreibung kurz den Prozess der Modellanpassung:
Verwenden Sie die Wahrscheinlichkeitsfunktion plus Straffunktion und die Quasi-Newton-Iterationsmethode, auch bekannt als BFGS. 2 Methode: Finden Sie den Punkt, an dem die Verlustfunktion plus die Straffunktion (falls berücksichtigt) das Minimum erreichen (Abbildung 7), um die Parametergewichte anzupassen. Im Allgemeinen kann der Minimalpunkt durch etwa 20-50-malige Kreuzvalidierung ermittelt werden.
Abbildung 7
Wenn JMP das Modell anpasst, steht auch eine Boosting-Methode zur Auswahl. Die Lernraten liegen zwischen 0 und 1 und die Anzahl der anzupassenden Modelle kann angepasst werden. Es wird eine Reihe kleiner Modelle addiert. Zu bilden Im endgültigen Modell wird jedes kleine Modell basierend auf dem Fehler des vorherigen Modells angepasst, wobei die Anzahl der angepassten Modelle berücksichtigt wird und ob die Gesamtinterpretierbarkeit des Modells nach der Kreuzvalidierung nicht mehr verbessert werden kann. Für kleine Modelle gilt im Allgemeinen nur a Es werden eine einzelne verborgene Ebene und ein oder zwei Knoten festgelegt, was den Vorteil hat, die Genauigkeit des Modells zu verbessern. (Abbildung 8)
Die Einstellung der Lernrate und der Anzahl der Modelle erfolgt im Allgemeinen so, dass die Anzahl der Modelle umso kleiner sein sollte, je näher die Lernrate bei 1 liegt. Je komplexer das kleine Modell mithilfe der Boosting-Methode eingestellt wird, desto höher ist die Bedeutung des Bonus geht verloren. JMP erlaubt nicht die Einstellung von zwei Ebenen. Versteckte Ebene kombiniert mit der Boosting-Methode.
Abbildung 8
Lithografie / Teilen von Radierungsfällen
Unten aufgeführte Beispiele vom JMP Discovery Summit 2022 3 , Seitenwanddefekte treten manchmal während der Lithographie-/Ätzphase auf (Abbildung 9). Es ist notwendig, ein Rasterelektronenmikroskop (REM) zu verwenden, um zu sehen, ob die Linienbreite innerhalb der Spezifikation liegt. Normalerweise ist es schwierig, die Anomalie zu erkennen weil es schwierig ist, es genau zu messen. Der Ort des erkannten Defekts. Daher wird zunächst Open-Source-Software verwendet, um die Bilder in Bilddatenindikatoren umzuwandeln, und dann wird JMP zur Analyse und Modellierung verwendet. Zu diesem Zeitpunkt ist das entsprechende Y eine kategoriale Variable für gut oder schlecht, und X entspricht den einzelnen Bilddaten Indikator (Abbildung 10) (Eine Beschreibung des Indikators finden Sie im letzten Link),
Abbildung 9
Abbildung 10
Der erste Schritt besteht darin, die Y- und X-Variablen auszuwählen (Abbildung 11).
Abbildung 11
Im zweiten Schritt wird KFold ausgewählt, um kleine Stichprobenschätzungsfehler zu vermeiden. Eine einzelne verborgene Schicht und eine TanH-Aktivierungsfunktion werden ausgewählt, um die relevanten Eingabevariablen in Variablen umzuwandeln (Abbildung 12).
Abbildung 12
Der dritte Schritt besteht darin, Indikatoren wie Fehlerauflösung, Genauigkeit der Vorhersagefehler und Rsquare zu bestimmen (Abbildung 13).
Der vierte Schritt besteht darin, die Parameter zu finden, die einen signifikanten Einfluss auf die Gewichtung haben, basierend auf dem Vorhersageprofiler (Abbildung 14).
(Abbildung 14)
Der fünfte Schritt besteht darin, die Vorhersageformel zu speichern und die Gewichte anzuzeigen (Abbildung 15).
(Abbildung 15)
Abschließend fassen wir einige Faustregeln für die Einrichtung von JMP in neuronalen Netzen wie folgt zusammen:
- Lineare Aktivierungsfunktionen werden normalerweise mit Eingabevariablen gepaart, während Ausgabevariablen normalerweise mit nichtlinearen Aktivierungsfunktionen gepaart werden, insbesondere wenn zu viele Variablen vorhanden sind und Sie die Dimension reduzieren möchten.
- Wenn mehr Knoten zu einer Überanpassung führen können, kann es als Startsollwert verwendet werden, die Anzahl der Knoten in der verborgenen Schicht kleiner oder gleich der Anzahl der Eingabevariablen zu halten.
- Kleine neuronale Netzwerkmodelle haben eine bessere Rechengeschwindigkeit und eine bessere Stabilität. Wenn die Vorhersagegenauigkeit der von großen Modellen ähnelt, sollten kleine Modelle die Hauptmodelle sein.
- Wenn die Anzahl der Knoten oder verborgenen Schichten in der verborgenen Schicht der Eingabevariablen zu groß ist, kann unnötige Komplexität entstehen, was zu einer Überanpassung des Modells führt. Kreuzvalidierungsmethoden können verwendet werden, um Einstellungen zu bestätigen und anzupassen.
- Durch die weitestgehende Eliminierung von Ausreißern können Schätzungsverzerrungen vermieden und Vorhersagen effizienter gemacht werden.
- Die Ausgleichsleistung der Daten verbessert die Vorhersagegenauigkeit. Wenn Y beispielsweise eine kategoriale Variable ist, sollte die Anzahl jeder Kategorie so konsistent wie möglich sein.
In diesem Artikel fassen wir als neuronales Netzwerk als gängige Methode des überwachten Lernens die Hauptkomponenten und den Trainingsprozess des neuronalen Netzwerks zusammen, einschließlich Perzeptron, Aktivierungsfunktion und Modellkonfiguration. Willkommen Testen Sie JMP 30 Tage lang kostenlos , entwickeln Sie verschiedene KI-Lernmodelle für Ihr Unternehmen.
Literatur-Empfehlungen:
Verweise
- Anwendungsfall: JMP beim Aufbau einer Bildanalyse-Pipeline (2022-US-30MP-1096)
