Lautsprecher | Transkript |
| Fabio D'Ottaviano | Okay, danke an alle, die sich dieses Video hier angesehen haben. Wie Sie sehen, werde ich über fehlende Zufallseffekte beim maschinellen Lernen sprechen. |
| Es ist eine Arbeit an Ideen zusammen mit meinem Kollegen Joe Young. Wir arbeiten beide für die Dow Chemical Company in der koreanischen Entwicklungsabteilung und helfen Ihnen dabei, neue Prozesse und vor allem neue Produkte zu entwickeln. |
| Was Sie hier auf diesem Bildschirm sehen, ist ein großer Bingo-Käfig, denn unser Vortrag hier dreht sich um Simulation, und Simulation hat, zumindest für mich, viel damit zu tun. |
| Beim Bingo haben Sie die Verteilung Ihrer Kugeln und Zahlen bei dem großen Ereignis festgelegt und können diese dann einfach nach Belieben auswählen. In Ordnung. |
| Auch dieser Vortrag hat mit der Veröffentlichung zu tun, haben wir gerade gesagt. |
| In letzter Zeit, was den gleichen Namen hat, und Sie können gewinnen, was Sie Zugriff auf diese Präsentation haben sollten, Sie können einfach hier klicken und Sie erhalten Zugriff auf das gesamte Papier. Hier ist also nur eine Zusammenfassung dessen, was wir dort veröffentlicht haben. |
| Okay, was ist der Kontext dafür? Zunächst einmal hat maschinelles Lernen eine Art Plug-and-Play-Anreiz für Lernsitzungen. |
| Ich weiß, dass Sie nichts Attraktives voraussetzen müssen. Außerdem gibt es heutzutage sehr benutzerfreundliche Software. Wissen Sie, die Leute machen das heutzutage gerne. |
| Allerdings gibt es überall Zufallseffekte und diese Effekte auszuführen ist eine lustige Sache, weil es ein etwas komplexeres Konzept ist. Es ist also eher nicht |
| Das Befassen mit grundlegenden Statistikkursen zeigt fortgeschrittenere Themen. Sie werden also viele Leute finden, die maschinelles Lernen betreiben, ohne viel über Zufallseffekte zu wissen. |
| Und selbst wenn sie dieses Verständnis haben, dann ist das Konzept der zufälligen Tatsache |
| Trotzdem kommt es nicht zu einem lauten Streit mit Leuten, die sich mit maschinellem Lernen beschäftigen, weil es nur wenige Algorithmen gibt, die dazu in der Lage sind und Zufallseffekte nutzen können. |
| Sie können diese Referenz hier überprüfen, wo Sie sehen, dass es einige Bäume und zufällige Wälder gibt, und es kann es dauern, aber die jüngsten und sie sind nicht, wissen Sie, verteilt |
| Überall. Es wird also schwierig sein, etwas zu finden, das mit Zufallseffekten beim maschinellen Lernen umgehen kann. |
| Sprechen wir einfach ein wenig über die Zufallseffekte. Wie Sie hier sehen können, mischen wir, zumindest in der chemischen Industrie, aus der ich komme, normalerweise drei Komponenten. Richtig. Diese Gelb-, Rot- und Grüntöne. |
| Wir machen den Prozentsatz jeder dieser Komponenten auf verschiedene Ebenen. Und dann messen wir die Reaktionen, wenn wir ihn ändern, den Prozentsatz dieser Komponenten mit einer bestimmten Ausrüstung, und manchmal gibt es sogar einen Bediener oder Labortechniker, der |
| Auch das Ergebnis, das Sie sehen möchten, kann beeinträchtigt werden. Okay. Und wenn wir diese Art von Experiment durchführen, möchten wir verallgemeinern, also die Ergebnisse, richtig, oder was auch immer für eine Vorhersage wir versuchen, hierher zu gelangen. |
| Aber das Problem ist, dass Sie wissen, wann ich diese grüne Komponente hier mische. Wenn ich das nächste Mal von dem Lieferanten kaufe, der mir diese grüne Komponente liefert, |
| Und der grüne Farbton, wissen Sie, sehr und ich weiß nicht, was das nächste Mal ist, wenn ich diese grüne Komponente kaufe, ist die Charge. Wäre das der Lieferant, der mir genau das gleiche Grün gibt, weil es eine Variabilität im Angebot gibt |
| Darüber hinaus kann es sein, dass ich Erfahrung damit habe, dass ich ein bestimmtes Gerät verwende. Aber wenn ich mich in meinem Labor oder in anderen Laboren umschaue, kann es sein, dass ich andere Fabrikate dieser Geräte vorfinde. |
| Und obendrauf. Sie haben vielleicht auch Lebensmittel, deren Messung vom Bediener abhängt, der das richtig macht, also können Sie auch eingreifen und meine irgendwie verarmen |
| Vorhersage hier auf meine Verallgemeinerung zu |
| Machen Sie, was immer ich hier vorhersagen möchte, außer |
| Dies ist das typischste, denke ich, in der chemischen Industrie, nämlich das Experiment experimentelle Chargenvariabilität |
| Mit der Zeit wird das Gleiche immer wieder wiederholt. |
| Nehmen wir an, Sie führen hier ein Experiment durch, Sie erhalten Ihr Modell, Ihr Modell kann etwas vorhersagen, aber dann wiederholen Sie das Experiment, um ein weiteres Malden-Modell zu erhalten, und erhalten ein weiteres Modell, die Vorhersagen dieser drei Modelle. |
| Kann jetzt erheblich anders sein. Nick, lesbar. Es gibt also auch die Zeitkomponente. |
| Was ist also das Problem, von dem ich hier spreche? Normalerweise haben wir gespeicherte Daten und historische Daten, also eine Sammlung von Datenfragmenten, die Sie in der Vergangenheit erstellt haben. |
| Und die Leute haben sich nicht viel Mühe gegeben, dieses Ergebnis zu verallgemeinern. Das Ergebnis zum Zeitpunkt des Experiments. Wenn wir sie also sammeln und sie als historische Daten bezeichnen, haben wir möglicherweise Tags für den Zufallseffekt, oder auch nicht, richtig. |
| Und dann, wenn Sie Text haben, der zumindest von dort kommt, wo ich herkomme. Dies ist eher eine Ausnahme von der Regel, dass es für mich keine Steuerfakten gibt, was, zumindest nicht für nicht alle von ihnen. |
| Nehmen wir an, Sie haben Tags. Sie können beispielsweise maschinelle Lerntechniken verwenden, die diese Zufallseffekte verarbeiten und in das Modell einspeisen können. Und das war’s. Sie haben kein Problem. |
| Aber wie gesagt, es ist nicht sehr gut, maschinelle Lerntechniken zu verwenden, die zufällige Effekte verhindern können. Sie könnten versucht sein, maschinelles Lernen zu verwenden. |
| Und wenn man die Zufallseffekte in das Modell einfließen lässt, als wären sie fest, dann stößt man auf das bekannte Problem, dass man den Zufallseffekt als fest behandeln sollte. |
| Um es einfach zu sagen: Es wird Ihnen schwer fallen, neue Entwicklungen vorherzusagen, denn wenn Ihr Zufallseffekt beispielsweise europäisch ist, haben Sie später nur wenige |
| Operatoren in Ihren Daten, richtig, ein paar Namen, aber wenn es einen neuen Operator gibt, der Tage macht, dann nicht. Sie können nicht vorhersagen, welche Auswirkungen dieser neue Operator haben wird. Hier gibt es also keinen Deal |
| Und dann gibt es noch eine Sache, die Sie tun können. Das tun Sie. Sie sollten Steuereinnahmen haben oder nicht, wir opfern uns wieder jede Technik des maschinellen Lernens. |
| Und wenn Sie Zufall haben, sollten Sie die Tags haben, Sie ignorieren den Zufallseffekt oder wenn nicht. Wie auch immer, Sie werden es ignorieren. Ob Sie es wollen oder nicht. Was ich also machen möchte, ist ein weniger simulierender Shooter. Wir verwenden Seilspringen. |
| Und wissen Sie, ich hoffe, Ihnen haben die Ergebnisse gefallen. |
| Im Wesentlichen die Simulation. Ich werde also ein gemischtes Effektmodell mit festen und zufälligen Effekten verwenden. Und dann verwenden wir dasselbe Modell, um abzuschätzen |
| Mit der Antwort darauf, um das Modell zu machen, nachdem ich simulieren und auch modellieren, die Ergebnisse meiner Simulation hier mit einem neuronalen Netz rechts |
| Dann verwenden wir dieses Modell hier als Vorhersageleistung dieses Modells hier. |
| Wir verwenden es als Benchmark, um die Leistung des Near Edge vorherzusagen, um später zu vergleichen, was passiert. Sie finden hier den Zufallseffekt, richtig. |
| Dann, okay. Manchmal, wenn ich darüber spreche, denken die Leute, ich vergleiche ein lineares Mischeffektmodell mit einem neuronalen Netz für maschinelles Lernen. Aber das ist nicht der Fall, wir vergleichen hier ein Modell mit und ohne Zufallseffekt. |
| Auch wenn es einen Zufallseffekt in den Daten gibt. Ich könnte das tun. Zum Beispiel ein |
| Lineares Modell mit laufenden Effekten im Vergleich zu einem linearen Modell ohne laufenden Effekten. |
| Und ich könnte ein neuronales Netz mit Zufallseffekten im Vergleich zu Urin ohne Zufallseffekt machen. Aber das Problem ist, dass es heute kein Wunder gibt, das zum Beispiel mit Zufallseffekten umgehen kann. Also bin ich gezwungen, zu verwenden. Zum Beispiel ein linearer Mischeffekt aller |
| Meine Simulationsfaktoren. Nun, ich werde etwas verwenden, das in der Branche typisch ist, nämlich eine Mischung mit dem Prozessvariablenmodell. |
| Nehmen wir an, ich habe diese drei Komponenten. Ich habe sie Ihnen schon einmal gezeigt. Sie kennen Gelb, Rot und Grün. Sie haben einen bestimmten Prozentsatz und ergeben zusammen eins. |
| Ich habe eine kontinuierliche Variable, die zum Beispiel die Temperatur sein kann. Ich habe eine kategorische Variable, die vom Typ „Kapitalist“ sein kann, und ich habe einen Zufallseffekt, der von Versuchsreihe zu Versuchsreihe sehr hässlich sein kann. Okay. |
| Das Simulationsmodell. Nun, es ist ziemlich einfach. Ich habe hier meine Mischung aus Haupteffekten M eins, M zwei und drei. Richtig. Und Sie werden überall in diesem Modell sehen, dass die festen Effekte alle entweder eins oder minus eins haben. Ich habe ihnen einfach zufällig eins minus eins zugewiesen. |
| Ich habe also die Haupteffekte der Mischung. Hier habe ich die Wechselwirkung der Mischung in zwei Richtungen, die Wechselwirkung der Mischung wäre eine kontinuierliche Variable. |
| Und die Interaktion der kategorialen Variable mit den Komponenten. Und schließlich die Einführung der kontinuierlichen Variable mit der kategorialen Variable. |
| Außerdem habe ich diese: Warum wählen wir hier meinen Zufallseffekt und den Ej, der mein Zufallsfehler ist? Richtig. Und beide sind hier mit einer gewissen Varianz normalverteilt. Ich sagte, die Varianz zwischen den besten Experimenten, richtig, und verwendet die Divergenz innerhalb der Übereinstimmung der Experimentchargen. |
| Von all dieser Präsentation, nur um diese ganze Formel in repräsentieren eine Formung desto mehr sage ich nette Art und Weise oder verwenden Sie diese Form ein Held X stellt eigentlich alle Korrekturen Effekte und Beta |
| Stellt alle Parameter dar, die ich verwendet habe. Richtig. Und mein Warum hier. Eigentlich das Erwartete. Warum ist eigentlich XP richtig, es ist diese ganze Sache ohne meinen Zufallseffekt hier und wir haben meinen Renault Bürgermeister behandelt. |
| Simulationsparameter. Nun, hier habe ich einen, der die Datengröße ist, richtig, der, den sie. Was passiert, wenn ich nicht so viele Daten habe und |
| Mehr Datenebenen und mehr Daten, genau hier. Ich habe zwei Ebenen mit 110.000 Rollen bei jedem Experimentiersatz, hier haben eigentlich 20 Zeilen einen besseren Effekt als 200. Die andere Sache, die ich variieren werde, ist, dass D über das Abzeichen für den Cluster entscheidet, ganz wie Sie möchten. |
| Manchmal wird es so sein. Ich habe zwei Stufen, 4 % und 25 %, also 4 % bedeutet, wenn ich 100 Rollen dieser einen Charge Erfahrung habe, werden wir |
| Es wird tatsächlich für Rollen sein. Ich werde also 2525 Chargen haben. Wenn ich insgesamt 100 Rollen habe, sind 25 % meiner Chargengrößen nicht vorhanden und ich habe nur vier Chargen. |
| Die andere Variable, die wir hier ändern, ist die Gesamtvarianz. Richtig. |
| Und gut, wir haben hier zwei Stufen, 0,5 und 2,5 ist die Hälfte der Effektstärke, die Sie wählen können. Also die Formel hier. Sie ist für den festen Effekt alles Einsen. |
| Und die andere ist, zu schreiben, und die Summe dieser Gesamtvarianz ist die Summe meiner Variation zwischen Chargen und innerhalb von Chargen, also eine Varianz. Richtig. Und schließlich werde ich noch das Verhältnis zwischen zwei innerhalb von Chargen ändern. |
| Ähnliche Segmente. Richtig. Also habe ich eins und vier. Also in einem meiner |
| Zwischen den Chargenvariationen wird der Gewinn gleich sein und die andere wird viermal größer sein als der Gewinn |
| Dann, sobald ich mich niedergelassen habe, ist für |
| vier Faktoren hier. Ich sage Parameter und dann machen Sie eine vollständige Fakultät, tragen wir unsere haben 16 Läufe rechts zu |
| Auf zwei Ebenen der Datengröße, zwei Ebenen der Batchgröße, zwei Ebenen der Gesamtvarianz. Angelos war die Wüste. |
| Damit kann ich es innerhalb der Segmente entsprechend berechnen. Richtig. Und das ist das Setup für die Simulation. Okay. Ich nenne es jetzt Simulations-Hyperparameter, weil man es ändern kann, wie wir |
| Was ich tun würde, und ich werde es Ihnen in der Demo zeigen. Es wäre 30 Simulationsrisiken oder führen wir sie aus. Also, jede der 16, die ich gemacht habe, ist, dass ich sie jeweils 30 Mal ausführe. Richtig. Also, zum Beispiel, |
| Ich lasse eine Simulation von 123 bis schmutzig laufen und für die Fixeffekte. Die, die Schwierigkeitseffekte. Ich verwende das Space Feeling Design. |
| Und der Grund, warum ich dieses raumfüllende Design verwende, liegt darin, dass ich den Effekt des fehlenden „Hier und Dann“-Effekts nicht mit der Tatsache verwechseln möchte, dass ich möglicherweise einige Anrufe von Wohltätigkeitsorganisationen bekomme oder nur spärliche Daten vorliegen. |
| Das ist typisch für historische Daten. Richtig. Ich möchte das nicht in der Mitte meines Weges haben. Ich möchte, ich bevorzuge Design und Raumgefühl, Design, das wir verbreiten |
| Ebenen der festen Effekte über den Eingaberaum. Wenn ich also dieses Problem der spärlichen Trefferquote der Daten loswerde oder die Ungereimtheit richtig bereinige und dann dem Batch zuordne, randomisieren wir den Batch über die Läufe in der ersten Runde und verwenden dann die gleiche |
| Sequenz über alle anderen 29 Läufe hinweg. Wir haben also bei allen Läufen die gleiche Standortgruppe. |
| Spätestens. Und schließlich werden alle Standorte des Weihnachtsmanns für jeden Simulationsdurchlauf zufällig ausgewählt. Also lass mich einfach aus der Luft steigen und anfangen zu springen. |
| Er würde es also so machen, wie ich es früher für spezielle Spilling-Designs gemacht habe. Ich werde meinen Faktor hier laden, nur weil ich hier schnell sein will. Wie auch immer, hier habe ich meine 12345 Fixeffekte. |
| Raumgefühl-Designs akzeptieren keine Mischung von Variablen. Sie müssen also festlegen |
| lineare Einschränkungen hier, nur um zu sagen: Schau, diese drei Typen hier müssen zusammen eins ergeben. Das ist also, was ich hier machen werde. |
| In Ordnung. |
| Wenn diese Einschränkung also erfüllt ist, wird ein Beispiel für den ersten Durchlauf dieses d angezeigt, bei dem ich eine Datengröße von 100 und eine relative Batchgröße von 4 % habe. |
| Gesamtvariation, Gesamtvarianz, Punkt fünf, und das Verhältnis wird eins sein. Wenn ich also hierher zurückgehe und 100 Läufe generieren muss, muss ich auch diese Theorie replizieren und Sie müssen den Zufallsstartwert und die Anzahl der Starts richtig einstellen |
| Dann ist die einzige Option, die ich habe, wenn ich von Einschränkung spreche, das schnelle, schnellere, flexible Fülldesign. Und los geht‘s, ich bekomme die Tabelle hier richtig, sodass Sie diese Tabelle einbinden können. |
| Eine Sache, die Sie sehen, ist, wenn Sie einen ternären Block verwenden und Ihre drei Komponenten verwenden. Sie sehen, dass alles verteilt ist. Ups. |
| Ich habe hier ein Problem, dass sie |
| Nicht |
| Lassen Sie mich zurückgehen. Es gibt ein Problem mit den Einschränkungen, ja. Ich habe das hier vergessen. Jupp. |
| Also gut, fangen wir noch einmal von vorne an. Hundert |
| Satz |
| Zufälliger Sitz 21234 |
| Und die Nummer beginnt. Großartig. |
| Nächstes Buch: Tisch machen. Ja. Und dann muss ich nur noch nachsehen, ob alles ausgebreitet ist. |
| Und finde es heraus. Ja. Also gut, dann schaue ich mir meine kategoriale Variable hier an. Ich möchte sehen, ob sie sich für alle verteilt. Wie Sie sehen können, ist dies für eins und zwei. Großartig. Jetzt sagte ich, lassen Sie mich alles abschließen, wir machen 30 Simulationen. Das ist also eine SIMULATION, RICHTIG. Ich habe 100 Rollen. |
| Aber jetzt muss ich 30 machen. Also werde ich hier Rollen hinzufügen. |
| 2900 |
| Am Ende |
| Und wir wählen einfach diese ersten 1000 Durchläufe aus, Entschuldigung, 100 Durchläufe, alle Variablen, ein Jahr. |
| Und fühle bis zum Ende des Tisches. Großartig. Jetzt wiederhole ich das gleiche Design 30 Mal richtig |
| Jetzt, |
| Um es schneller zu machen, würde ich es einfach öffnen. Ich verwende diese Tabelle jedoch erneut. Verwenden Sie einfach eine andere Tabelle, in der ich alles, was ich anzeigen wollte, bereits eingerichtet habe. |
| Also ja, ich habe wieder die Tabelle, die ich habe. Als nächstes würde ich hier einfach eine Simulationsspalte erstellen, um zu sagen, |
| Mit dieser Formel hier kann ich sagen, dass Simulationen bis 100 Zeilen 100 sind, diese Simulation 1 und dann alle 100 die Simulationszahlen ändern. Am Ende des Tages habe ich also offensichtlich 30 Simulationen mit 100 Rollen. Jeder große |
| Dann der Batch-Speicherort, nur um zu erklären, was sie getan haben. Ich habe das gerade in PowerPoint gezeigt. Ich habe eine Farm. Jetzt erstellen Sie zwei Batches mit 4 % der Größe der gesamten Datengröße, was bedeutet, dass ich hier vier Zeilen pro Batch habe, statt vier und so weiter. Und sobald die |
| Ich komme hier auf 100 und springe von der Simulation. Will zur Simulation, dann geht alles wieder von vorne los. Richtig. Also habe ich am Ende des Tages … |
| Alle 25 Chargen hier. Okay. |
| Als nächstes werde ich meine Validierung erstellen |
| Spalte, was bedeutet, dass ich den Satz richtig aufteilen muss, damit |
| Zurück zu dieser Demonstration. Zurück zur PowerPoint-Präsentation. Sie sehen, dass für die Lösung, die ich erstellen werde, das Neuron, das ich hatte, |
| Ist die Rollenverteilung so werden 60% davon zum Trainingsset gehören, 20% zum Validierungsset und die anderen 22% zum Testset. Wie mache ich das in diesem Fall also wieder zurück zu John? |
| So, das ist es. Ich werde das hier verstecken |
| Okay, hier ist also die Validierungsfrage. Wie mache ich das? Es ist bereits da, aber ich erkläre nicht, wie Sie das machen, sondern gehen Sie zu Analysieren |
| Machen Sie Validierung Spalte Sie Ihre Simulation Spalte hat eine Zertifizierung, gehen Sie und dann tun Sie einfach |
| Punkt 6.5 2.2 und ein Benutzer einen zufälligen Seed hier nur um sicherzugehen, dass Sie sehen, das ist, wie ich diese Spalte richtig erstellen |
| Dann gehe ich hier zurück zu meiner Präsentation. |
| Die ganzen 60%, die zum Trainingsset für das neue Jahr gehören und die 10 bis 20%, die |
| Gehört auch zum Validierungssatz für das Nahnetz. Jetzt gehören beide zu einem Satz namens Modellierungssatz für die Mischeffekte. Also der Mischeffekt. |
| Modell, es wird keine Validierung geben. Wir haben das Modell einfach mit diesen 80 % geschätzt und der Testsatz der Lösung mit gemischten Effekten wird die gleichen 20 % sein, die ich für das neue Jahr für diese Lösung verwende. In diesem Fall gehe ich also zurück zum Sprung und |
| Gehen Sie hier |
| Und es ist einfach toll, eine Formel zu hören, bei der man weiß, dass Null die Validierung des neuronalen Netzes bedeutet, und Null bedeutet Training, also Training, also weiterhin Training. |
| Eines ist die Validierungseinstellung, die meine Modellierung sein wird, und zwei ist mein Testsatz, und das wird auch hier mein Testsatz sein. Also habe ich diese erstellt und dann |
| Spaltenname für alle Ihre Beschriftungen: Null steht für „Modellierung“ und Eins für „Schreibtisch“, sodass Sie hier sehen, was auch immer hier versteckt ist, er steht hier, aber was Sie durch eine Validierung anstrengen, wird zu „Modellierung“, und dann muss ich schließlich die Formeln für meine Antwort festlegen. |
| Also für den erwarteten Wert meiner Simulation. Ich muss hier nur die Effektformel korrigieren, es gibt hier keinen zufälligen Term. Also gut. Und das ist mein erwarteter Wert, meine Frau und meine Frau ij werden |
| Und wenn Sie sich die Formel ansehen, haben Sie das y, das mein Erwartungswert ist, und hier habe ich eine Formel zur Generierung |
| Ein zufälliger |
| Wert nach einer Normalverteilung mit Mittelwert Null und zwischen Sigma Sigma |
| Zwischen Sigma. Es ist so, als würde ich die Variablen hier und als Tabellenvariable festlegen, da ich den Wert später als Woche ändern kann, ohne zur Formel zu gehen. Aber trotzdem wird jedes Mal, wenn Sie die Chargennummer ändern, ein einzelner Wert generiert. Wenn meine Charge also |
| Hier wird es derselbe Wert sein, wenn ich ihn auf 22 ändere, entsteht ein anderer Wert. |
| Und wenn ich von einer Simulation zu einer anderen wechsle, habe ich also einen Wert für 25 pro Stapel 25, unsere Simulation 1, und wenn ich dann zu Stapel 1 der Simulation springe, erstellt es einen anderen Wert. |
| Richtig. Und hier ist nur meine normale Zufallszahl mit Sigma, die ich hier auf den Tisch gelegt habe, richtig. Sehen Sie sich also einige Replikationen des Deals an, den wir durchführen. Ich habe Sigma 05 und 05 |
| Also gut, ich habe hier also eine Lösung für die Simulation meines Mix-Effekt-Modells direkt davor. Lassen Sie mich hier zurückgehen und Ihnen zeigen, was ich mache. |
| Beispielsweise für das Mix-Effekt-Modell. Mein Simulationsmodus ist dieser, aber bei meinem Modell könnte es bei der Analyse um den Hut gehen. |
| Und mein kleines Wesen hier wird gehackt werden, richtig. Es ist also unser Strand, die Werte für das zu erfüllen, was ich simuliert habe |
| Und dann im Mix-Effekt-Modell. Ich muss ein Vorhersagemodell verwenden. Eins ist das passende bedingte Modell, wenn ich verwende |
| Das eine ist meine Schätzung der Zufallseffekte und das andere ist meine Randschätzung, wenn ich keine habe. Richtig. Ich habe also diese beiden Modelltypen. |
| Das ist gut, um Dinge vorherzusagen, die ich bereits in den Daten habe. Und das ist etwas, das ich verwendet habe, um Daten vorherzusagen, ohne einen vollständigen Datensatz zu haben, richtig. |
| Für das neue Jahr verwende ich, wissen Sie, die standardmäßige Art von „Nah- und End- und Sprung“, die ich, wie Sie wissen, nicht nur verwende, weil sie schwierig ist, da sie im Grunde genommen funktioniert. |
| Sie haben hier alle fünf festen Effekte. Ich verwende eine Ebene mit drei Knoten, alle hyperbolischen Tangensfunktionen, wie Sie hier sehen können |
| Und dann haben Sie hier eine Funktion namens hx, die die Summe der Bezirksfunktionen plus einem Bias-Term hier ist, richtig. |
| Wenn ich also mehr Knoten hinzufüge, wird es nicht besser. Sie werden feststellen, dass es noch schlimmer wird, wenn Sie nur zwei Knoten verwenden. Ich werde das also überall verwenden. Und das werde ich Ihnen hier zeigen. |
| Meine Show. Ups. Okay. |
| Zeigen. |
| Ich gehe zu dir zurück. Also |
| Hier habe ich meine |
| Lösung für ein Modell mit gemischten Effekten. Wie bin ich darauf gekommen? Nur um es Ihnen zu zeigen. Ich habe hier die Antwort, ich habe die Validierung der gemischten Effekte durch Simulation eingefügt. |
| Alle meine festen Effekte pro Jahr und mein Zufallseffekt ist mein Batch, richtig, und dann eine genetische diese erste Simulation. Sie sehen Simulation eins und es geht den ganzen Weg die Simulation Türkei richtig |
| Ich konnte beispielsweise die Simulationsfunktion von jump hier nicht verwenden, da ich die Validierungsspalte für jeden Stapel ändere. Ich kann also nicht, zumindest weiß ich nicht, wie ich das machen soll, wie ich die Validierungsspalte in die Formel von |
| Ich weiß G. |
| Und. Okay. Also, hoppla, zurück hier, dann habe ich jetzt ein weiteres Skript dafür und du bist dabei, es wird ein bisschen dauern |
| Sollte kein großes Problem sein. |
| Wenn ich zum Beispiel Folgendes mache: |
| Die Läufe, die Sie ausführen. Wir haben 1000 Zeilen pro Simulation, die Kurse von allen Zeiten in etwa 10 bis 15 Minuten annehmen können |
| Die gleichzeitige Durchführung der Hörsimulationen sollte einige |
| Und |
| Da gehen wir. |
| Okay, also hier habe ich, wieder, meine, wenn Sie sich ansehen, jeder von ihnen hat fünf drei Noten, richtig, okay, und Sie haben Simulation eins bis hin zu Simulation 30 |
| Richtig. Jetzt habe ich das alles für den ersten Lauf meines Jahres erledigt. Als nächstes muss ich verstehen, welche Art von Quadraten es gibt. Ich werde gleich vergleichen, es gibt tatsächlich |
| Hier sind fünf Arten von Quadraten, richtig, also hier ist die Formel für R-Quadrat. Warum, warum unterscheide ich die Di-Quadrate hier nach Typ, weil es davon abhängt, was Sie in dieser Formel verwenden, nämlich „tatsächlich“ gegenüber „vorhergesagt“. |
| Sie kennen Ihre quadratische Änderung. So habe ich zum Beispiel hier. Oh, das sind Art von r im Quadrat oder vergleichen |
| Zum Beispiel die Rosa, die das Trainingsset dreht. Was ich simuliert habe, im Vergleich zu der Form, die ich hier für das neuronale Netz bekommen habe, denn wenn man darin ist. Und wissen Sie, das ist eigentlich |
| Der Fall, zum Beispiel, in allen drei sind die gleiche Sache, weil ich meine Frau vergleiche und meine Frau Hüte sind die gleichen. Also habe ich Typ acht richtig |
| Dann habe ich noch eine andere Art von Call-it-Typ, bei dem ich vergleiche. Ich vergleiche nicht den simulierten Wert mit dem |
| Zufallseffekt im zufälligen Fehlerterm Ich vergleiche den erwarteten Wert meiner Simulation mit der Form, in der sie verlaufen |
| Dies führt dazu, dass die Regeln für den Testsatz, der mir gesendet wurde, immer dieselben bleiben, nur die Art und Weise, wie Sie das R-Quadrat berechnen, wird sich ändern, weil auf diese Weise hier. |
| Wenn ich das habe, was ich den bedingten Testsatz nenne. Ich sehe die zukünftige Leistung des übergeordneten Elements, denn genau das bekommen wir, wenn wir einen beliebigen Datensatz haben, denn wir können die tatsächliche |
| Wir haben nicht das reale Modell, das man simulieren muss, und dann haben wir den erwarteten Testsatz, der eigentlich dieselbe Rose ist, aber jetzt vergleiche ich die |
| Erwarteter Wert. Und ich kann, in Ermangelung eines besseren Wortes, eine reale zukünftige Leistung nennen. Die scheinbar erbrachte Leistung ist also nicht unbedingt die reale zukünftige Leistung. OK. |
| Für das Mischeffektmodell gilt das Gleiche. Jetzt habe ich eine andere Art von R-Quadrat, weil ich hier den simulierten Wert mit meinem vergleiche. |
| Bedingte Vorhersage Ackerland hier und Verwendung der Schätzung für die zufälligen Effekte, aber wenn ich die Zukunft vorhersagen möchte. Also, nun, niemand, der den Test bricht, setzt hier beide Bedingungen, ich habe hier ein weiteres Quadrat d, das den gesamten Simulationswert für I vergleicht |
| Warum ij gegenüber meinem Randmodell hier. Ich benutze nicht hier richtig und Leslie, um einen fünften Typ unseres Quadrats zu haben, das ist meine erwartete, die gesendet wurde |
| Auch hier ist der Testsatz immer derselbe, nur dass ich ihn hier verwende. Nun der erwartete Wert gegenüber meiner Marge. Viel. Das Problem ist also |
| Wenn Sie da nicht aufpassen, berechnen Sie möglicherweise das falsche R-Quadrat. |
| Also, was ich mache, ist, wann immer ich hier habe. Und wenn ich den Effektmodus mischen müsste. Ich verwende nichts, was in diesem Bericht ist, alles, was ich tue, ist, die Spalten hier zu speichern, ich habe meine gespeichert |
| Randmodell rechts Vorhersagefarm Hier haben Sie die Vorhersageformel des bedingten Modells rechts gespeichert und ich werde Spalten mit dieser Form erstellen, die für das Mischeffektmodell ist. Nun zum |
| In der Nähe oder Sie können auch die Formeln speichern. Ich sage gerne schnelle Formeln, weil ich nur unsere Quadrate berechnen möchte. Also habe ich schnelle Formeln gespeichert und dann sehen Sie, wie ich diese fünf Spalten hier erstelle. |
| Also gut, lass mich zu ihnen gehen. |
| Also, mein Typ A, wenn Sie sich an Taipei aus der Präsentation erinnern, hier vergleiche ich den simulierten Warum-ij mit meinem Nahen in diesem Modell. Also, was ich hier mache. Entschuldigung, was ich hier mache, ist |
| Ich gehe, um sie die Informationen nennen, und Sie sehen hier. Vorhersagen, was und Vorhersagen dy AJ |
| Okay, hier ist es. Jetzt habe ich hier De Niro gespeichert und das aus dem doppelten Wert, den er macht, ist gleich diesem Wert. |
| Aber jetzt würde ich einfach die Vorhersage hier ändern. Dies ist die Vorhersage des erwarteten Wertes. Richtig, so kann ich diese Formel verwenden, die hier funktioniert, nämlich einen Modellvergleich. Ich kann diesen Typ A verwenden und eine Simulation kaufen und durch Validierung aufwachsen. |
| Und dann, was Sie bekommen. Es sind alle Dr. Squares, die Sie brauchen |
| Zu sehen von |
| Von der Simulation eins |
| Alles bis zur Simulation 30 und Sie haben es per Set, sodass Sie später die Datentabelle kombinieren können und alles ordentlich erhalten, richtig, denn das sind Quadrate. Für die anderen habe ich hier auch ein Skript, zum Beispiel für |
| Er war die Friedensformel. Nun, genau diese Spalte, und ich habe nur vorhergesagt, dass das R-Quadrat für den Testsatz festgelegt wurde, nicht für die Modellierung, nicht für den Validierungssatz. Also die Simulation. Eins ist ein Jahr. |
| Und wenn Sie dann ganz nach unten gehen, haben Sie Simulation 30. Und Sie können Datentabellen immer kombinieren und Ihre Daten werden im gleichen Tabellenformat ausgegeben, denn es handelt sich hier um alle Quadrate. |
| Und Daniel, natürlich kann ich hier ein weiteres Skript für den Typ „Co-Fire Squares“ haben. Wir wählen den Modellierungssatz des Modells mit gemischten Effekten und Simulation 1 bis hin zum modernen Satz und Simulation 30 und machen dann dasselbe. |
| Sehen Sie sich jetzt den Testsatz an, aber jetzt sage ich voraus, warum ij, richtig. Also, das, das, sagen wir, das Geheimnis hier ist, dass Sie manchmal sogar einen im See haben. Auch hier habe ich die gleiche Formel, weil es mein Randmodell des |
| Lösung für das Mischeffektmodell. Das einzige, was sich geändert hat, ist in Ihrer Spalte „Ich für Sie“. Stellen Sie sicher, dass Sie vorhersagen, was, und dann können Sie dies verwenden, um alle diese Quadrate zu berechnen. |
| In Ordnung. |
| Lassen Sie mich zur Präsentation zurückkehren. Da ich nun alle Quadrate zusammen habe, stapeln Sie Ihre Tabellen und dann können Sie die Visualisierung durchführen. |
| Aber hier interessiert mich wirklich der bedingte Testsatz beider Lösungen und das Erwartete, das hier gesagt wird. Wissen Sie, ich könnte 45 Minuten damit verbringen, nur über diese Tabellenanzeige hier zu sprechen. |
| Aber ich bin nicht wirklich an den absoluten Werten des R-Quadrats interessiert, sondern eher an einer vergleichenden Art, unsere quadratischen |
| Aber ich brauche Tage, nur um eine Sache zu überprüfen, nämlich, wie Sie hier sehen können, die Datengröße hier, wie Sie sehen können |
| Dann benutze den Zeiger hier. Mach es einfacher. Ich habe alle Quadrate. Ich habe hier alle Faktoren erstellt, die du tust. Richtig. |
| Sie sehen also, wenn ich einen kleinen Datensatz habe, passiert Folgendes: Ich bin in der Nähe und das wird aufgrund meines Trainings richtig trainiert. |
| Und meine Validierungssätze haben sozusagen unsere quadratische Verteilung, die sich überschneidet. Aber wenn Sie sich dann den bedingten Testsatz ansehen, der eigentlich die Daten sind, haben wir immer Recht, weil wir nie den erwarteten Wert haben. |
| Es befindet sich immer auf der unteren Ebene, wie Sie bei all dem sehen, wenn ich diesen kleinen Datensatz habe, aber dann, wenn ich einen größeren Datensatz habe. |
| Anders ist die Situation bei 1000 Rollen, dann sind sie alle ausgerichtet, wissen Sie, eine Art Überlappung. Ich habe sie also richtig trainiert. Auch hier ist der absolute Wert unseres Quadrats nicht sehr interessant, was sie wirklich interessiert, ist, wie, wissen Sie, wenn Sie zurückgehen zu |
| Auf einer der früheren Folien hier sehen Sie, dass ich jetzt vergleichen möchte. Sehen Sie, ich muss, ich möchte, dass Sie die Vorhersageleistung meines Benchmark-Mischeffektmodells mit der meines neuronalen Netzes vergleichen, verglichen mit dem Test dieses dunklen Quadrats, richtig. Also, hier ist, was Sie bekommen. |
| Lassen Sie mich diese Form bekommen. Was Sie hier also bekommen, sind wieder alle Verben. Ich hatte für zu tun wir, und ob sie |
| Krankheit und Ihre Nettolösung oder Lösung mit nicht gemischten Effekten. Sie sehen das also für den bedingten Testsatz, der ein Teil der Leistung ist. Wenn Sie also dabei sind, wissen Sie immer, wann die Datengrößen klein sind. |
| Der Mix-Effekt Malteser immer einen besseren Job hier, wenn Sie die die |
| Der Zufallseffekt rechts im Vergleich zu dann sind Sie und das ist, weil es immer diese |
| Ihr Median oder sogar Durchschnitt sind alle höher, aber wenn Sie dann einen größeren Datensatz haben, dann |
| Sie wissen, dass dieser Unterschied bis zu einem gewissen Punkt nicht mehr besteht und dass sogar das Neue hier einfach bessere Arbeit leistet, aber das ist die aktuelle Leistung. |
| Jetzt das echte. Sie sehen jetzt, dass das Mix-Effekt-Modell einen besseren Job gemacht hat als eine Tat gegen das Internet |
| Und hier gibt es keine Grundlage mehr, wissen Sie, denn letztlich geht es um das Direktwirkungsmodell. Er macht einen besseren Job, insbesondere in diesem Szenario hier, in dem es um Big Data, Big Data geht. |
| Letzte Sätze oder Variabilität und mehr zwischen den mit Einladungen. Finden Sie jetzt diese Zeilen, die ich hier habe, das wird ich für jeden Simulationslauf tun, das wird den Unterschied zwischen dem Mix-Effekt ausmachen. |
| R-Quadrat gegenüber dem neuen Jahr und das ist Quadrat. Also, los geht’s. |
| Hier habe ich vier Diagramme, also konzentrieren wir uns auf eines. Auf der Y-Achse ist das Quadrat der Klimaanlage. Dann mischen wir minus die Differenz im Quadrat der Klimaanlage, entschuldigen Sie, das |
| Der Mischeffekt r² minus, dann sind Sie in diesem Quadrat. Das ist also, was Sie hier bekommen, und das ist der Unterschied in einem Muster zur zukünftigen Leistung. |
| Und hier auf der x-Achse sehen Sie diesen Unterschied im erwarteten R-Quadrat. Wir wählen Ihre tatsächliche zukünftige Leistung, richtig oder Bias. Wenn Sie wollen |
| Jetzt habe ich vier Blöcke. Warum? Wenn man darüber nachdenkt, wenn man historische Daten hat, für die man nicht die nötige Technologie hat, weißt du, |
| Wissen Sie, wenn Sie die Daten analysieren, haben Sie möglicherweise nur Kontrolle über zwei Dinge, nämlich die Datengröße und die relative Batchgröße. |
| Warum? Weil Sie die Variabilität Ihrer Daten nicht kontrollieren können. Und wenn Ihre Zufallseffekte viel größer sind als Ihre Zufallsluft. Die einzigen beiden Dinge, die Sie möglicherweise tun können, |
| Sie haben die Kontrolle über die Datengröße und die relative Batchgröße. Wenn Sie das Tag nicht haben, können Sie sich zumindest eine Vorstellung davon machen, ob Sie Ihre historischen Daten verwenden. |
| Sollte aus vielen, vielen Schlafzimmern bestehen, nur ein oder zwei Schlafzimmer. Richtig. Das ist also die Art von Kontrolle, die Sie haben |
| Wenn Ihnen statistische Daten zur Verfügung stehen, können Sie sich zumindest eine Vorstellung von der Batchgröße machen. |
| Bei dem, was ich hier vergleiche, ist der Unterschied beim offensichtlichen Leistungsproblem wieder ein positiver Unterschied, d. h. das Modell mit den gemischten Effekten weist eine bessere Leistung auf. |
| Wenn dieser Unterschied hier auch positiv ist, bedeutet dies, dass sich dieser Mix positiv auf die zukünftige Leistung auswirkt, richtig. |
| Und wie Sie hier sehen können, spielt es keine Rolle, was Sie tun, wenn Sie über einen kleinen Datensatz verfügen. |
| Und das Modell mit gemischten Effekten weist eine bessere Leistung auf, manchmal sogar eine viel bessere, da es, wenn wir über Unterschiede im R-Quadrat sprechen, weit über Einsen hinausgehen kann. |
| Richtig, er bekommt also eine viel bessere Leistung, wenn man ihn in einen oder den zukünftigen Topf einbaut. Wenn also die Datenmengen klein sind, gibt es wirklich keine |
| Nein, hier gibt es keine Lösung. Wenn Sie sich jedoch die Datengröße ansehen, sind die Datenseiten größer, aber Sie haben diese kleine Anzahl von Stapeln. Richtig. |
| Hier passiert etwas Komisches, denn hier, wissen Sie, ist der Unterschied zwischen ausreichender Finanzierung und zukünftiger Leistung auf der Y-Achse bei den meisten negativ. |
| Das bedeutet, dass die in der Nähe und dass eine bessere Arbeit in Bezug auf Patent bei Test-Set Tahrir-Platz richtig oder bedingt |
| Berühre das dunkle Quadrat. Also, wenn du es tust. Wer wird wie der neue Urin aussehen. Das wäre toller Job, besser als |
| Das Mix-Effekt-Modell. Wenn Sie sich jedoch die Menge auf der X-Achse ansehen, rechts, also den Unterschied in der tatsächlichen zukünftigen Leistung, kann dies ziemlich irreführend sein. |
| Richtig, wenn Sie also viele Daten haben, aber nur für wenige Batches, werden Sie gute Tests bekommen, Testsätze sind Quadrate. Aber wenn Sie dann versuchen, Ihre Form in der Zukunft einzusetzen. |
| Sie könnten in Schwierigkeiten geraten. Aber wenn Sie sich das hier ansehen. Hier haben wir eine Minderungssituation, in der Sie viele Daten und viele Stapel haben. Sie unterscheiden sich also nicht so sehr. Richtig, also |
| Zusammenfassend lässt sich sagen, dass Sie bei kleinen Datensätzen ein maschinelles Lernen mit nicht zu vernachlässigenden Zufallseffekten verwenden sollten, da die Vorhersageleistung des Testsatzes höchstwahrscheinlich schlecht sein wird. |
| Unabhängig davon, wie viele Cluster von Batches Sie haben. Und das liegt daran, dass maschinelles Lernen eine Mindestdatengröße erfordert, um erfolgreich zu sein. Richtig. Es gibt also keine |
| Hier kann man das Spiel nicht gewinnen. Wenn die Datenmenge groß ist und Sie nur wenige Cluster haben, ist das eine irreführende Situation, denn Ihr Testset sagt voraus, dass die Leistung gut sein kann, aber die Leistung wird wahrscheinlich später, wenn Sie das Modell bereitstellen, nicht erreicht. |
| Manche Leute sagen mir: „Warum verwenden Sie keine Regularisierung?“, und selbst wenn Sie es tun würden, würden Sie es in diesen Situationen nicht tun, weil |
| Ihr Testset R-Quadrat wird gut sein, aber dann wissen Sie nicht, dass Sie es brauchen, also werden Sie nicht in der Lage sein zu sagen |
| Sie erfahren, wie Ihre zukünftige Leistung langfristig aussieht, indem Sie sich einfach Ihre Tests im Dark Square oder einige der aufgetretenen Fehler ansehen. |
| Wenn Ihr Datensatz dann jedoch groß ist und Sie viele Cluster pro Tag haben, wird die gesamte Situation gemildert und der verzerrende Effekt des näheren Werts wird sozusagen ausgeglichen, da sich jeder Zufallseffekt aus der Summe aller Effekte ergibt. |
| Es ist Null. Je mehr Sie also die neuesten haben, wie Sie bekommen können |
| Darüber hinaus wollte ich nur sagen, dass ich daraus gelernt habe, dass es zwei Dinge gibt, die ich immer im Gedächtnis behalte, wenn die Daten nicht absichtlich erstellt wurden. |
| Das Maschinenland kann Daten nicht bewältigen, nur weil sie groß sind. Damit es funktioniert, muss ein Mindestmaß an Design stimmen. |
| Aber je größer die Daten sind, desto wahrscheinlicher ist es, dass in den Daten durch reinen Zufall bereits ein minimales Maß an Design vorhanden ist. Alles klar. Und danke, wenn Sie uns kontaktieren möchten. Wir sind in der Jump-Community. Dies sind unsere Adressen. Danke. |
