Lautsprecher | Transkript |
| Fabio D'Ottaviano | Okay, vielen Dank an alle, die sich dieses Video hier angesehen haben. Wie Sie sehen, werde ich über fehlende Zufallseffekte beim maschinellen Lernen sprechen. |
| Es ist eine Arbeitsidee zusammen mit meinem Kollegen Joe Young. Wir arbeiten beide für die Dow Chemical Company, arbeiten in Koreanisch und helfen Ihnen dabei, gültige neue Prozesse und vor allem neue Produkte zu entwickeln. |
| Was Sie hier auf diesem Bildschirm sehen, ist ein großer Bingo-Käfig, denn unser Gespräch hier wird sich um Simulation drehen, und Simulation hat zumindest für mich viel zu tun. |
| Da Sie im Bingofall die Verteilung Ihrer Kugeln und Zahlen im Rahmen des großen Ereignisses festgelegt haben, wählen Sie sie einfach so aus, wie Sie möchten. In Ordnung. |
| Dieses Gespräch hat auch mit der Veröffentlichung zu tun, sagten wir gerade. |
| In letzter Zeit gibt es den gleichen Namen, und Sie können gewinnen, was Sie erhalten sollten. Wenn Sie Zugriff auf diese Präsentation haben möchten, klicken Sie einfach hier und Sie erhalten Zugriff auf den gesamten Artikel. Hier ist also nur eine Zusammenfassung dessen, was wir dort veröffentlicht haben. |
| Okay, was ist der Kontext dafür? Zunächst einmal hat maschinelles Lernen eine Art Plug-and-Play-Appeal für Wissenssitzungen. |
| Ich weiß, dass man von nichts Attraktivem ausgehen muss. Außerdem gibt es heutzutage eine sehr benutzerfreundliche Software. Wissen Sie, die Leute machen das heutzutage gerne. |
| Wie Sie wissen, gibt es jedoch überall Zufallseffekte, und das Ausführen dieser Effekte ist eine lustige Sache, da es sich um ein etwas komplexeres Konzept handelt. Das ist also eher nicht der Fall |
| Durch Berühren grundlegender Statistikkurse werden fortgeschrittenere Themen angezeigt. Es wird also viele Leute geben, die maschinelles Lernen anwenden, ohne viel über zufällige Effekte zu wissen. |
| Und selbst wenn sie dieses Verständnis haben, dann das Konzept der zufälligen Tatsache |
| Bei Leuten, die maschinelles Lernen betreiben, ist das immer noch kein großes Problem, weil es nur wenige Algorithmen gibt, die das können und zufällige Effekte nutzen können. |
| Sie können diese Referenz hier überprüfen, wo Sie sehen, dass es einige Bäume und zufällige Wälder gibt, und es kann es dauern, aber die jüngsten und sie sind nicht, wissen Sie, verbreitet |
| Überall. Es wird Ihnen also schwer fallen, etwas zu finden, das mit zufälligen Effekten beim maschinellen Lernen umgehen kann. |
| Sprechen Sie einfach ein wenig über die zufälligen Effekte. Wie Sie hier sehen können, zumindest in der chemischen Industrie, aus der ich komme. Normalerweise mischen wir uns ein. Ich sage drei Komponenten. Rechts. Diese gelb, rot und grün. |
| Wir sorgen dafür, dass der Prozentsatz jeder einzelnen dieser Komponenten auf unterschiedlichen Niveaus liegt. Und dann haben wir die Reaktionen gemessen, wenn wir etwas ändern, den Prozentsatz dieser Komponenten mit einer bestimmten Ausrüstung, und manchmal gibt es sogar einen Bediener oder Labortechniker, der das tut |
| Beeinflussen Sie auch das Ergebnis, das Sie sehen möchten. Okay. Und wenn wir dann diese Art von Experiment durchführen, wollen wir verallgemeinern, ob die Ergebnisse richtig sind oder welche Vorhersage auch immer. Wir versuchen hierherzukommen. |
| Aber das Problem ist, dass Sie wissen, wann ich diese grünen Komponenten hier mische. Wenn ich das nächste Mal bei dem Lieferanten kaufe, der mir dieses grüne Bauteil Jahr für Jahr liefert |
| Und der grüne Farbton ist, wissen Sie, sehr, und ich weiß nicht, was das nächste Mal ist, wenn ich diese grüne Komponente kaufe. Wäre das, was der Lieferant mir gibt, genau das gleiche Grün, weil es Schwankungen im Angebot gibt? |
| Darüber hinaus wissen Sie, dass ich möglicherweise die Erfahrung gemacht habe, dass Sie eine bestimmte Ausrüstung verwenden. Aber wenn ich mich in meinem Labor oder in anderen Laboren umsehe, kann es sein, dass ich diese Geräte von anderen Herstellern habe. |
| Und obendrauf. Sie haben vielleicht auch Lebensmittel, deren Messung von dem Bediener abhängt, der das richtig macht, sodass Sie sich möglicherweise auch einmischen und mich irgendwie verarmen lassen |
| Vorhersage hier zu meiner Verallgemeinerung |
| Mache hier außerdem alles, was ich vorhersagen möchte |
| Dies ist meiner Meinung nach das typischste in der chemischen Industrie, nämlich das Experiment zur experimentellen Chargenvariabilität |
| Eine Überzeit, wenn man das Gleiche immer und immer wieder wiederholt. |
| Nehmen wir an, Sie führen hier ein Experiment durch und erhalten Ihr Modell, mit dem Ihr Modell etwas vorhersagen kann. Anschließend wiederholen Sie das Experiment, um ein weiteres Malden-Modell mit den Vorhersagen dieser drei Modelle zu erhalten. |
| Vielleicht ist es im Moment ganz anders. Nick lesbar. Es gibt also auch die Komponente Zeit. |
| Was ist also das Problem, über das ich hier spreche? Normalerweise haben wir gespeicherte Daten und historische Daten, sagen wir mal, eine Sammlung von Datenteilen, die Sie in der Vergangenheit erstellt haben. |
| Und die Menschen waren nicht sehr damit beschäftigt, dieses Ergebnis zu verallgemeinern. Das Ergebnis damals, als sie dieses Experiment hatten. Wenn wir sie also sammeln und sie als historische Daten bezeichnen, können wir Tags für den Zufallseffekt haben oder auch nicht, richtig. |
| Und wenn Sie dann einen Text haben, der zumindest von dort stammt, wo ich herkomme. Das ist eher eine Ausnahme von der Regel, dass für mich keine Steuertatbestände gelten, zumindest nicht für nicht alle. |
| Nehmen wir an, Sie haben Tags. Eine Möglichkeit besteht darin, maschinelle Lerntechniken zu verwenden, die diese zufälligen Effekte verarbeiten und in das Modell einleiten können. Und das ist es. Du hast kein Problem. |
| Aber wie gesagt, es gibt nicht sehr gut betäubte maschinelle Lerntechniken, die zufällige Effekte verhindern können. Sie könnten versucht sein, maschinelles Lernen zu nutzen. |
| Und lassen Sie die Zufallseffekte so in das Modell einfließen, als ob sie behoben wären, und dann werden Sie auf das bekannte Problem stoßen, dass Sie den so behobenen Zufallseffekt behandeln sollten |
| Um nur eines zu sagen: Es wird Ihnen schwer fallen, alle neuen Ereignisse vorherzusagen, denn wenn Ihr Zufallseffekt beispielsweise später europäisch ist, haben Sie nur wenige |
| Operatoren in Ihren Daten, richtig, ein paar Namen, aber wenn es einen neuen Operator gibt, der Tage arbeitet, ist das nicht der Fall. Sie können nicht vorhersagen, welche Auswirkungen dieser neue Operator haben wird. Hier gibt es also keinen Deal |
| Und dann gibt es noch eine Sache, die Sie tun können. Sie machen. Sollten Sie Steuereinnahmen haben oder nicht, opfern wir uns erneut jede Technik des maschinellen Lernens. |
| Und wenn Sie einen Zufallseffekt haben, sollten Sie die Tags ignorieren oder den Zufallseffekt ignorieren, wenn nicht. Wie auch immer, Sie werden es ignorieren. Egal, ob Sie es wollen oder nicht. Ich möchte also weniger einen Shooter simulieren. Wir verwenden Springseilfischen. |
| Und wissen Sie, ich hoffe, Ihnen haben die Ergebnisse gefallen. |
| Im Grunde die Simulation. Daher werde ich ein Mischeffektmodell mit festem und zufälligem Effekt verwenden. Und dann verwenden wir dasselbe Modell zur Schätzung |
| Mit der Antwort darauf mache ich das Modell, nachdem ich es simuliert und auch modelliert habe, die Ergebnisse meiner Simulation hier mit einem neuronalen Netz richtig |
| Dann verwenden wir dieses Modell hier als Vorhersageleistung dieses Modells hier. |
| Wir verwenden es als Benchmark, um die Leistung der Nahestehenden vorherzusagen, um sie später mit ihren Testquadraten zu vergleichen und zu sehen, was passieren wird. Sie finden hier den Zufallseffekt, richtig. |
| Dann in Ordnung. Wenn ich über diese Leute spreche, denke ich manchmal, dass ich ein lineares Mixed-Effect-Modell mit einem neuronalen Netz für maschinelles Lernen vergleiche. Und das ist nicht der Fall, wissen Sie, wir vergleichen hier ein Modell mit und ohne Zufallseffekt. |
| Auch wenn es in den Daten einen Zufallseffekt gibt. Ich könnte. Zum Beispiel ein |
| Lineares Modell mit ausgeführten Effekten im Vergleich zu einem linearen Modell ohne ausgeführte Effekte. |
| Und ich könnte ein neuronales Netz mit zufälligen Effekten im Vergleich zu Urin ohne zufällige Effekte erstellen. Aber das Problem ist, dass es heute kein Wunder mehr gibt und dass es beispielsweise mit Zufallseffekten umgehen kann. Also habe ich es gezwungen, es zu verwenden. Zum Beispiel ein linearer Mischeffekt aller |
| Meine Simulationsfaktoren. Nun, ich werde etwas verwenden, das typisch für die Branche ist, nämlich eine Mischung aus dem Prozessvariablenmodell, wie es ist. |
| Nehmen wir an, ich habe diese drei Komponenten. Ich habe es dir schon einmal gezeigt. Kennen Sie Gelb, Rot und Grün, und sie haben einen bestimmten Prozentsatz und erreichen bis zu eins. |
| Eine kontinuierliche Variable haben, die beispielsweise die Temperatur sein kann. Ich habe eine kategoriale Variable, die vom kapitalistischen Typ sein kann, und ich habe einen Zufallseffekt, der von Charge zu Charge von Experimenten sehr hässlich sein kann. Okay. |
| Das Simulationsmodell. Nun, es ist ziemlich einfach. Ich habe hier meine Mischung aus Haupteffekten M eins, M zwei und drei. Rechts. Und Sie werden überall in diesem Modell sehen, dass die festen Effekte alle entweder eins oder minus eins haben. Ich habe ihnen einfach zufällig eins minus eins zugewiesen. |
| Ich habe also die Haupteffekte der Mischung. Hier habe ich die Wechselwirkung der Mischung auf zwei Arten, die Wechselwirkung der Mischung wäre eine kontinuierliche Variable. |
| Und die Interaktion der kategorialen Variablen mit den Komponenten. Und schließlich die Einführung der kontinuierlichen Variablen mit der kategorialen Variablen. |
| Außerdem habe ich Folgendes: Warum wählen wir hier meinen Zufallseffekt und den Ej, der mein Zufallsfehler ist? Rechts. Und beide sind hier normalverteilt mit einer gewissen Varianz. Ich sagte, die Varianz zwischen einem besseren Experiment, richtig, und die Divergenz innerhalb der Übereinstimmung einer Reihe von Experimenten. |
| Von überall in dieser Präsentation, nur um diese ganze Formel in eine Form zu bringen, sage ich mehr, ordentliche Art und Weise oder verwende diese Form, ein Held X repräsentiert tatsächlich alle Korrekturen, Effekte und Beta |
| Stellt alle Parameter dar, die ich verwendet habe. Rechts. Und mein Warum hier. Eigentlich das Erwartete. Warum ist XP eigentlich richtig? Es ist diese ganze Sache ohne meinen zufälligen Effekt hier und wir haben meinen Renault-Bürgermeister behandelt. |
| Simulationsparameter. Nun, hier habe ich eine, die Datengröße hat, richtig, die, die sie hat. Was passiert, wenn ich keine, nicht so viele Daten habe und |
| Mehr Datenebenen und mehr Daten hier. Ich habe zwei Ebenen. 110.000 Rollen bei jedem Versuchssatz hier haben tatsächlich 20 Zeilen mit perfekter Wirkung als 200. Die andere Sache, die ich ändern werde, ist, dass D über das Abzeichen für den Cluster entscheidet, ganz wie es Ihnen gefällt. |
| Manchmal wird es so sein. Das heißt, ich habe zwei Stufen, 4 % und 25 %. 4 % bedeutet also, dass wir, wenn ich 100 Rollen davon in einer Charge Erfahrung habe, meine Charge haben |
| Wird eigentlich für Rollen sein. Ich werde also 2525 Chargen haben. Wenn ich insgesamt 100 Rollen habe, sind es bei meinen Losgrößen 25 % und ich habe nur vier Losgrößen. |
| Dann wird die andere Variable, die wir hier ändern, die Gesamtvarianz sein. Rechts. |
| Und nun ja, wir haben hier zwei Stufen, Punkt, fünf und 2,5 ist die Hälfte der Effekteffektgröße, richtig zur Auswahl. Also die Formel hier. Es sind alles Einsen für den festen Effekt. |
| Und die andere besteht darin, zu schreiben, dass die Summierung dieser Gesamtvarianz die Summierung meiner Variation zwischen Chargen und innerhalb von Chargen eine sehr große Varianz ist. Rechts. Und schließlich werde ich noch das Verhältnis zwischen zwei innerhalb von sehr vielen Jahren ändern |
| Ähnliche Segmente. Rechts. Also ich habe eins und vier. Also in einem meiner |
| Die Variation zwischen den Chargen wird gleich dem Gewinn sein und die andere wird viermal größer sein als der Gewinn |
| Dann, sobald ich mich niedergelassen habe, ist für |
| Vier Faktoren hier. Ich sage Parameter und dann machen Sie eine vollständige Fakultät, tragen wir unsere 16 Läufe direkt dazu |
| Zu zwei Ebenen der Datengröße, zwei Ebenen der Batchgröße, zwei Ebenen der Gesamtvarianz, war Angelos Wüste. |
| Damit kann ich es innerhalb von Segmenten entsprechend berechnen. Rechts. Und das ist der Aufbau für die Simulation. Okay. Jetzt nenne ich es Simulations-Hyperparameter, weil Sie es so ändern können wie wir |
| Was ich tun würde, und ich zeige es Ihnen in der Demo. Es wäre ein Simulationsrisiko von 30 % oder wir rennen davon. Ich habe also bei jedem der 16 Übungen jeweils 30 Mal gelaufen. Rechts. Also zum Beispiel |
| Ich werde eine Simulation 123 bis Dirty und für die festen Effekte durchführen lassen. Das hat Auswirkungen auf den Schwierigkeitsgrad. Ich verwende das Space-Feeling-Design. |
| Und der Grund, warum ich dieses raumfüllende Design verwende, besteht darin, dass ich den Effekt des Fehlens dort und dann nicht mit der Tatsache verwechseln möchte, dass ich möglicherweise einige Anrufe bei der Wohltätigkeitsorganisation oder spärliche Daten habe. |
| Was bei historischen Daten typisch ist. Rechts. Das möchte ich nicht mittendrin haben. Ich möchte, ich bevorzuge Design und Raumgefühl, das wir verbreiten |
| Ebenen der festen Effekte im gesamten Eingaberaum. Wenn ich also dieses Problem der spärlichen Trefferquote der Daten oder der Bereinigung der Seltsamkeiten richtig beseitige und sie dann dem Stapel zuordne, randomisieren wir die Stapel, kreuzen die Läufe in der ersten Runde und verwenden sie dann gleich |
| Reihenfolge über alle anderen 29 Läufe hinweg. Wir haben also bei allen Läufen den gleichen Standort. |
| Zu spät. Und schließlich werden alle Standorte des Weihnachtsmanns für jeden Simulationslauf zufällig ausgewählt. Also lass mich einfach aus der Luft raus und anfangen zu springen. |
| Also hat er es getan, ich habe früher unser spezielles Verschüttungsdesign gemacht. Ich werde meinen Faktor hier laden, nur weil ich hier schnell sein möchte. Hier habe ich jedenfalls meine 12345 festen Effekte. |
| Designs mit Raumgefühl akzeptieren keine Mischung von Variablen. Sie müssen also festlegen |
| Hier gibt es lineare Einschränkungen, nur um es zu verdeutlichen. Schauen Sie sich diese drei Typen hier an und müssen zu einer addieren. Das ist es also, was ich hier tun werde. |
| In Ordnung. |
| Damit liefert eine zufriedene Einschränkung ein Beispiel für den ersten Lauf dieses D, bei dem ich eine Datengröße von 100 und eine relative Stapelgröße von 4 % habe. |
| Gesamtvarianz Gesamtvarianz Punkt fünf und das Verhältnis wird eins sein. Wenn ich also hierher zurückgehe und etwas eingeben muss, muss ich 100 Läufe generieren. Außerdem, wenn ich diese Theorie reproduzieren möchte und Sie den Zufallsstartwert und die Anzahl der Starts richtig einstellen müssen |
| Dann ist die einzige Option, die ich habe, wenn ich von der Einschränkung gesprochen habe, das schnelle, schnellere, flexible Fülldesign. Und los geht's, ich habe die Tabelle hier richtig gemacht, damit Sie diese Tabelle einbinden können. |
| Eine Sache, die Sie sehen, ist, wenn Sie einen Ternärblock verwenden und Ihre drei Komponenten verwenden. Sie sehen, dass alles verteilt ist. Hoppla. |
| Ich habe hier ein Problem, dass sie |
| Nicht |
| Lass mich zurückgehen. Es gibt ein Problem mit den Einschränkungen, ja. Das hier habe ich vergessen. Ja. |
| Also gut, fangen wir noch einmal von vorne an. Hundert |
| Satz |
| Zufälliger Sitzplatz 21234 |
| Und Nummer beginnt. Großartig. |
| Nächstes Buchfeeling Tisch machen. Ja. Und dann muss ich nur noch prüfen, ob alles verteilt ist. |
| Und herausfinden. Ja. Okay, dann schaue ich mir hier meine kategoriale Variable an. Ich möchte sehen, ob es sich auf alle ausgeweitet hat. Wie Sie dies für eins und zwei sehen können. Großartig. Jetzt sagte ich, lassen Sie mich alles abschließen, wir machen 30 Simulationen. Das ist also ein SIMULATIONSRICHTIG. ICH HABE 100 Rollen. |
| Aber jetzt muss ich 30 schaffen. Was ich also tun werde, ist, hier Rollen hinzuzufügen. |
| 2900 |
| Am Ende |
| Und wir wählen einfach die ersten 1000 Läufe aus, leider 100 Läufe, alle Variablen pro Jahr. |
| Und fühle bis zum Ende des Tisches. Großartig. Jetzt wiederhole ich das gleiche Design 30 Mal richtig |
| Jetzt, |
| Um es schneller zu machen, würde ich einfach öffnen. Ich verwende diese Tabelle jedoch erneut. Verwenden Sie einfach einen anderen Tisch, an dem ich alles, was ich zeigen wollte, bereits eingerichtet habe. |
| Also ja, ich habe genau das, was ich habe, wieder an diesem Tisch. Als nächstes würde ich hier einfach eine Simulationsspalte erstellen, um das Aussehen zu verdeutlichen |
| Mit dieser Formel hier. Ich kann sagen, dass bei Simulationen bis zu 100 Zeilen hundert diese Simulation eins sind und dann alle hundert die Simulationszahlen geändert werden. Am Ende des Tages bekomme ich also offensichtlich 30 Simulationen mit 100 Rollen. Alle großartig |
| Dann der Batch-Standort, nur um zu erklären, was sie getan haben. Ich habe das gerade in der PowerPoint-Präsentation gezeigt. Ich habe einen Bauernhof. Jetzt erstellen Sie zwei Stapel von 4 % der Größe der gesamten Datengröße, was bedeutet, dass ich hier vier Zeilen pro Stapel habe, statt vier und so weiter. Und einmal die |
| Ich komme hier auf 100 und springe von der Simulation ab. Willst du simulieren, dann geht es wieder von vorne los. Rechts. So habe ich es am Ende des Tages. |
| Alle 25 Chargen hier. Okay. |
| Als nächstes werde ich meine Validierung erstellen |
| Spalte, was bedeutet, dass ich den Satz richtig aufteilen muss |
| Zurück zu dieser Demonstration. Zurück zur PowerPoint hier: Sie sehen das für die Lösung, die ich erstellen werde, aber für das Neuron, das ich hatte |
| Wenn die Rollen aufgeteilt sind, gehören 60 % davon zum Trainingssatz, 20 % zum Validierungssatz und die anderen 22 zum Testsatz. Wie mache ich das in diesem Fall? Zurück zu John |
| Na, bitte. Lass mich das verstecken |
| Okay, also hier ist die Validierung, die gekommen ist. Wie mache ich das. Es ist bereits da, aber erklären Sie nicht, wie Sie das machen, sondern gehen Sie zu „Analysieren“. |
| Machen Sie die Validierungsspalte, die Sie verwenden, Ihre Simulationsspalte hat eine Zertifizierung, Sie gehen und dann tun Sie es einfach |
| Punkt 6.5 2.2 und ein Benutzer hier einen zufälligen Startwert, nur um sicherzustellen, dass Sie sehen, dass ich diese Spalte richtig erstelle |
| Wenn ich dann zu meiner Präsentation hier zurückkomme. |
| Alle 60 %, die zum Trainingsset für das neue Jahr gehören und diese 10 bis 20 % |
| Gehört zum Validierungssatz auch für das Nahnetz. Jetzt gehören beide zu einem Set namens Modeling-Set für die Mix-Effekte. Also der Mix-Effekt. |
| Modell, es findet keine Validierung statt. Es gab nur eine Schätzung des Modells mit diesen 80 % und des Testsatzes der Mixed-Effect-Lösung, der die gleichen 20 % sein wird, die ich für das neue Jahr für diese Lösung verwende. In diesem Fall gehe ich also zurück zum Springen und |
| Gehen Sie hierher |
| Und es ist einfach großartig, eine Formel zu hören, bei der man weiß, dass Null die Validierung des neuronalen Netzes bedeutet. Null bedeutet Training, also Training, sei immer noch Training. |
| Eine davon ist die Validierungseinstellung, die meine Modellierung sein wird, und die zweite ist mein Testset, und es wird auch hier mein Testset sein. Also habe ich diese erstellt und dann dich |
| Spaltenname für alle Ihre Beschriftungen. Null wird „Modellierung“ sein und eine wird „Schreibtisch“ sein. Auf diese Weise sehen Sie hier, dass alles, was hier versteckt ist, er hier sagt, aber was Sie einer Validierung unterziehen, wird zu Modellierung, und dann muss ich es endlich festlegen die Formeln für meine Antwort. |
| Also für den Erwartungswert meiner Simulation. Ich muss hier nur die Effektformel korrigieren, da es hier keinen zufälligen Begriff gibt. In Ordnung. Und das ist mein erwarteter Wert, den meine Frau und meine Frau haben werden |
| Wenn Sie sich die Formel ansehen, haben Sie das y, das mein erwarteter Wert ist. Außerdem habe ich hier eine Formel zum Generieren |
| Eine zufällige |
| Wert, der einer Normalverteilung mit Mittelwert Null und zwischen Sigma und Sigma folgt |
| Zwischen Sigma. Es ist einfach, die Variablen hier und als Tabellenvariable festzulegen, da ich den Wert später als eine Woche ändern kann, ohne zur Formel zu gehen. Allerdings wird dadurch bei jeder Änderung der Chargennummer ein einzelner Wert generiert. Also, wenn meine Charge ist |
| Hier wird derselbe Wert sein, wenn ich ihn auf 22 ändere, entsteht ein anderer Wert. |
| Und Sie, wenn ich von einer Simulation zur anderen wechsle. Ich werde also einen Wert für 25 pro Batch 25 unserer Simulation haben, und wenn ich dann zu Batch 1 der Simulation springe, wird ein anderer Wert erstellt. |
| Rechts. Und hier ist nur meine normale Zufallszahl mit Sigma-Dingen, die ich hier auf den Tisch gelegt habe, richtig. Sehen Sie sich also einige Nachbildungen des von uns durchgeführten Deals an. Ich habe Sigma 05 und 05 |
| Okay, jetzt habe ich hier eine Lösung für die Simulation meines Mix-Effekt-Modells kurz davor. Lassen Sie mich hierher zurückkehren und Ihnen zeigen, was ich mache. |
| Zum Beispiel für das Mix-Effekt-Modell. Mein Simulationsmodus ist dieser, aber meine Füße, dieses Modell wird das Problem sein, könnte die Analyse sein. |
| Und meine kleine Zelle hier wird gehackt, richtig. Es ist also unser Strand, die Werte für alles zu erfüllen, was ich simuliert habe |
| Und dann im Mix-Effekt-Modell. Ich muss auf ein Vorhersagemodell verzichten. Eines ist das passende bedingte Modell, wenn ich es verwende |
| Wenn ich das nicht tue, ist meine Einschätzung der zufälligen Effekte und die andere marginal. Rechts. Ich habe also diese beiden Modelltypen. |
| Das ist gut, um Dinge vorherzusagen, die ich bereits in den Daten habe. Und das ist etwas, was ich verwendet habe, um Daten vorherzusagen, bei denen es sich nicht um einen vollständigen Datensatz handelt, richtig. |
| Für das neue Jahr verwende ich, wie Sie wissen, die standardmäßige Standardart „nah und am Ende und springen“, die ich nicht nur verwende, weil sie schwierig ist, weil sie ziemlich gut funktioniert. |
| Sie haben hier alle fünf festen Effekte. Ich verwende eine Ebene mit drei Knoten, alle hyperbolischen Tangensfunktionen, wie Sie hier sehen können |
| Und dann haben Sie hier eine Funktion namens hx, die die Summe der Bezirksfunktionen ist, plus hier einen Bias-Term, richtig. |
| Wenn ich also weitere Knoten hinzufüge. Es würde es nicht besser machen. Wenn Sie nur zwei Knoten verwenden, wird es noch schlimmer. Also werde ich das überall verwenden. Und das zeige ich Ihnen hier. |
| Meine Show. Hoppla. Okay. |
| Zeigen. |
| Ich gehe zu dir zurück. So |
| Hier habe ich meine |
| Modelllösung mit gemischten Effekten. Wie bin ich darauf gekommen? Nur um es dir zu zeigen. Ich habe hier die Antwort, die ich zur Validierung der Mischeffekte durch Simulation eingegeben habe. |
| Alle meine festen Effekte pro Jahr und mein zufälliger Effekt sind mein Batch-Recht und dann eine genetische diese erste Simulation. Sie sehen Simulation eins und es geht bis zur Simulation Türkei, richtig |
| Ich konnte zum Beispiel die Sprungsimulationsfunktion hier nicht verwenden, weil ich die Validierungsspalte für jeden Stapel ändere, also kann ich nicht, weiß zumindest nicht, wie ich das machen soll, wie ich die Validierungsspalte einbauen soll die Formel von |
| Ich weiß G. |
| Und. Okay. Also, ups, dann habe ich jetzt ein weiteres Skript dafür und Sie sind der Meinung, dass es ein bisschen dauern wird |
| Sollte kein großes Problem sein. |
| Wenn ich es zum Beispiel mache. |
| Die Läufe, die du läufst. Wir haben 1000 Zeilen pro Simulation, die Kurse von etwa 10 bis 15 Minuten dauern können |
| Die gleichzeitige Durchführung der Hörsimulationen hier sollte einiges kosten |
| Und |
| Na, bitte. |
| Okay, also hier habe ich noch einmal, wenn Sie sich ansehen, jeder von ihnen hat fünf, drei Noten, richtig, okay, und Sie haben Simulation eins bis hin zu Simulation 30 |
| Rechts. Jetzt habe ich also alles für den ersten Lauf meines Jahres erledigt, also muss ich als nächstes verstehen, um welche Art von Quadraten es sich handelt. Ich werde gleich vergleichen, ob es sie tatsächlich gibt |
| Fünf Arten unserer Quadrate hier, richtig, also hier ist die R-Quadrat-Formel. Warum, warum unterscheide ich hier Di-Quadrate nach Typ, weil es davon abhängt, was Sie in dieser Formel als tatsächlich oder vorhergesagt verwenden? |
| Sie kennen Ihre quadratische Veränderung. So habe ich zum Beispiel hier. Oh, das ist eine Art R-Quadrat oder Vergleich |
| Zum Beispiel dreht The Rosa das Trainingsset. Was ich simuliert habe, im Vergleich zu der Form, die ich hier für das neuronale Netz erhalten habe, denn wenn man sich darin befindet. Und wissen Sie, das ist es tatsächlich |
| Der Fall zum Beispiel ist in allen drei Fällen gleich, weil ich meine Frau vergleiche und die Hüte meiner Frau gleich sind. Ich habe also Typ acht, richtig |
| Dann habe ich eine andere Art von Call-It-Typ, wo ich vergleiche. Ich nicht, ich vergleiche den simulierten Wert nicht mit dem |
| Zufälliger Effekt im Zufallsfehlerterm Ich vergleiche den erwarteten Wert meiner Simulation mit der Form, in der sie vorliegen |
| Das führt dazu, dass die Regeln, die ich an den Testsatz schicke, immer dieselben sind, nur die Art und Weise, wie Sie das R-Quadrat berechnen, wird sich auf diese Weise hier ändern. |
| Wenn ich das habe, was ich den bedingten Testsatz nenne. Ich sehe die zukünftige Leistung des übergeordneten Elements, denn das ist genau das, was wir erhalten, wenn Sie einen Datensatz haben, weil wir die tatsächliche Leistung nicht beurteilen können |
| Wir haben nicht das echte Modell, das Sie simulieren müssen, und dann haben Sie den erwarteten Testsatz, der eigentlich dieselbe Rose ist, aber jetzt vergleiche ich das |
| Erwarteter Wert. Und mangels eines besseren Wortes kann ich davon ausgehen, dass es sich um eine echte zukünftige Leistung handelt. Die scheinbar erbrachte Leistung ist also nicht unbedingt die tatsächliche zukünftige Leistung. OK. |
| Für das Mix-Effekt-Modell gilt dasselbe. Jetzt habe ich eine andere Art von R-Quadrat, denn hier vergleiche ich den simulierten Wert mit meinem |
| Die bedingte Vorhersage von Ackerland hier und die Verwendung der Schätzung für zufällige Auswirkungen, aber wenn ich die Zukunft vorhersagen möchte. Also, nun ja, niemand, der den Test bricht, stellt hier beide Bedingungen ein, ich habe hier ein weiteres Quadrat d, das den gesamten Simulationswert für I vergleicht |
| Warum ij im Vergleich zu meinem Randmodell hier? Ich bin nicht hier und Leslie, um einen fünften Typ unseres Quadrats zu haben, der meinen Erwartungen entspricht |
| Auch hier besteht der Testsatz immer aus den gleichen Rollen, die ich hier verwende. Nun der erwartete Wert im Vergleich zu meiner Marge. Eine Menge. Das Problem ist also |
| Wenn man dort nicht aufpasst. Sie können das Quadrat des Falschen berechnen. |
| Was ich also mache, ist, wann immer ich hier bin. Und wenn ich den Effektmodus mischen müsste. Ich verwende nichts, was in diesem Bericht enthalten ist. Ich speichere lediglich die Spalten, die ich hier gespeichert habe |
| In dieser Farm für die rechte Randmodellvorhersage haben Sie die Vorhersageformel des bedingten Modellrechts gespeichert und ich werde Spalten mit dieser Formlosigkeit erstellen, die für das Mix-Effekt-Modell bestimmt ist. Nun zum |
| In der Nähe können Sie die Formeln auch speichern. Ich sage gerne feste Formeln, weil ich nur quadrieren möchte. Ich habe also die schnellen Formeln gespeichert und was Sie dann sehen, wenn ich diese fünf Spalten hier erstelle. |
| Okay, also lass mich zu ihnen gehen. |
| Also jetzt mein Typ A, wenn Sie sich an Taipei aus der Präsentation hier erinnern, vergleiche ich das simulierte Warum ij mit meinem Nahen in diesem Modell. Was ich also hier mache. Tut mir leid, was ich hier mache, ist |
| Ich rufe ihnen die Informationen an und Sie sehen hier. Was vorhersagen und dy AJ vorhersagen |
| Okay, hier ist es. Jetzt habe ich hier De Niro gespeichert und dass der doppelte Wert, den er macht, gleich diesem Wert ist. |
| Aber jetzt würde ich einfach die Vorhersage ändern, was hier passiert. Dies ist eine Vorhersage des erwarteten Werts. Richtig, damit ich diese Formel verwenden kann, springen Sie hierher, was einen Modellvergleich darstellt. Ich kann diesen Typ A verwenden und kaufe eine Simulation, und ich bin mit der Validierung aufgewachsen |
| Und dann, was Sie bekommen. Das ist alles, was Sie brauchen |
| Zu sehen von |
| Von Simulation eins |
| Alles bis hin zur Simulation 30 und Sie haben es satzweise, sodass Sie später die Datentabelle kombinieren können und alles ordentlich erhält, richtig, denn das sind Quadrate. Für die anderen habe ich hier zum Beispiel auch Skripte für to be |
| Er war die Friedensformel. Jetzt rechts in dieser Spalte, und ich habe diesen Satz des r-Quadrats nur für den Testsatz vorhergesagt, nicht für die Modellierung, nicht für den Validierungssatz. Also die Simulation. Eins ist ein Jahr. |
| Und wenn Sie dann ganz nach unten gehen, haben Sie Simulation 30. Und auch hier können Sie Datentabellen jederzeit kombinieren und Ihre Daten werden im gleichen Tabellenformat ausgegeben, da es sich bei allen um Quadrate handelt. |
| Und Daniel, natürlich kann ich hier ein anderes Skript für die Brandquadrate vom Typ Co haben. Wir wählen den Modellierungssatz des Mixed-Effect-Modells rechts und Simulation eins bis hin zum modernen Satz auf Simulation 30, und Sie wissen, dass sie dasselbe tun. |
| Sehen Sie sich jetzt den Testsatz an, aber jetzt sage ich voraus, warum ij, richtig. Das Geheimnis hier ist also, dass man manchmal sogar im See einen hat. Auch hier habe ich die gleiche Formel, weil es mein Randmodell davon ist |
| Modelllösung mit Mischeffekt. Das Einzige, was sich geändert hat, ist in Ihrer Kolumne „Ich für Sie“. Stellen Sie sicher, dass Sie vorhergesagt haben, was, und dann können Sie damit alles berechnen, was Quadrate sind. |
| In Ordnung. |
| Lassen Sie mich zur Präsentation zurückkehren. Da ich nun alle diese Quadrate zusammengestellt habe, stapeln Sie Ihre Tische und können dann die gewünschte Visualisierung durchführen |
| Aber hier interessiere ich mich wirklich für den bedingten Testsatz beider Lösungen und die Erwartungen, die hier gesagt wurden, wissen Sie, ich kann 45 Minuten damit verbringen, nur über diese Tabellenanzeige hier zu sprechen. |
| Aber ich interessiere mich nicht wirklich für die absoluten Werte des r-Quadrats, sondern eher für eine vergleichende Art, unser Quadrat zu vergleichen |
| Aber ich brauche Tage, um nur eines zu überprüfen, nämlich, wie Sie hier sehen können, wenn die Datengröße hier, wie Sie sehen können |
| Sie verwenden hier den Zeiger. Mach es einfacher. Ich habe alle Quadrate. Ich habe hier im Vergleich zu all den Do-You-Faktoren erstellt. Rechts. |
| Sie sehen also, wenn ich einen kleinen Datensatz habe, bin ich in meiner Nähe und das wird aufgrund meines Trainings richtig trainiert. |
| Und meine Validierungssätze haben eine Art quadratische Verteilung, die sich überschneidet. Aber wenn man sich dann den bedingten Testsatz anschaut, dann sind das eigentlich die Daten, die wir immer richtig haben, weil wir nie den erwarteten Wert haben. |
| Es ist immer auf der unteren Ebene rechts, wie Sie für alle sehen, wenn ich diesen kleinen Datensatz habe, aber dann, wenn ich einen größeren Datensatz habe. |
| Bei 1000 Rollen ist die Situation anders, dann sind sie alle aufeinander abgestimmt, Sie wissen schon, es gibt eine Art Überschneidung. Also habe ich diese richtig trainiert. Auch hier ist der absolute Wert unseres Platzes hier nicht groß. Sie interessieren sich wirklich dafür, wie, wissen Sie, wenn Sie darauf zurückkommen |
| Eine der früheren Folien hier, wie Sie sehen, möchte ich jetzt vergleichen. Sehen Sie, ich muss, ich möchte, dass Sie die Vorhersageleistung meines Benchmark-Mixed-Effect-Modells mit der meines neuronalen Netzes vergleichen, um das dunkle Quadrat zu testen, richtig. Also, hier ist, was Sie bekommen. |
| Lass mich diese Form holen. Was Sie hier also erhalten, sind wieder alle Verben. Ich hatte für uns zu tun, und ob sie |
| Krankheit und Ihre Nettolösung oder Lösung mit nicht gemischten Effekten. Sie sehen das also am bedingten Testsatz, der den einen Teil der Leistung ausmacht. Wenn Sie also dabei sind, wissen Sie immer, wann die Datenmengen klein sind. |
| Der Mix-Effekt Malteser macht hier immer einen besseren Job, wenn man das mit einbezieht |
| Der Zufallseffekt ist richtig im Vergleich zu dir, und das liegt daran, dass es immer so etwas gibt |
| Ihr Median oder sogar ihr Durchschnitt sind alle höher, aber dann, wenn Sie einen größeren Datensatz haben |
| Sie wissen, dass dieser Unterschied bis zu einem gewissen Punkt nicht mehr existiert, dass selbst der Neue hier einfach einen besseren Job macht, aber das ist die aktuelle Leistung. |
| Jetzt der Echte. Sie sehen jetzt, dass das Mix-Effekt-Modell einen besseren Job gemacht hat als eine Urkunde gegenüber dem Internet |
| Und hier gibt es keine weiteren Gründe mehr, wissen Sie, denn am Ende des Tages gibt es ein Modell mit direkter Wirkung. Er macht einen besseren Job, insbesondere in diesem Szenario, in dem es um Big Data, größere Daten geht. |
| Letzte Sätze oder Variabilität und mehr zwischen Höhlen und Eingeladenen. Finden Sie jetzt die Zeilen, die ich hier habe. Dies wird für jeden Simulationslauf der Fall sein, der den Unterschied zwischen dem Mischeffekt bewirken wird. |
| R im Quadrat gegen das neue Jahr und das ist im Quadrat. Auf geht's. |
| Hier habe ich vier Diagramme richtig, also konzentrieren wir uns einfach auf eines. Auf der Y-Achse haben Sie das Quadrat der Klimaanlage. Dann mischen Sie abzüglich der Differenz im Conditioner-Quadrat, sorry, das |
| Der Mischungseffekt ist r zum Quadrat minus, dann sind Sie in diesem Quadrat. Das ist es also, was Sie hier erhalten, und das ist der Unterschied in einem Muster für die zukünftige Leistung. |
| Und hier auf der x-Achse sehen Sie diesen Unterschied im erwarteten R-Quadrat. Wir wählen Ihre tatsächliche zukünftige Leistung, Ihr Recht oder Ihre Tendenz. Falls Sie es wollen |
| Jetzt habe ich vier Blöcke. Warum, denn wenn Sie darüber nachdenken, wenn Sie über historische Daten verfügen, zu denen Ihnen die Technologie fehlt, wissen Sie, |
| Wissen Sie, wenn Sie die Daten analysieren, haben Sie möglicherweise nur die Kontrolle über zwei Dinge, nämlich die Datengröße und die relative Stapelgröße. |
| Warum, weil Sie nicht kontrollieren können, wie groß die Variabilität in Ihren Daten sein wird? Und wenn Ihre zufälligen Effekte viel größer sein werden als Ihre zufällige Luft. Also die einzigen zwei Dinge, die Sie möglicherweise tun können |
| Sie haben die Kontrolle über die Datengröße und die relative Stapelgröße. Wenn Sie das Tag nicht haben, können Sie zumindest eine Idee haben, ob Sie Ihre historischen Daten verwenden sollten. |
| Sollte aus vielen, vielen Schlafzimmern bestehen, nur ein oder zwei Schlafzimmer. Rechts. Das ist also die Art von Kontrolle, die Sie haben |
| Wenn Sie über statistische Daten verfügen, können Sie sich zumindest eine Vorstellung von der Chargengröße machen. |
| Was ich hier also vergleiche, ist der Unterschied in der scheinbaren Leistung, es sind nur positive Unterschiede, das bedeutet, dass das Mixed-Effect-Modell eine bessere Leistung hat. |
| Wenn dieser Unterschied hier auch positiv ist. Es bedeutet, dass der Mischeffekt eine bessere zukünftige Leistung darstellt, richtig. |
| Und wie Sie hier sehen können, wenn Sie einen kleinen Datensatz haben. Es spielt keine Rolle, was Sie tun. |
| Und das Mix-Effekt-Modell hat eine bessere Leistung, manchmal sogar viel besser, denn wenn wir über Unterschiede im R-Quadrat sprechen, können diese weit über Eins hinausgehen. |
| Richtig, er erzielt also eine viel bessere Leistung, wenn Sie ihn in einen oder den zukünftigen Pott stecken. Wenn die Datenmengen also klein sind, gibt es wirklich keine |
| Nein, hier gibt es keine Lösung. Wenn man jedoch die Datengröße betrachtet, sind größere Datenseiten richtig, aber wenn man diese kleine Menge an Stapeln hat. Rechts. |
| Hier passiert etwas Lustiges, denn hier wissen Sie, dass der Unterschied bei ausreichender Finanzierung der zukünftigen Leistung auf der Y-Achse negativ ist, die meisten davon. |
| Das bedeutet, dass wir in Bezug auf das Patent auf dem Tahrir-Platz eine bessere Arbeit leisten können, entweder richtig oder bedingt |
| Berühre dieses dunkle Quadrat. Also, wenn du es tust. Wer wird wie der neue Urin aussehen? Das wäre eine tolle Arbeit, besser als |
| Das Mix-Effekt-Modell. Wenn man sich jedoch die Größe der x-Achse (rechts) ansieht, die den Unterschied in der tatsächlichen zukünftigen Leistung darstellt, kann dies ziemlich irreführend sein. |
| Richtig, wenn Sie viele Daten haben, aber nur ein paar Stapel, wissen Sie, dass Sie einen schönen Test erhalten, der Testsatz besteht aus Quadraten. Aber dann, wenn Sie versuchen, Ihre Form in Zukunft einzusetzen. |
| Sie könnten in Schwierigkeiten geraten. Aber wenn man dann hierher schaut. Hier haben wir eine Schadensbegrenzungssituation, in der Sie viele Daten und viele Batches haben. Daher sind sie in der Regel nicht so unterschiedlich. Richtig so |
| Zusammenfassend lässt sich sagen, dass Sie maschinelles Lernen mit nicht vernachlässigbarem Zufallseffekt verwenden sollten, wenn der Datensatz klein ist. Sie wissen, dass die Vorhersageleistung des Testsatzes höchstwahrscheinlich schlecht sein wird. |
| Unabhängig davon, wie viele Batch-Cluster Sie haben. Und das liegt daran, dass maschinelles Lernen für den Erfolg eine Mindestdatengröße erfordert. Rechts. Es gibt also keine |
| Hier gibt es keine Möglichkeit, das Spiel zu gewinnen. Wenn die Datenmenge groß ist und Sie nur wenige Cluster haben. Und das ist eine Art irreführende Situation, weil Ihr Testsatz vorhersagt, dass die Leistung gut sein kann, aber die Leistung würden wir wahrscheinlich später bei der Bereitstellung des Modells von Brewer erfahren. |
| Einige Leute sagen mir: Warum nutzen Sie nicht die Regularisierung? Selbst wenn Sie es tun würden, würden Sie es in diesen Situationen nicht tun, weil |
| Ihr Testsatz R im Quadrat kann gut sein, aber dann wissen Sie nicht, dass Sie ihn richtig brauchen, sodass Sie es nicht sagen können |
| Sie wissen, wie hoch Ihre langfristige zukünftige Leistung ist, wenn Sie sich nur Ihre Tests im dunklen Quadrat oder einige Fehler ansehen. |
| Aber wenn Ihr Datensatz dann sehr groß ist, haben Sie viele Cluster am Tag und die gesamte Situation wird abgemildert und der voreingenommene Effekt der näheren Art wird gemittelt, weil jeder zufällige Effekt, Sie wissen schon, die Summe aller Cluster ist. |
| Es ist Null. Je mehr Sie also auf dem neuesten Stand haben, desto mehr bekommen Sie |
| Darüber hinaus möchte ich nur sagen, dass ich daraus gelernt habe, dass es zwei Dinge gibt, an die ich mich immer erinnere, wenn die Daten nicht absichtlich entworfen wurden |
| Maschinenland kann sich nicht mit Daten befassen, nur weil sie groß sind. Damit es funktioniert, muss man über ein Mindestmaß an Design verfügen. |
| Aber je größer die Daten sind, desto wahrscheinlicher ist es, dass in den Daten bereits ein minimaler Grad an Design vorhanden ist, und zwar rein zufällig. In Ordnung. Und vielen Dank, wenn Sie mit uns Kontakt aufnehmen möchten. Wir sind in der Jump-Community. Das sind unsere Adressen. Danke schön. |
