Lautsprecher
|
Transkript
|
| Phil Kay |
Okay, wir werden über das Überdenken des Designs und der Analyse von Experimenten sprechen. Ich bin Phil Kay. Ich bin der Lernmanager im globalen Team für technische Unterstützung und ich werde von Pete Hersh unterstützt. |
| Peter Hersh |
Ja, ich bin auch Mitglied des globalen Teams für technische Unterstützung und freue mich darauf, über DOE und einige der neuen Techniken zu sprechen, die wir ... die wir heute erforschen. |
| Phil Kay |
Das erste, was wir sagen müssen, ist, dass wir große Fans von DOE sind. Es ist toll. Es hat seit langer Zeit einen enormen Wert in Wissenschaft und Technik. |
| |
Und trotzdem gibt es einige Annahmen, mit denen wir einverstanden sein müssen, um DOE viel Zeit zu nutzen. |
| |
Und sie fühlen sich als Wissenschaftler oder Ingenieur nicht immer sehr wohl. Dinge wie Effektsparsamkeit, also die Idee, dass nicht alles, was Sie betrachten, sich als wichtig herausstellte |
| |
und tatsächlich erweisen sich nur einige der Dinge, an denen Sie tatsächlich experimentieren, als wichtig. Oder Effektvererbung ist eine andere Annahme. |
| |
Das bedeutet, dass wir nur für Faktoren, die in ihrer einfacheren Form aktiv sind, komplexe Verhaltensweisen oder Effekte höherer Ordnung erwarten. |
| |
Und genau diese Idee von aktiven und inaktiven Effekten, so häufig, besteht der sequentielle Prozess der Versuchsplanung darin, die aktiven Effekte aus den inaktiven Effekten herauszufiltern. |
| |
Und das fühlt sich manchmal einfach wie eine zu binäre Entscheidung an. Es scheint ein bisschen verrückt, ich denke, viel Zeit, diese Idee, dass einige der Dinge, die wir an einem völlig inaktiven experimentieren, |
| |
wenn wirklich, denke ich, wissen wir, dass wirklich alles eine Wirkung haben wird. Es könnte aber weniger wichtig sein |
| |
es wird immer noch eine Wirkung haben. Und dies sind größtenteils Annahmen, die wir verwenden, um |
| |
Umgehen Sie einige der Herausforderungen beim Entwerfen von Experimenten, wenn Sie es sich nicht leisten können, eine große Anzahl von Läufen durchzuführen, und ja. Pete, ich weiß nicht, ob du das auch aus deiner Sicht kommentieren willst. |
| Peter Hersh |
Ja, ich stimme vollkommen zu. Ich denke, dass der Gedanke, dass etwas wie Temperatur inaktiv ist, ... Ich kann mir kaum vorstellen, dass Temperatur keinen Einfluss auf ein Experiment hat. |
| Phil Kay |
Ja, es ist irgendwie absurd, nicht wahr? So, |
| |
Ja, wenn das in Ihrem Experiment ist, dann wird es immer auf irgendeine Weise aktiv sein, aber vielleicht nicht so wichtig wie andere Dinge. |
| |
Also werde ich gleich zu den Ergebnissen von springen |
| |
von dem, was wir uns angesehen haben. Wir haben uns also diese automatische Validierungstechnik angesehen, die Chris Gotwalt und Phil Ramsey im Wesentlichen erfunden haben |
| |
und das in der Analyse von entworfenen Experimenten zu verwenden, und es liefert wirklich Ergebnisse, die einfach verrückt sind. Wir haben einfach nicht gedacht, dass sie möglich sind. |
| |
Also habe ich mir zuerst ein System mit 13 aktiven Effekten angesehen und ein definitives Screening-Design mit 13 Durchläufen analysiert. Daraus konnte ich erkennen, dass 13 Effekte aktiv waren, was ... das nennen wir eine gesättigte Situation. Wir würden nicht ... |
| |
Im Allgemeinen haben wir davon gesprochen, dass definitive Screening-Designs die aktiven Effekte effektiv identifizieren, wenn wir eine geringe Effektivität haben, wenn nur eine geringe Anzahl von Effekten tatsächlich wichtig oder aktiv ist. In diesem Fall konnte ich jedoch alle 13 aktiven Effekte identifizieren. |
| |
Und nicht nur das, es war tatsächlich möglich, ein Modell mit all diesen 13 aktiven Effekten aus diesem 13-Lauf-endgültigen Screening-Design zu erstellen. |
| |
Das ist wieder unglaublich. Wir erwarten nicht, dass wir ein Modell mit so vielen aktiven Effekten haben können, wie wir Datenzeilen haben, aus denen wir es erstellen. |
| |
Und Pete, du hast dir einige andere Dinge angesehen und andere wirklich interessante Ergebnisse erzielt. |
| Peter Hersh |
Ja, absolut, und Phils Ergebnisse sind sehr, sehr beeindruckend. Ich denke |
| |
Als nächsten Schritt haben wir versucht, ein super gesättigtes Design zu erstellen, das mehr aktive Effekte als Läufe aufweist, und wir haben dies mit versucht |
| |
sehr kleine DOEs. Ein DOE mit sechs Durchläufen und sieben aktiven Effekten. Wenn wir dies mit Standard-DOE-Techniken tun würden, gäbe es keine Möglichkeit zur Analyse |
| |
das richtig. Und wir haben uns angesehen, das mit acht und zehn laufenden DOEs zu vergleichen und wie viel uns das gekauft hat. Wir haben also ziemlich nützliche Modelle bekommen, sogar von einem DOE mit sechs Läufen |
| |
besser als ich erwartet hatte. |
| Phil Kay |
Ja, es ist besser, als Sie wirklich erwarten dürfen, nicht wahr? |
| |
Und so haben wir diese wirklich beeindruckenden Ergebnisse und die Fähigkeit, eine große Anzahl aktiver Effekte von einem kleinen zu identifizieren |
| |
endgültiges Bildschirmdesign und tatsächlich das Modell mit all diesen aktiven Effekten erstellen. Und in Petes Fall konnte ich ein Modell mit sieben aktiven Effekten von wirklich klein bauen |
| |
Entworfene Experimente. |
| |
Also, wie haben wir das gemacht? Wie funktioniert die automatische Validierungsmethode? Nun, es geht um Ideen aus dem maschinellen Lernen, und eines der wirklich nützlichen Werkzeuge aus dem maschinellen Lernen ist die Validierung. Die Holdout-Validierung ist also eine wirklich gute Möglichkeit, um sicherzustellen, dass Sie bauen |
| |
das nützlichste Modell. Es ist also ein Modell, das robust ist. Wir halten also einen Teil der Daten bereit und verwenden diese, um verschiedene Modelle zu testen, die wir erstellen, und |
| |
Im Grunde genommen ist das Modell, mit dem wir die besten Vorhersagen für diese Daten treffen, das Modell, mit dem wir arbeiten, und das ist einfach wirklich bewährt. |
| |
Es ist eigentlich so ziemlich der Goldstandard für den Bau der nützlichsten Modelle, aber mit DOE ist das eine größere Herausforderung, nicht wahr, Pete? Dafür eignet es sich offensichtlich nicht. |
| Peter Hersh |
Ja, ja, die ganze Idee hinter DOE ist es, den Designraum so effizient wie möglich zu erkunden. Und wenn wir anfangen, Läufe zu halten oder durchzuhalten |
| |
Analyse der Läufe, dann werden wir einen Teil dieses Designraums vermissen und |
| |
Mit vielen dieser DOE-Techniken wie definitiven Screening-Designs können wir das wirklich nicht. |
| Phil Kay |
Richtig, richtig, es wäre also schön, wenn es einen Trick gäbe, mit dem wir die Vorteile dieser Holdout-Validierung nutzen könnten, ohne unter kritischen Daten zu leiden. Das bringt uns zu dieser automatischen Validierung |
| |
Idee, und, Pete, möchten Sie ein wenig darüber beschreiben, wie das funktioniert? |
| Peter Hersh |
Absolut, das war also eine wirklich clevere Idee, die von Chris und Phil Ramsey entwickelt wurde, und sie nehmen im Wesentlichen unsere Originaldaten von einem DOE und sie probieren sie erneut aus, also Sie |
| |
Wiederholen Sie die Ergebnisse. Wenn Sie also feststellen, dass die Tabelle hier unten auf der Folie angezeigt wird, sind die Läufe in Grau die gleichen Ergebnisse wie die Läufe in Weiß. Sie werden nur wiederholt. |
| |
Und die Art und Weise, wie sie damit durchkommen, besteht darin, diese Gewichtungssäule herzustellen, die miteinander gepaart ist. Also im Grunde, wenn man ein hohes Gewicht hat, die |
| |
Der wiederholte Lauf davon hat eine niedrige Rate ... Gewicht und so weiter und so fort. Und das ist ... das ist ... ermöglicht es uns, die Daten mit dieser Validierung und der Gewichtung zu verwenden, und wir werden ein bisschen detaillierter darauf eingehen, wie das gemacht wird. |
| Phil Kay |
Ja, Sie werden sehen, wie es passiert, wenn wir die Demos durchgehen. Wir haben also im Grunde zwei Fallstudien von simulierten Beispielen, die wir zur Veranschaulichung dieser Methodik verwenden. Also diese erste Fallstudie, über die ich sprechen werde, |
| |
Ich betone, es ist ein simuliertes Beispiel. In gewisser Hinsicht ist es ein unrealistisches Beispiel, aber ich denke, es macht einen wirklich guten Job, um die Kraft dieser Methodik zu demonstrieren. |
| |
Wir haben sechs Faktoren und um es ein bisschen realer erscheinen zu lassen, haben wir einige reale Faktoren aus einer Fallstudie hier ausgewählt, in der versucht wurde, einen biologischen Organismus zu züchten und die Nährstoffe zu optimieren, die sie in das System einspeisen, um sie zu optimieren die Wachstumsrate. |
| |
Wir haben also diese sechs verschiedenen Nährstoffe und das sind unsere Faktoren. Wir können verschiedene Mengen davon hinzufügen, daher habe ich ein endgültiges Screening-Design mit 13 Durchläufen entworfen, um diese Faktoren mit dieser Wachstumsratenreaktion zu untersuchen. |
| |
Die Antwortdaten wurden von mir vollständig simuliert und so simuliert, dass es 13 stark aktive Effekte gab. So |
| |
Ich habe es simuliert, damit alle Haupteffekte, alle sechs Haupteffekte, aktiv sind. |
| |
Und dann sind für jeden dieser Faktoren auch die quadratischen Effekte aktiv, sodass wir sechs quadratische Effekte haben. |
| |
Außerdem haben wir einen Abschnitt, den wir immer abschätzen müssen, sodass insgesamt 13 Effekte aktiv sind, die für das Verständnis des Systems wichtig sind. |
| |
1 Signal zu Rauschen, aber das ist mit der Standardmethode immer noch eine echte Herausforderung, um dies zu modellieren, und wir werden in der Demo darauf zurückkommen. |
| |
Die Frage ist also wirklich, können wir all diese wichtigen Effekte identifizieren und, wenn wir können, können wir dann auch ein Modell mit all diesen wichtigen Effekten erstellen? Denn wie gesagt, das wäre wirklich bemerkenswert |
| |
im Vergleich zu dem, was wir mit Standardmethoden machen können. |
| |
Und dann Fallstudie Nr. 2, Pete? |
| Peter Hersh |
Ja, absolut. Sehr, sehr ähnlich zu Phils Fallstudie. Dieselbe Idee: Wir füttern einen Organismus mit verschiedenen Nährstoffen auf verschiedenen Ebenen und überprüfen seine Wachstumsrate. In diesem Fall habe ich vereinfacht, was Phil getan hat, und es auf nur drei Nährstofffaktoren heruntergebrochen. Und das ist |
| |
Erstellen Sie eine andere Art von Design, also ein I-optimales übersättigtes Design, bei dem wir eine vollständige Reaktionsfläche betrachten |
| |
in einer übersättigten Weise und wir sahen uns sechs, acht und zehn Lauf |
| |
Designs. Und so die gleiche Idee. |
| |
Die ... Die |
| |
Effekte waren sehr, sehr |
| |
hohes Signal-Rausch-Verhältnis, wollte also unbedingt diese Effekte erkennen können, wenn sie aktiv waren. Und genau wie bei Phil habe ich die Haupteffekte in den Quadraten sowie den Achsenabschnitt aktiv gehalten, und wir versuchen, diese herauszufinden. |
| |
Und dieselbe Idee, wie viele Läufe würden wir brauchen, um diese aktiven Effekte zu sehen, und wie genau können wir aus diesen sehr kleinen Designs ein Modell machen? |
| Phil Kay |
Ja, weil Sie wissen, wie ich bereits sagte, haben Sie wirklich kein Recht zu erwarten, dass Sie aus einem so kleinen Design ein gutes Modell bauen können. |
| Peter Hersh |
Ja genau. Okay. |
| Phil Kay |
Also werde ich jetzt eine Demo von Fallstudie Nr. 1 machen. |
| |
Und ich präsentiere dies durch ein JMP-Projekt. Das ist also eine wirklich gute Möglichkeit, Ihre Ergebnisse zu präsentieren. Ich würde empfehlen, dies auszuprobieren. |
| |
Und das ist unser |
| |
Design, also ist dies unser endgültiges Screening-Design mit 13 Durchläufen, bei dem wir diese Nährstofffaktoren variieren und die simulierte Wachstumsratenreaktion haben. Wie gesagt, das wurde so simuliert |
| |
Die Haupteffekte, die Quadrate all dieser Faktoren, sind stark aktiv, und wir müssen diesen Achsenabschnitt abschätzen. |
| |
Nun, mit einem endgültigen Screening-Design empfehle ich generell, dass Sie das Fit-definitive Screening verwenden, um die Ergebnisse als eine der Analysen zu betrachten, die Sie durchführen können. |
| |
Es funktioniert wirklich gut, wenn dieses Effekt-Sparsity-Prinzip wahr ist. Solange nur einige der Effekte stark aktiv sind ... aktiv sind und der Rest unwichtig ist, |
| |
dann wird es diese ... die wenigen wichtigen Effekte finden und sie von den unwichtigen trennen. |
| |
Aber in diesem Fall hatte ich nicht erwartet, dass es gut funktioniert und es funktioniert nicht gut. Es wird nicht festgestellt, dass alle sechs Faktoren aktiv sind. Tatsächlich identifiziert es nur einen der Faktoren, der hier aktiv ist. |
| |
Das ist also keine große Überraschung, dies ist eine zu schwierige und zu herausfordernde Situation für diese Art der Analyse. |
| |
Wenn wir irgendwie wüssten, dass alle diese aktiven Effekte aktiv sind und wir versuchen, ein Modell mit allen sechs Haupteffekten, allen sechs quadratischen und dem Achsenabschnitt, anzupassen, |
| |
dann ist das ein gesättigtes Modell. Wir müssen so viele Parameter schätzen, wie wir Datenzeilen haben, sodass wir dieses Modell fast anpassen können, aber wir erhalten keine Statistiken. |
| |
Und auf jeden Fall wissen Sie, abgesehen von der Tatsache, dass ich diese Daten simuliert habe, würden wir in einer realen Situation nicht wissen, welche aktiv sind, also würden wir nicht einmal wissen, welches Modell passt. |
| |
Mit der automatischen Validierungsmethode konnte ich nun die aktiven Effekte sehr überzeugend identifizieren, und ich werde erläutern, wie wir dies getan haben. |
| |
Und dies ist nur eine Visualisierung meiner Ergebnisse hier. Sie müssen es nicht unbedingt auf diese Weise visualisieren. Dies dient zu Präsentationszwecken. |
| |
Ich konnte feststellen, dass zunächst der Intercept aktiv war. Ich habe alle meine sechs Haupteffekte, |
| |
und meine quadratischen Effekte und dann meine Zwei-Faktor-Wechselwirkungen, die ich simuliert habe, um keinen Effekt zu haben. Sie können sehen, dass sie gut unten sind |
| |
gegen die anderen. Und hier gibt es tatsächlich einen Nullfaktor, den wir verwenden ... also einen Dummy-Faktor. Alles andere als der Nullfaktor können wir als unwichtig oder inaktiv deklarieren, wenn Sie möchten. |
| |
Und was wir eigentlich sind ... die Metrik, die wir hier betrachten, heißt Proportion ungleich Null, und ich werde erklären, was das bedeutet, wenn wir dies durchgehen. Das ist eine Art Metrik, die wir hier verwenden, um die Stärke eines Effekts und die Wichtigkeit eines Effekts zu identifizieren. |
| |
Also ein bisschen darüber, wie ich das durchgemacht habe. Also habe ich mein ursprüngliches endgültiges Screening-Design mit 13 Durchläufen genommen und es dann für die automatische Validierung eingerichtet, sodass wir jetzt 26 Zeilen haben, die wir dupliziert haben. |
| |
Und dafür gibt es ein Add-In, einen unserer Kollegen, Mike Anderson. hat ein Add-In erstellt, mit dem Sie dies in JMP 15 tun können. |
| |
In JMP 16 fügen sie tatsächlich die Funktion in den Vorhersagemodellierungswerkzeugen in der Validierungsspaltenplattform hinzu. |
| |
Und was das bedeutet, wir bekommen diesen doppelten Satz unserer Daten, und dann bekommen wir diese Gewichtung und wie Pete sagte, haben wir ... jede Zeile befindet sich im Trainingssatz und im Validierungssatz. |
| |
Wenn es im Trainingssatz eine niedrige Gewichtung hat, hat es eine hohe Gewichtung in der Validierung. Wenn es also eine hohe Gewichtung im Trainingssatz hat, hat es eine niedrige Gewichtung im Validierungssatz. |
| |
Und was wir tatsächlich tun, ist, wir lesen ... diese wurden im Grunde zufällig zugewiesen. |
| |
Wir haben diese neu zugewiesen und konnten dies hunderte Male durchlaufen, die Modelle jedes Mal anpassen und dann die aggregierten ... aggregierten Ergebnisse über viele Simulationsläufe hinweg betrachten. Also, was würdest du tun? |
| |
ist passend zum Modell und ich verwende GenReg hier in JMP Pro. |
| |
Und Sie benötigen sowieso JMP Pro, da Sie diese Validierungsrolle angeben können müssen, also setzen wir ... die Spalte für die Zugvalidierung wird in die Validierung übernommen. |
| |
Und die Gewichtung geht in die Frequenz und dann richten wir alles andere so ein, wie wir es normalerweise mit unserer Antwort tun würden. Und dann habe ich ein Modell, das hier das Antwortoberflächenmodell mit all diesen Effekten ist, und dann würde ich auf Ausführen klicken. |
| |
Und es passt zu einem Modell, und wir können die Vorwärtsauswahl oder das Lasso verwenden. Hier habe ich das Lasso benutzt. |
| |
In diesem Fall ist das nicht besonders wichtig. |
| |
Und was tatsächlich passiert ist, ist, dass wir in diesem Fall nur den Achsenabschnitt als wichtig identifiziert haben, sodass wir nur den Achsenabschnitt im Modell haben. |
| |
Wenn wir jedoch die Gewichtung ändern und zu unserer Datentabelle zurückkehren, um diese Gewichtungen neu zu simulieren, erhalten wir wahrscheinlich ein anderes Ergebnis als das Modell. |
| |
Wir gewichten verschiedene Datenzeilen, verschiedene Läufe im Experiment, die das passende Modell ändern. Also werden wir das hunderte Male tun, und was ich tun werde, ist tatsächlich die Simulationsfunktion in JMP Pro zu verwenden. |
| |
Und wir schalten die Gewichtungsspalte aus und schalten eine neu berechnete Version der Gewichtungsspalte ein. Und das können Sie ein paar hundert Mal tun. Ich habe es in diesem Fall tatsächlich 250 Mal gemacht. Ich werde das nicht wirklich laufen lassen, weil das ein oder zwei Minuten dauern wird. |
| |
Sobald Sie das getan haben, erhalten Sie eine Tabelle, die so aussieht. |
| |
Jetzt habe ich die Parameterschätzung für jedes dieser 250 Modelle für jeden dieser Effekte. So |
| |
In meinem ersten Modell in diesem Lauf war dies die Parameterschätzung für diesen Zitronensäure-Haupteffekt. Im nächsten Modell, als wir die Gewichtung neu abgetastet haben, |
| |
Der Zitronensäure-Haupteffekt trat nicht in das Modell ein, daher war er in diesem Fall Null. |
| |
Und Sie können tatsächlich Verteilungen für alle diese Parameterschätzungen ausführen. Und eines der Dinge, die Sie tun können, ist zu |
| |
Passen Sie diese Statistik, die zusammenfassende Statistik, an, um den Anteil ungleich Null anzuzeigen. Sie können den Abschnitt hier also sehen, |
| |
die Schätzungen, die wir über den Abschnitt hatten. Sie können mit Zitronensäure sehen, dass die meiste Zeit als Null geschätzt wurde, also waren das die Modelle, |
| |
Der Zitronensäure-Haupteffekt war nicht im Modell enthalten, und dann wurde er häufig auf etwa 3 geschätzt, was ich simuliert hatte. |
| |
Wir sehen uns also an, wie oft es nicht Null ist und wir daraus eine kombinierte Datentabelle erstellen können. Und das habe ich schon getan und nur ein bisschen ... |
| |
ein bisschen zusätzliche Vergrößerung hier. Ich habe gerade eine Spalte hinzugefügt, um festzustellen, ob es sich um einen Haupteffekt handelt oder nicht, und dann habe ich das so erstellt |
| |
diese Visualisierung hier. Sie sehen also, wie oft jeder dieser Effekte ungleich Null ist, also wie oft jeder der Effekte in unserem Modell über all diesen Effekten liegt |
| |
Wir haben 250 Simulationsläufe durchgeführt, bei denen wir die gebrochene Gewichtung neu simuliert haben. Und damit identifizieren wir uns |
| |
die aktiven Effekte, und das ist ... und es hat einen bemerkenswerten Job gemacht. Es war in der Lage, das zu tun, was unsere Standardmethoden nicht können würden. Es wurden 13 aktive Effekte aus einem Lauf von 13 identifiziert |
| |
endgültiges Screening-Design. |
| |
Was möchten Sie als nächstes tun? Wir möchten dieses Modell vielleicht tatsächlich mit all diesen Effekten ausstatten, und das habe ich geschafft. Und ich vergleiche das Modell, das ich hier gepasst habe |
| |
im Vergleich zur tatsächlichen simulierten Antwort, und Sie können sehen, wie eng sie übereinstimmen. Ich konnte also ein Modell mit all diesen Haupteffekten, all diesen Quadraten und dem Achsenabschnitt erstellen. |
| |
Ich habe hier also ein 13-Parameter-Modell, das ich an dieses endgültige 13-Run-Bildschirmdesign anpassen konnte, was wiederum nur bemerkenswert ist. |
| |
Und ich werde nicht genau darüber sprechen, wie ich zu diesem Teil gekommen bin. Ich werde jetzt an Pete übergeben. Er wird ein bisschen mehr über diese Idee von selbst validierten Ensemble-Modellen sprechen. |
| Peter Hersh |
Absolut. Danke, Phil. Mal sehen. Ich werde meinen Bildschirm hier teilen und wir werden uns nur dieses Projekt ansehen. So |
| |
Sie können hier sehen |
| |
im gleichen |
| |
fließen als Phil, wir schauen uns hier ein Projekt an und ich habe |
| |
begann mit diesen sechs Läufen übersättigten DOE, und hier können Sie sehen, ich habe drei Faktoren, |
| |
Was ist meine tatsächliche zugrunde liegende Modellwachstumsrate und wie hoch ist dann die Wachstumsrate? Die simulierte Wachstumsrate war und dann wie von Phil erwähnt. |
| |
Ich erstelle diese automatische Validierungsspalte, die mit einem von Mike Anderson entwickelten Add-In in JMP 15 erstellt werden kann. Oder in JMP 16 ist es direkt in die Software integriert, und Sie können darauf zugreifen, dass unter der Analysewertungsmodellierungsplattform eine Validierungsspalte erstellt wird. |
| |
Genau wie Phil gezeigt hat, hat er ein hervorragendes Beispiel dafür gezeigt, wie wir herausfinden können, welche Faktoren aktiv sind, also ein Faktor-Screening. Und das ist oft unser Hauptziel bei DOE, aber wenn wir noch einen Schritt weiter gehen und daraus ein Modell bauen wollen, |
| |
Wir würden diesen Prozess genauso durchlaufen, richtig. Also bauen wir unser DOE, wir bekommen eine automatische Validierung zu diesem DOE hinzugefügt, wir bauen unser Modell, genau wie Phil es gezeigt hat, unter Verwendung der generalisierten Regression und einer der |
| |
variable Auswahltechniken. Phil Ramsey und Chris Gotwalt haben sich viele dieser verschiedenen Techniken angesehen und sie scheinen alle ziemlich gut zu funktionieren. Egal, ob Sie ein Lasso oder sogar eine zweistufige Vorauswahl verwenden, alle scheinen ähnliche Ergebnisse zu erzielen und |
| |
ziemlich gut arbeiten. Sobald Sie dies eingerichtet und gestartet haben, erhalten Sie ein Modell, wie es Phil gezeigt hat, und Sie wissen, dass einige dieser Modelle vorhanden sein werden |
