Wie wählt man Modellterme für kleine Stichproben aus (Sollte ich Lasso verwenden? Oder Terme manuell anhand des p-Werts auswählen?)Hallo,
Ich versuche, den besten Weg zu finden, die Terme für mein quadratisches Modell auszuwählen. 
Zunächst verwende ich die Methode der kleinsten Quadrate, um zu verstehen, wie der pH-Wert und andere kontinuierliche Größen (und möglicherweise auch einige diskrete Indikatoren, die ich meinem Modell bald hinzufügen werde) von drei verschiedenen Faktoren (Konzentration A, Konzentration B und Verhältnis C) beeinflusst werden. Ich muss also die Beziehung zwischen den Faktoren (ihren Quadraten und ihren Wechselwirkungen) und den gemessenen Größen (pH-Wert, Rheologiewerte usw.) ermitteln.
Ich habe meine Daten mithilfe eines L9-Taguchi-Versuchsplans (drei Parameter mit jeweils drei Stufen) erhoben, sodass ich nur neun Experimente habe. Ich muss die Terme für meine Modelle auswählen, die für jede Ausgabegröße verwendet werden. (Ein erstes Modell für den pH-Wert, ein weiteres für rheologische Messungen usw.)
Nach nur neun Läufen weiß ich, dass ich das vollständige quadratische Modell (10 Parameter) nicht anpassen kann. Die Haupteffekte sind orthogonal, aber die Zwei-Faktor-Wechselwirkungen sind mit den Haupteffekten überlagert (|r| ≈ 0,58), daher plane ich, sie zu entfernen. Übrig bleiben Haupteffekte und quadratische Terme (6 Parameter). Meine Frage ist nun, wie ich zwischen diesen verbleibenden Termen wähle: manuelle Reduktion (Entfernen nicht signifikanter Terme einzeln) oder LASSO – welche Methode ist für eine Doktorarbeit besser zu begründen?
Vielen Dank für jede Hilfe!
Mit freundlichen Grüße,
Anna
Betreff: Wie wähle ich Modellterme für kleine Stichproben aus (Sollte ich Lasso verwenden? Oder Terme manuell anhand des p-Werts auswählen?)Bei weiteren Fragen stehen wir Ihnen gerne zur Verfügung!
Betreff: Wie wähle ich Modellterme für kleine Stichproben aus (Sollte ich Lasso verwenden? Oder Terme manuell anhand des p-Werts auswählen?)Hallo @FrancesBudgie97 ,
Willkommen in der Community!
Taguchi-Designs werden eher selten verwendet. Um sicherzugehen: Ihre drei Faktoren sind numerisch und stetig, aber für die Erstellung des Designs haben Sie sie als kategorisch oder diskret numerisch definiert?
Ich würde nicht standardmäßig Terme entfernen, die möglicherweise mit anderen Termen im Modell korreliert sind. Korrelationen zwischen Termen sind in Studien häufig, und das schließt ihre Aufnahme ins Modell nicht aus. Die Folge sind Einschränkungen bei der Termauswahl (Sie können nicht alle Terme einbeziehen, sonst entsteht eine Singularität im Modell), eine geringere Präzision bei deren Schätzung (mit breiteren Konfidenzintervallen um die Schätzwerte) und ein gewisses Maß an Kollinearität (Sie können die Varianzinflationsfaktoren (VIF) der im Modell enthaltenen Terme überprüfen, um den Grad der Kollinearität zu beurteilen).
Da sich nicht alle möglichen Parameter eines Response-Surface-Modells (RSM) aus Ihrem Versuchsplan abschätzen lassen, befinden Sie sich in einer Situation der Übersättigung. Sie müssen daher spezielle Methoden anwenden, um die Parameter zu ermitteln, die den größten Einfluss auf Ihre verschiedenen Zielgrößen haben. Einige interessante Optionen sind:
- Die Fit Two Level Screening Platform : Trotz ihres Namens habe ich sie häufig in Situationen eingesetzt, in denen ich drei Stufen für meine Faktoren hatte und nicht genügend Läufe für eine vollständige RSM-Schätzung vorlagen. Die Plattform nutzt Simulationen, um die Terme mit dem größten Einfluss auf die Zielgröße zu ermitteln. Dabei befolgt sie bestimmte Regeln ( siehe Statistische Details zur Reihenfolge der Effekteintragung ), wie beispielsweise die Prinzipien der Effekthierarchie und der Effektvererbung .
- Generalisierte Regressionsmodelle (mit JMP Pro): Die generalisierten Regressionsmodelle in JMP Pro bieten verschiedene Schätzmethodenoptionen (wie Pruned Forward Selection, Two Stage Forward Selection oder Lasso/Elastic Net/...) , die dabei helfen können, wichtige Effekte aus einer großen Liste von Effekten herauszufiltern.
- Schrittweise Regressionsmodelle (mit JMP): Ich würde davon abraten, sich zu sehr auf schrittweise Modelle zu verlassen, da diese anhand vieler verschiedener Termkombinationen versuchen, das beste Modell zu finden (was mitunter zu einer Überanpassung führen kann). Sie können jedoch als Werkzeug zum Modellvergleich nützlich sein, insbesondere wenn Sie mehrere Modelle erstellen und Rasterdiagramme generieren können, um zu vergleichen, welche Terme häufig in verschiedenen Modellen enthalten sind.
Mehr Informationen zu den Rasterdiagrammen: LinkedIn-Beitrag
Recording Experimenters' Club Q2 2026_Jenseits des einen besten Modells: Was ein DSD wirklich aussagen kann
Ein Anwendungsbeispiel, das in der französischen JMP-Benutzergruppe vorgestellt wird, finden Sie hier . Dort habe ich diese verschiedenen Plattformen verwendet, um Modellgütemetriken (R² / RMSE / ...), das Verhältnis von Modellkomplexität zu Genauigkeit (mit Informationskriterien wie Likelihood, AICc und BIC) , die Übereinstimmung zwischen Modellen hinsichtlich der Termeinschlüsse usw. zu vergleichen.
Zu Ihrer Frage, wie man Terme hinzufügt/entfernt, um die Modelle zu erstellen: Die oben genannten Methoden können hilfreich sein. Wichtiger ist jedoch, dass Sie Folgendes definieren:
- Ihr Ziel : Befinden Sie sich in einer Screening-Situation (in der p-Werte helfen können, ein echtes Signal von zufälligen Schwankungen oder Rauschen zu unterscheiden)? Oder in einem Optimierungs-/Vorhersage-Szenario (in dem die Genauigkeit des Modells wichtiger sein kann, sodass Sie sich auf RMSE und andere prädiktive Metriken stützen)? Oder befinden Sie sich in einer Zwischensituation und sind sich unsicher (Informationskriterien können Ihnen helfen, Modelle zu vergleichen und das richtige Verhältnis zwischen Genauigkeit und Komplexität für die Anzahl der einbezogenen Terme zu bestimmen)?
- Ihre Fachkenntnisse/Expertise : Können Sie basierend auf historischen Daten oder Kenntnissen über das untersuchte System Begriffe entfernen/hinzufügen? Gibt es bereits bekannte Wechselwirkungen oder Haupteffekte, die aktiv und wichtig sind? Können Sie ein Modell mit Fachexperten überprüfen/bewerten, um dessen Plausibilität festzustellen?
- Ihre Validierungsstrategie : Sobald Sie Modelle ausgewählt haben, die für Ihre Zielgrößen geeignet erscheinen, müssen Sie diese validieren. Abhängig von Ihren Zielen und Ihrem Budget können verschiedene Szenarien für die Validierungsläufe erforderlich sein. Sind Sie nur an der Validierung der optimalen Punkte interessiert? Oder möchten Sie das Modell für die untersuchten Faktorbereiche validieren (und dazu Kombinationen von Faktorstufen durchführen, die nicht im Versuchsplan enthalten sind, aber die Faktorbereiche berücksichtigen)? Es gibt keine festen Regeln für die Validierung Ihrer Ergebnisse, aber zusätzliche Sorgfalt (und Zeit!) bei der Durchführung dieser Validierungsexperimente kann Ihr Vertrauen in die Modelle (und das Ihrer Gutachter!) erheblich stärken.
Ich hoffe, diese Antwort hilft Ihnen.
