765772_de-DE

liliconcom

Statistische Signifikanz

Hallo,

Also habe ich ein Regressionsmodell angepasst. Und einer der Prädiktoren hat einen P-Wert von 0,0538 für das gesamte Modell. Soll ich diesen Prädiktor vollständig entfernen und das reduzierte Modell für Vorhersagen verwenden oder ist es in Ordnung, ihn zu behalten?

Und wie lautet die Terminologie für P-Werte um 0,05? Ich habe in einigen Webquellen gelesen, dass 0,05 bis 0,1 als marginal signifikant bezeichnet werden können. Ist dieser Begriff bei der Erklärung statistischer Modelle sinnvoll? Bitte teilen Sie uns Ihre Erkenntnisse mit.

Dank im Voraus

Jerry

Grundlegende Datenanalyse und ModellierungVersuchsplanungBetreff: Statistische Signifikanz

Hier ist mein Vorschlag, ob der Effekt bei einem p-Wert von 0,0538 beibehalten werden soll oder nicht ... probieren Sie beide Möglichkeiten aus. Beantworten Sie dann die Frage „Welches Modell hilft mir bei der Lösung meiner praktischen Frage?“ und entscheiden Sie sich für dieses Modell. Es gab zahlreiche Artikel und Diskussionen darüber, ob man Begriffe in einem Modell belassen oder entfernen sollte. Letztendlich liegt es an Ihnen. Es gibt keine allgemeingültige Lösung für diese spezielle Frage. Eine Signifikanzschwelle von 0,05 ist nicht heilig oder unantastbar. Es ist nur ein Wert, den viele Menschen auswendig lernen und nicht aus irgendeinem anderen Grund. Sie könnten genauso gut 0,01, 0,1 oder einen anderen Wert auswählen. Was die Terminologie angeht, mache ich mir darüber keine Gedanken ... ich würde nur so etwas sagen wie: „Effekt x ist bei einem p-Wert von 0,05 nicht signifikant.“ und es dabei belassen. Signifikanz ist keine Klippe ... und p-Werte neigen dazu, das Denken der Menschen in diese Klippenmentalität zu drängen.

Betreff: Statistische Signifikanz

Lassen Sie mich P_Bartells guten Rat ergänzen. Nicht nur ist p=0,05 nichts Heiliges, ich würde auch von jedem Schwellenwert abraten, ohne eine Entscheidungsanalyse durchzuführen. Wenn Sie einen Schwellenwert verwenden (und erkennen, dass vielleicht keiner notwendig ist – normalerweise würde ich empfehlen, das Modell zu erstellen und die Ergebnisse zu melden, unabhängig von den p-Werten), um binäre Entscheidungen zu treffen (z. B. die Variable in Ihrem Modell zu behalten oder nicht), dann bedenken Sie, dass in beiden Fällen eine gewisse Fehlerwahrscheinlichkeit besteht. Sie sollten über die relativen Kosten von Fehlern nachdenken, bevor Sie entscheiden, welchen Grenzwert Sie verwenden.

Darüber hinaus sind Cutoffs im Allgemeinen keine gute Idee. Ich rate davon ab, „unbedeutende“ Variablen aus Regressionsmodellen zu entfernen – niemals. Die Variablen waren vermutlich aus einem bestimmten Grund vorhanden. Sie dachten, sie sollten wichtig sein. Wenn die Daten nicht ausreichen, um ihren Einfluss aufzuzeigen, dann ist das so. Das Entfernen der Variablen kommt der Entscheidung gleich, dass die Variable keinen Einfluss hat, etwas, wofür Sie keine Beweise haben. Außerdem werden dann die Koeffizienten aller anderen Variablen in Ihrem Modell geändert – sind Sie bereit zu sagen, dass diese jetzt genauer sind als zuvor?

Trotz der weit verbreiteten Verwendung von p=.05 sollten Sie sich die ASA-Kontroverse über p-Werte und einige ihrer jüngsten Stellungnahmen dazu ansehen. Einige psychologische Fachzeitschriften sind sogar so weit gegangen, p-Werte zu verbannen. Viele Zeitschriften lehnen auch weiterhin Arbeiten ab, deren p-Werte nicht < 0,05 sind. Inmitten dieser Verwirrung hier meine eigene Meinung. Ich möchte den p-Wert wissen – ich glaube, er ist ein Hinweis darauf, wie stark das Signal bezüglich dieser Variable in den mir vorliegenden Daten ist (beachten Sie, dass selbst diese Aussage erheblicher Kritik ausgesetzt ist). Ich möchte lieber keine binären Entscheidungen sehen: Ich versuche nie zu sagen, ob Variable X Ergebnis Y beeinflusst oder nicht. Es ist immer eine Frage der Unsicherheit und der Stärke der Beweise. Der p-Wert ist Teil dieser Beweise, und wenn er hoch ist, sagt er Ihnen etwas. Eine Variable aufgrund ihres p-Werts wegzulassen, ist eine Entscheidung, die nicht auf Beweisen beruht (es ist gleichbedeutend damit, zu sagen, Variable X spielt keine Rolle). Wenn Sie im Verhältnis zur Anzahl der potenziellen Faktoren nur wenige Beobachtungen haben, können Sie die Prädiktor-Screening-Funktion zur Unterstützung bei der Auswahl der zu verwendenden Faktoren nutzen. Sie können jedoch nichts daran ändern, dass Ihre Daten für die Modelle, die Sie erstellen möchten, möglicherweise nicht ausreichen.

Betreff: Statistische Signifikanz

Danke, dass Sie meine Ansichten genau wiedergeben. Als ich Hypothesentests unterrichtete, führte ich das Konzept von p-Werten und statistischer Signifikanz mit einer kleinen Übung in meine Klasse ein. Ich nahm eine Münze heraus und sagte den Schülern: „Wir machen einen kleinen Test. Ich werde den Test beginnen, indem ich Ihnen sage, dass ich glaube, dass ich eine faire Münze habe. Ich werde die Münze werfen und Ihnen das Ergebnis des Wurfs mitteilen. Kopf oder Zahl. Ich möchte, dass Sie vor sich den Wurf aufschreiben, bei dem Sie bereit sind, meine Überzeugung, dass die Münze fair ist, in Frage zu stellen.“ Dann begann ich, die Münze zu werfen ... und sagte den Schülern jedes Mal, dass es „Kopf“ war, auch wenn es kein Kopf war. Mein Ziel war, sie dazu zu bringen, festzustellen, wann die „Signifikanzschwelle“ für sie und nur für sie überschritten wird. Normalerweise hat nach dem achten Wurf oder so jeder meine Überzeugung „abgelehnt“. Dann begann ich mit dieser Fragereihe: „Sagen Sie mir den Wurf, bei dem Sie durch Handzeichen endgültig davon überzeugt waren, dass die Münze tatsächlich nicht fair war.“ Einmal werfen? (Normalerweise hebt niemand die Hand) Zweimal werfen? (Selten) Dreimal werfen? (Vielleicht ein paarmal) Viermal werfen? (Jetzt habe ich viele) Fünfmal werfen? (Fast alle) Sechsmal werfen (Nur ein paar Leute weigern sich) Dann unterhalten wir uns darüber, dass der Begriff „Signifikanz“ wirklich in den Augen des Entscheidungsträgers liegt … und nicht irgendeine magische Wahrscheinlichkeitszahl ist. Ich sage ihnen, dass sie jetzt hoffentlich alles über statistische Signifikanz gelernt haben, diese Dinge, die wir p-Werte nennen werden, und wie Entscheidungen tatsächlich von Menschen getroffen werden … es ist ein Grad an Überzeugung … und das, meine Freunde, ist kein statistischer Wert.

Betreff: Statistische Signifikanz

Hallo @Mathej01 ,

Vielleicht interessieren Sie sich für die Antworten anderer Mitglieder dieser Community zu diesem sehr verwandten Thema : Entfernen von Begriffen aus einem Modell nach einem geplanten Experiment

Es sind nicht genügend Kontext oder Informationen vorhanden, um Ihnen zu helfen, aber hier sind einige Fragen, Anmerkungen und Überlegungen zur Modellbewertung, zum Vergleich und zur Auswahl:

• Was ist Ihre Datenquelle und wie wurden die Daten erfasst? Geplante Experimente, historische Datensätze, ...?
  Abhängig von Ihrer Antwort können Sie mehr oder weniger Vertrauen in die gefundenen p-Werte haben. Für historische Datensätze würde ich die Evaluate-Design- Plattform (für DoE verwendet) ausführen, um die verfügbare Leistung für die verschiedenen Terme im gesamten angenommenen Modell zu ermitteln. Dies könnte Ihnen Hinweise auf die „Zuverlässigkeit“ der gefundenen p-Werte und auch auf die von nicht signifikanten Termen (aufgrund einer sehr geringen verfügbaren Leistung!) geben.
  
  
• Was ist Ihr Ziel mit diesem Modell? Kausale Erklärungen, Vorhersage und Optimierung, beides (auch verknüpft mit dem verfügbaren Datensatz und der Erfassungsmethode)?
  Beim Vergleich von Modellen kann die statistische Signifikanz ein interessantes Maß sein, aber nicht das einzige (beziehen Sie immer Fachkenntnisse mit ein!). Komplementäre Schätzungs- und Bewertungsmaße von Modellen wie Log-Likelihood, Informationskriterien (AICc, BIC) oder Modellmaße (Erklärungskraft durch R2 und R2-bereinigt, Vorhersagekraft durch MSE/RMSE/RASE, ...) bieten unterschiedliche Perspektiven und können unterschiedliche Modelle hervorheben.
  Sie können dann auf der Grundlage von Fachwissen und statistischer Auswertung auswählen, welche für Ihr Thema am geeignetsten/relevantesten ist/sind. Sie können sich dafür entscheiden, einzelne Vorhersagen mit den verschiedenen Modellen zu schätzen (um zu sehen, wie/wo sie sich unterscheiden) und/oder ein kombiniertes Modell zu verwenden, um die Vorhersagefehler zu mitteln.

Vermeiden Sie generell den „ Kult der statistischen Signifikanz “ aus mehreren Gründen:

1. Es stehen weitere ergänzende Messgrößen zur Verfügung, die Ihnen beim Vergleichen und Auswählen der relevantesten Modelle helfen. Zudem gibt es viele Situationen, in denen P-Werte verzerrt sein könnten und nicht blind vertraut werden sollte (beispielsweise bei Mischdesigns und der Verwendung eines Modells ohne Achsenabschnitt).
2. Das Entfernen eines Terms aufgrund eines bestimmten Schwellenwerts kann eine gefährliche Praxis sein. Sollte in Ihrem Beispiel der Prädiktor mit einem p-Wert von 0,0538 wirklich verworfen werden, weil er 0,05 nicht erreicht hat? Es klingt zu naheliegend, um ihn abzulehnen, selbst wenn er höher als 0,05 ist (und ich stelle hier nicht einmal den spezifischen Schwellenwert in Frage ...). Und je nachdem, welche Aussagekraft Sie für diese Prädiktoranalyse haben, könnte dies erklären, warum Sie den Signifikanzschwellenwert nicht erreicht haben. Ich würde es vorziehen, nicht signifikante Terme in meinem Modell beizubehalten, als einen möglichen (aber noch nicht erkannten) signifikanten Effekt zu verwerfen.
3. „ Alle Modelle sind falsch, aber einige sind nützlich “ ist ein treffendes Zitat, wenn Sie mit mehreren möglichen Modellen arbeiten und versuchen, einige davon zu bewerten und auszuwählen, um eine Frage zu beantworten. In Ihrem Fall kann es mehrere gleich „statistisch gute“ Modelle geben, daher sollten Sie auch immer Fachwissen nutzen, um die Modelle zu sortieren und die Auswahl zu erleichtern. Sie können auch mehrere Modelle auswählen und sie mitteln/kombinieren.
4. Verwechseln Sie statistische Signifikanz nicht mit praktischer Signifikanz , und verwenden Sie beides, um Ihr(e) Modell(e) auszuwählen: Da Ihr Modell nützlich sein soll, sollten Sie auch die praktische Signifikanz dieses Prädiktors berücksichtigen: Wie stark beeinflusst er den Antwortmittelwert (Effektstärke)? Wenn dieser Prädiktor eine starke Effektstärke hat, ist es möglicherweise klüger, ihn in Ihrem Modell beizubehalten.

Hoffe, diese ergänzende Antwort wird Ihnen helfen,