Im
mein vorheriger Beitrag Wir haben die Beziehung zwischen ANOVAs und einfacher linearer Regression gesehen. Obwohl wir in Rhianna-Songs keine signifikante lineare Beziehung zwischen Year und Number of Distinct worten sahen, können wir testen, ob es einen Unterschied zwischen Rhianna-Songs vor 2010 und Rhianna-Songs nach 2010 gibt. Durch Gruppieren (oder "Binning") unserer kontinuierlichen Variablen (Jahr) können wir unsere einfache lineare Regression in eine ANOVA umwandeln. Dies kann oft dazu führen, dass die Dinge einfacher erscheinen. Statt vieler Jahre haben wir jetzt zwei ordentliche Kategorien. Und ich habe gesagt, dass ANOVA und lineare Regression ziemlich dasselbe sind, richtig?
Nun, sorta. Die linearen Modelle, die zur Berechnung einer ANOVA oder einer einfachen linearen Regression verwendet werden, sind ähnlich, sie machen tatsächlich etwas anderes. Obwohl es oft üblich ist, unsere fortlaufenden Variablen in Gruppen aufzuteilen, sollte dies mit der Reservierung erledigt werden, und ich zeige Ihnen, warum. Hängen Sie sich also fest auf und tragen Sie Ihre Gruppensplitterhüte auf!
Bevor wir beginnen, möchte ich Sie daran erinnern, dass alle diese linearen Modelle wie Kettensägen aussehen. Sie nehmen die Gesamtentfernung zwischen Datenpunkten und den Gesamtmittelwert und unterteilen sie in verschiedene Kategorien.
Wenn Sie sich daran erinnern, dass sowohl bei der ANOVA als auch bei der einfachen linearen Regression die Summe der Quadratsummen auf dieselbe Weise berechnet wird, nehmen wir jeden Datenpunkt und berechnen die Differenz zwischen ihm und dem Gesamtmittelwert aller Datenpunkte. Die Summen der Quadrate (oder SST) sind also die gleichen, unabhängig davon, ob wir Rhianna-Songs kontinuierlich nach Jahr oder nach Vor- und Nach-2010 betrachten. Wo ist der Unterschied?
Der Unterschied besteht in den "Summen der Quadrate" als "Modell" (in der Regression nennen wir dies die "Summen der Quadrate"); in ANOVA nennen wir sie manchmal "Summen der Quadrate". In beiden Fällen ist unser "Modell" Wie Wir glauben, X wird unser Y, unsere Variable von Interesse, beeinflussen. Im Regressionsfall wird unseres Erachtens ein Jahr erwartet kontinuierlich linear Auswirkungen auf Y - Jede Einheit von X wird einen zusätzlichen Effekt auf Y haben. In dem Fall, in dem eine ANOVA erstellt wurde, glauben wir, dass es vor oder nach 2010 sein wird Gruppe Auswirkungen auf Y.
Denken Sie daran, dass unser Modell der Summen von Quadraten (SSM) für Regression sagt Ihren Y-Wert (Anzahl der verschiedenen Wörter in einem Rhianna-Song) basierend auf dem Jahr voraus. In den Daten, die wir beobachteten, sahen wir einen generellen Abwärtstrend. In jedem Jahr, das vergeht, gibt es in Rhianna-Songs tendenziell weniger unterschiedliche Wörter. Unsere beste Annahme denn die Anzahl der verschiedenen Wörter in einem Rhianna-Lied ist das, was die Regressionslinie vorhersagt. Der Fehler in unserem Regressionsmodell ist der Abstand zwischen dem Datenpunkt und der Regressionslinie.
Unser SSM für ANOVA bins vor 2010 zusammen, so dass wir statt eines generellen Abwärtstrends im Laufe der Jahre einfach erwarten würden, dass Songs vor 2010 eine höhere Anzahl an Wörtern haben als Titel nach 2010. Unter diesem ANOVA-Modell ist unser beste Annahme Für jedes Lied aus dem Jahr 2010 wäre die Gruppe gemeint. Alles andere gilt als Fehler.
Wenn wir wirklich eine lineare Beziehung zwischen dem Jahr und der Anzahl der verschiedenen Wörter hatten, würde eine ANOVA in den beiden binierten Jahresgruppen den Anteil der Quadratsummen überschätzen, der auf "Fehler" zurückzuführen ist. Dies ist darauf zurückzuführen, dass weitere Extrempunkte, die weiter vom Mittelwert einer Gruppe entfernt sind, tendenziell viel weiter vom Mittelwert der Gruppe entfernt sind, als sie von der Regressionslinie gewesen wären.
In unserem Rhianna-Beispiel können Sie den ANOVA-Tabellen der kontinuierlichen und dichotomierten Modelle entnehmen, dass sie die gleiche Summe der Quadrate haben, aber die Quadratsummen für das Modell (Jahr vs. Pre-2010) ist im dichotomisierten Modell von Pre-2010 viel weniger. Wenn es eine echte lineare Beziehung gibt, ist die Potenz des Modells als kontinuierliches Modell immer stärker als eine Zweiteilung und die Verwendung einer ANOVA.
In einem
JMP Simulation
[1] Ich habe die ungefähre lineare Beziehung aus unseren BadGirlRiri-Daten verwendet, um zu simulieren, was mit der statistischen Leistung passiert, wenn Sie eine Ihrer kontinuierlichen Variablen dichotomisieren. Da die Fehlermenge um die wahre lineare Beziehung immer kleiner wird, hat die eine oder andere Methode möglicherweise fast 100% Leistung. Wenn die Beziehung so stark ist, ermöglicht selbst eine Verringerung der Leistung aufgrund der Dichotomisierung eine nahezu perfekte Effekterkennung.
Auf der anderen Seite haben, wenn es um die lineare Beziehung eine große Abweichung gibt, sowohl das dichotomierte als auch das kontinuierliche Modell Probleme, einen Effekt aufgrund des unverhältnismäßig großen Fehlers in der Beziehung zu erkennen. An diesem Punkt überwiegt der Fehler um das Modell herum eine lineare Beziehung, die sich möglicherweise dort versteckt. (Denken Sie daran, statistische Tests messen den Schwankungsgrad aufgrund des Modells und vergleichen ihn mit dem Schwankungsbetrag, der nicht auf dem Modell beruht.)
[2] .
Die meisten Experimentatoren streben nach 80% Leistung als Schwelle
[3] . Dies bedeutet, dass das statistische Modell diesen Effekt in 80% der Fälle erkennen kann, wenn tatsächlich ein Effekt dieser Größe vorliegt. Ein kurzer Überblick über die statistische Leistung wird Ihnen dabei helfen, sich daran zu erinnern, dass es vier Hauptfaktoren gibt, die sich auf Ihre Leistung auswirken können: Stichprobengröße, Effektgröße, Populationsvarianz und Alpha (Ihre Cutoff-Kriterien für die Signifikanz). Leider sind Ihre Effektgröße, Populationsvarianz und Alpha normalerweise für Sie festgelegt, aber die Stichprobengröße ist das Spielzeug des Forschers. Zellkulturen, Menschen und radioaktive Isotope kosten jedoch sowohl Geld als auch Zeit. Sie möchten also den stärksten Test, den Sie mit der kleinsten Probengröße erzielen können.
Der vertikale Abstand zwischen den roten und blauen hervorgehobenen Punkten ist die durchschnittliche Leistungsdifferenz, wenn Sie dichotomisiert werden, während Ihre Variable kontinuierlich bleibt. Wenn Ihr durchgehendes Modell 80% Leistung (n = 20) hat, hat Ihr dichotomisiertes Modell nur etwa 65% Leistung - das ist eine Reduzierung der Leistung um 15%! Um mit Ihrem dichotomisierten Modell 80% Leistung zu haben, würden Sie mehr Zellen, Menschen oder Isotope benötigen, und NSF bezahlt dafür nicht!
Wie zu erwarten, haben beide, wenn überhaupt kein statistischer Zusammenhang besteht, die gleiche Chance von 5%, fälschlicherweise das Vorhandensein eines Effekts zu signalisieren, wenn es keinen gibt. Wenn wir unser Alpha-Cutoff-Kriterium definieren, wählen wir einen Prozentsatz der Zeit, in der unser Modell einen Effekt findet, auch wenn es keinen gibt.
Was haben wir gelernt? Sie sollten eine stetige Variable nicht in Gruppen aufteilen, wenn Grund zu der Annahme besteht, dass eine wirklich lineare Beziehung besteht. Denken Sie über Ihre Daten nach und überlegen Sie, welche Beziehung zwischen X und Y erwartet wird. Wenn Sie Ihre fortlaufende Variable in Gruppen unterteilen möchten, stellen Sie sicher, dass es einen theoretischen Grund dafür gibt, und beschränken Sie sich nicht auf dichotome Splits. - Oftmals teilen sich die Leute im Median, was für Ihre Daten jedoch möglicherweise keinen Sinn ergibt. Hören Sie sich Ihre Daten an.
[1] n für jede Simulation ist 20; Jeder Level oder Fehler wurde jeweils 1.000 Mal simuliert. Sowohl kontinuierliche Modelle als auch dichotomisierte Modelle wurden für die gleichen Daten ausgeführt und die Anzahl der positiven Antworten wurde aufgezeichnet. Weitere Informationen finden Sie in den beigefügten Skripten. Python- und R-Versionen sind verfügbar.
[2] Es sollte beachtet werden, dass diese Dinge nicht so schnell passieren, wenn Sie beliebig große Stichprobengrößen erhalten. Dies ist darauf zurückzuführen, dass unabhängig davon, wie viele Fehler Sie haben, Sie durch n-1 dividieren. Da sich n einer beliebig großen Anzahl nähert, kann Ihr MS-Fehler im Vergleich zu Ihrem MS-Modell noch recht klein sein. TL; DR: Je größer Ihre Stichprobengröße, desto mehr Variation muss vorhanden sein, bevor Sie bei beiden Modellen 0% Leistung erhalten.
[3] Eine Übersicht zur Macht finden Sie hier
Artikel .
