Wenn Sie die März-Folge von verpasst habenStatistisch gesehen, Sie können es ohne Registrierung ansehen! Wir sind der Meinung, dass die Perspektiven und Beispiele von Jessica Utts und Dick De Veaux – den brillanten, preisgekrönten Statistikern, Professoren, Autoren und ASA-Fellows – so überzeugend sind, dass ihre Vorträge weithin angesehen werden sollten.
Außerdem hatten wir keine Zeit mehr, um alle weiteren Fragen zu beantworten. Zum Glück haben Jessica und Dick ausführlich geantwortet. Wir sind ihnen dankbar, dass sie sich die Zeit genommen haben, dieses wichtige Thema eingehender zu behandeln.
Frage: Wie steht es mit der unnötigen Verschwendung bei der Erstellung einer Analyse? Wir sehen so viele Leute, die immer noch Experimente mit einem Faktor nach dem anderen durchführen, was in Wirklichkeit nur verschwenderisches Ausprobieren ist. Geht das zurück auf Jessicas Punkt über das Unterrichten statistischer Grundkenntnisse?
Jessica: Ich glaube nicht, dass eine Diskussion darüber, wie man ein Experiment oder eine Analyse entwirft, mit meiner Vorstellung von statistischer Kompetenz zusammenpasst, da ich mich hauptsächlich mit der Kompetenz von Statistikkonsumenten beschäftige. Aber das führt zu einem sehr wichtigen Punkt. Das Problem bei der Durchführung von Experimenten, bei denen nur ein Faktor auf einmal untersucht wird, geht über die Verschwendung hinaus. Das Problem besteht darin, dass die Ergebnisse sehr irreführend sein können, wenn Wechselwirkungen bestehen, aber nicht berücksichtigt werden. Und Wechselwirkungen können nur gemessen werden, wenn mehrere Faktoren im selben Experiment untersucht werden.
Einige Studien zeigen beispielsweise, dass der Konsum von Koffein vor dem Training die sportliche Leistung verbessert. Andere Studien zeigen jedoch das Gegenteil. Eine vorgeschlagene Erklärung ist, dass es davon abhängt, ob jemand genetisch bedingt Koffein schnell oder langsam verstoffwechselt. Wenn eine Studie dieser Art diesen genetischen Unterschied nicht berücksichtigt, könnten die Ergebnisse ziemlich irreführend sein.
Wenn Verbraucher Studienergebnisse lesen, die keinen Sinn zu ergeben scheinen (oder sogar Ergebnisse, die Sinn ergeben!), ist es eine gute Strategie, darüber nachzudenken, welche zusätzlichen Variablen zu Wechselwirkungen führen könnten. In diesem Webinar habe ich beispielsweise die Ergebnisse der Women's Health Initiative besprochen, die zu zeigen schienen, dass die Einnahme einer Hormonersatztherapie nach der Menopause das Risiko einer koronaren Herzkrankheit erhöhte. Doch Folgestudien zeigten, dass das Bild nicht so eindeutig ist. Laut derAusschuss für gynäkologische Praxis des American College of Obstetricians and Gynecologists:
„Neuere Analysen legen nahe, dass HT [Hormontherapie] das Risiko einer koronaren Herzkrankheit (KHK) bei gesunden Frauen, die vor kurzem die Menopause erlebt haben, nicht erhöht. Es gibt einige Belege, die die Timing-Hypothese stützen, die davon ausgeht, dass ein kardiovaskulärer Nutzen erzielt werden kann, wenn ET [Östrogentherapie] oder HT kurz vor Beginn der Menopause angewendet wird.“
Mit anderen Worten: Es ist nicht nur unwahrscheinlich, dass Hormone bei Frauen, die in den Wechseljahren mit der Einnahme beginnen, koronare Herzkrankheiten verursachen, sondern die Hormone könnten sogar dazu beitragen, Herzkrankheiten vorzubeugen! Das Problem ist, dass das Durchschnittsalter der Frauen in der ursprünglichen Studie 63 Jahre betrug und die meisten von ihnen die Wechseljahre schon viele Jahre hinter sich hatten und nie Hormone eingenommen hatten. Ein befreundeter Arzt erklärte mir, dass dies bedeutet, dass sie nach den Wechseljahren möglicherweise Zeit hatten, Plaque in ihren Arterien zu bilden, und als sie viele Jahre später mit der Hormoneinnahme begannen, löste sich die Plaque und verursachte eine koronare Herzkrankheit. Hätten sie die Hormone unmittelbar nach den Wechseljahren eingenommen, hätte sich die Plaque nicht gebildet und die Hormone hätten sie vor Herzkrankheiten geschützt. In diesem Beispiel war der Zeitpunkt des Beginns der Hormoneinnahme in Bezug auf die Anzahl der Jahre nach den Wechseljahren eine wichtige Wechselwirkungsvariable. Hätten Verbraucher den ursprünglichen Forschungsartikel gelesen, hätten sie bemerkt, dass die an der Studie teilnehmenden Frauen nicht repräsentativ für die Art und Weise waren, wie Hormontherapie in der Praxis angewendet wird. In der „realen Welt“ wird Hormontherapie fast immer unmittelbar nach Erreichen der Wechseljahre verschrieben.
Wenn Sie Experimente oder Beobachtungsstudien entwerfen, ist es sehr wichtig, darüber nachzudenken, wie sich die Kombination der erklärenden Variablen auf das Ergebnis auswirken könnte. Wenn Wechselwirkungen wahrscheinlich sind, ist es nicht nur verschwenderisch, sondern möglicherweise auch irreführend, die Faktoren einzeln zu untersuchen.
Frage: Sollte die praktische Bedeutung durch eine bestimmte Effektstärken-Grenzwertgrenze wie beispielsweise 0,5 definiert werden, die Psychologen als „mittleren Effekt“ definieren?
Jessica: Nein! Die praktische Bedeutung muss im Kontext betrachtet werden. Effektstärken sind jedoch nützlich, insbesondere um zu bestimmen, ob ein Ergebnis von einer Studie auf eine andere repliziert werden kann. Dies liegt daran, dass Effektstärken im Gegensatz zu p - Werten nicht von der Stichprobengröße abhängen. (Wie bei jeder statistischen Schätzung gilt jedoch: Je größer die Stichprobe, desto genauer ist die Schätzung der wahren Effektstärke.) Wenn also eine bestimmte Ergebnisvariable von Studie zu Studie durchgängig die gleiche Effektstärke aufweist, ist dies ein besserer Indikator für eine Replikation, als wenn Studien mit sehr unterschiedlicher Größe durchgängig ähnliche p - Werte ergeben.
Eine Effektstärke kann man sich einfach so vorstellen: Sie ist die Differenz zwischen den Mittelwerten zweier Gruppen in Bezug auf die Anzahl der Standardabweichungen. Beispielsweise unterscheidet sich die durchschnittliche Körpergröße von Männern und Frauen um etwa 5 Zoll, und innerhalb jeder Gruppe beträgt die Standardabweichung etwa 2,5 Zoll. Die Differenz von 5 Zoll hat also eine Effektstärke von 5/2,5 = 2, was der Differenz der durchschnittlichen Körpergrößen in Bezug auf die Anzahl der Standardabweichungen „innerhalb der Gruppe“ entspricht. Effektstärken werden als klein eingestuft, wenn sie bei etwa 0,2 liegen, als mittel bei etwa 0,5 und als groß, wenn sie bei 1,0 oder mehr liegen. Grob gesagt kann man sagen, dass eine große Effektstärke für jeden erkennbar ist, ein mittlerer Effekt für einen aufmerksamen Experten erkennbar ist und eine kleine Effektstärke ohne Verwendung von Statistiken nicht wirklich erkennbar ist, auch wenn sie wichtig sein kann. Um das Beispiel hier zu verwenden: Ein mittlerer Größenunterschied in zwei Gruppen von 2,5 Zoll oder mehr (Effektstärke 1) sollte für jeden Beobachter erkennbar sein, ein mittlerer Größenunterschied von 1,25 Zoll (Effektstärke 0,5) wäre vermutlich nicht erkennbar, sofern nicht jemand aus irgendeinem Grund häufig die Körpergröße misst, und ein Unterschied von einem halben Zoll (Effektstärke 0,2) wäre ohne statistische Zusammenfassungen sehr schwer zu erkennen.
Die praktische Bedeutung ist jedoch immer kontextabhängig. Angenommen, es wird eine Studie durchgeführt, um festzustellen, ob die Einnahme eines bestimmten pflanzlichen Nahrungsergänzungsmittels ohne Nebenwirkungen zur Senkung des Cholesterinspiegels beitragen kann. Verschiedene Quellen berichten, dass die Populationsstandardabweichung für den Gesamtplasmacholesterinspiegel bei etwa 40 mg/dl liegt. Selbst eine relativ kleine Effektstärke von 0,25 (¼ einer Standardabweichung) stellt also eine durchschnittliche Cholesterinsenkung von 10 mg/dl dar, die eine bedeutende klinische Bedeutung haben könnte. Nehmen wir andererseits an, ein cholesterinsenkendes Medikament hätte schwerwiegende Nebenwirkungen. In diesem Fall wäre eine durchschnittliche Senkung von nur 10 mg/dl infolge der Einnahme des Medikaments wahrscheinlich nicht ausreichend, um das Risiko der Nebenwirkungen zu rechtfertigen. Und wie die Beispiele mit Körpergröße und Cholesterin zeigen, hängt der numerische Wert einer Effektstärke von der natürlichen Variabilität innerhalb der Gruppe ab. Wenn die natürliche Variabilität des Cholesterinspiegels in der Population nur 5 mg/dl statt 40 mg/dl betragen würde, dann würde eine Senkung von 10 mg/dl eine Effektstärke von 10/5 = 2,0 darstellen und damit das Kriterium eines „großen Effekts“ erfüllen.
Ein weiteres Beispiel ist die Feststellung, ob ein Effekt überhaupt existiert. Laborstudien, die beispielsweise die Möglichkeit außersinnlicher Wahrnehmung testen, haben durchweg kleine Effektstärken festgestellt, im Allgemeinen zwischen 0,15 und 0,2. Aber jede durchgängige Effektstärke ungleich Null wäre in diesem Zusammenhang sinnvoll, da sie darauf hinweisen würde, dass außersinnliche Wahrnehmung möglich ist.
Zusammenfassend lässt sich also sagen, dass man für die Bestimmung, ob ein Studienergebnis praktische Bedeutung hat, kontextbezogenes Fachwissen benötigt. Effektgrößen können als Richtlinie verwendet werden, aber was als praktisch bedeutsam angesehen wird, hängt immer von anderen Faktoren ab, die über statistische Messungen hinausgehen.
Frage: Wie definieren Sie praktische/biologische Signifikanz im Vergleich zur statistischen Signifikanz?
Dick: Das ist eine großartige Frage, die häufig gestellt wird. Ich werde die Frage zunächst allgemein beantworten und dann ein paar Antworten geben. Statistische „Signifikanz“ ist ein enger Begriff, der die Situation beschreibt, wenn die beobachteten Daten „weit genug“ von dem abweichen, was das vorgeschlagene Modell vorhersagt. Wenn wir also davon ausgehen, dass eine Münze fair ist, und sie 100 Mal werfen und die beobachtete Häufigkeit von Kopf weit genug von 0,5 abweicht, sagen wir, das Ergebnis sei statistisch signifikant, was bedeutet, dass die Wahrscheinlichkeit, dass es unter diesem Modell eintritt, gering ist (das ist der p-Wert). Wenn der p-Wert klein genug ist, sagen wir, dass es Beweise gegen das Modell (oder die Hypothese) gibt, unabhängig davon, ob der tatsächliche Unterschied zu 0,5 weit genug ist, um praktisch interessant zu sein, oder nicht. Praktische/biologische Signifikanz beschreibt ein Ergebnis, das für den Wissenschaftler oder einen anderen Forscher bedeutsam ist. Ein Ergebnis kann praktisch signifikant, aber nicht statistisch signifikant sein oder (noch schlimmer) umgekehrt.
Gestern kam ein Student mit einer Theorie zu mir, wie Insekten Pflanzen besuchen. Kommen sie eher unabhängig voneinander oder in Gruppen? Wir verwendeten ein Poisson-Modell, um die Häufigkeit von 0, 1, 2, 3 … Insekten zu modellieren, die bei der Blüte ankommen, und verwendeten dann einen Chi-Quadrat-Test, um zu sehen, ob die tatsächlichen Häufigkeiten dem Poisson-Modell entsprechen. Indem wir den Zeitraum sehr klein und damit die Anzahl der Zeiträume groß machten, konnten wir das Poisson-Modell (und damit die unabhängigen Ankünfte) ziemlich einfach ablehnen. Aber wir haben die Frage nicht beantwortet, ob die Ankünfte weit genug entfernt waren, um die biologische Frage wirklich zu beantworten. Wie stark die von den Poisson-Erwartungen abweichenden Zahlen wirklich darauf hinweisen würden, dass sich die Insekten „paaren“. Das ist keine Frage, die ein Statistiker beantworten kann.
Ein andererBeispielstammt aus einem Labor in Princeton, das zu zeigen versuchte, dass Menschen das Ergebnis eines Zufallszahlengenerators beeinflussen (oder zumindest vorhersagen) können. Sie erzeugten eine zufällige (einheitliche) Zahl zwischen 0 und 1 und baten die Probanden dann anzugeben, ob sie kleiner oder größer als 0,5 sei. Sie sammelten Zehntausende dieser Beobachtungen und gaben bekannt, dass der Prozentsatz eindeutig statistisch signifikant sei (mit einem p-Wert < 0,00001). Der tatsächliche Erfolgsprozentsatz (etwa 0,5002) war eine so kleine Abweichung, dass er bestenfalls zwei bis drei Ergebnisse von 10.000 beeinflussen würde. Natürlich argumentierte der Leiter des Labors, dass jeder noch so kleine Unterschied interessant wäre. Selbst wenn die Ergebnisse wahr wären und nicht das Ergebnis experimenteller Anomalien oder zufälliger Fehler, überlasse ich es dem Leser, zu entscheiden, ob die Ergebnisse praktisch bedeutsam sind.
Wenn ein Medikament eine so hohe Erfolgsrate aufweist, dass es unwahrscheinlich ist, dass es durch Zufall zustande gekommen ist, sprechen wir von einem statistisch signifikanten Ergebnis. Wenn der tatsächliche Unterschied jedoch beispielsweise darin bestünde, dass 31 % der Patienten geheilt würden, statt der 30 % beim Placebo, vermute ich, dass die Marketingabteilung selbst bei einem statistisch signifikanten Unterschied große Schwierigkeiten hätte, diese Verbesserung zu bewerben.
Frage: Glauben Sie, dass jeder, der ein Interesse oder einen Anteil am Ergebnis einer Studie hat, im Rahmen einer Studie immer überprüft oder identifiziert werden sollte?
Dick: Daten zu fast jedem Thema, das wir erforschen möchten, sind heute leichter zu finden als je zuvor. Aber natürlich sind nicht alle Daten gleich. Ein Ergebnis aus einer doppelblinden, placebokontrollierten klinischen Studie ist immer anekdotischen Informationen vorzuziehen. Wenn die Quelle der Daten nicht identifiziert werden kann, ist es möglicherweise unmöglich, die beiden Szenarien zu unterscheiden. Die Herkunft der Daten, einschließlich der Art und Weise, wie sie erhoben wurden, unter welchen Bedingungen, von wem und zu welchem Zweck, ist entscheidend, bevor man Aussagen darüber treffen kann, was die Daten über die Welt im Allgemeinen aussagen.
Wir sind gespannt auf weitere Beispiele, die Sie zur Ethik in der Datenwissenschaft haben, bei denen eine ethische Analyse sorgfältig abgewogen wurde, bei einer Analyse, bei der es eindeutig an ethischen Grundsätzen mangelte, oder bei denen ein ethisches Dilemma bestand, bei dem unklar war, wie man am besten vorgehen sollte. Nochmals vielen Dank an Jessica und Dick, dass sie ihr Wissen und ihre Expertise zu diesem Thema mit uns geteilt haben, das in der heutigen Zeit so relevant ist.
