Falls Sie die März-Folge verpasst haben Statistisch gesehen , Sie können es ohne Registrierung ansehen! Wir sind der Meinung, dass die Perspektiven und Beispiele von Jessica Utts und Dick De Veaux – den brillanten, preisgekrönten Statistikern, Professoren, Autoren und ASA-Fellows – so überzeugend sind, dass ihre Vorträge weithin gesehen werden sollten.
Außerdem lief uns die Zeit davon, bevor wir jede Folgefrage ansprechen konnten. Zum Glück haben Jessica und Dick gründliche Antworten gegeben; Wir sind ihnen dankbar, dass sie sich die Zeit genommen haben, sich weiter mit diesem wichtigen Thema zu befassen.
Frage: Was ist mit unnötiger Verschwendung beim Erstellen einer Analyse?Wir sehen so viele Leute, die immer noch Ein-Faktor-zu-Zeit-Experimente durchführen, was wirklich nur verschwenderisches Ausprobieren ist. Geht das auf Jessicas Argument über das Lehren statistischer Grundkenntnisse zurück?
Jessica : Ich glaube nicht, dass eine Diskussion darüber, wie man ein Experiment oder eine Analyse entwirft, zu meiner Vorstellung von Statistikkompetenz passen würde, da ich mich hauptsächlich mit der Kompetenz von Statistikkonsumenten befasse. Aber das führt zu einem sehr wichtigen Punkt. Das Problem, Experimente mit jeweils einem Faktor durchzuführen, geht über Verschwendung hinaus. Das Problem ist, dass die Ergebnisse sehr irreführend sein können, wenn Wechselwirkungen bestehen, aber nicht berücksichtigt werden. Und Wechselwirkungen können nur gemessen werden, indem mehrere Faktoren im selben Experiment untersucht werden.
Einige Studien zeigen beispielsweise, dass der Konsum von Koffein vor dem Training die sportliche Leistung fördert. Aber andere Studien zeigen das Gegenteil. Eine vorgeschlagene Erklärung ist, dass es davon abhängt, ob jemand genetisch ein schneller oder ein langsamer Koffeinmetabolisierer ist. Wenn also eine Studie dieser Art diesen genetischen Unterschied nicht berücksichtigt, könnten die Ergebnisse ziemlich irreführend sein.
Wenn Verbraucher von Ergebnissen einer Studie lesen, die keinen Sinn zu machen scheinen (oder sogar Ergebnisse, die Sinn machen!), besteht eine gute Strategie darin, darüber nachzudenken, welche zusätzlichen Variablen zu Interaktionen führen könnten. In diesem Webinar habe ich beispielsweise die Ergebnisse der Women's Health Initiative diskutiert, die zu zeigen schienen, dass die Einnahme einer Hormonersatztherapie nach der Menopause das Risiko einer koronaren Herzkrankheit erhöht. Aber Folgeuntersuchungen zeigten, dass das Bild nicht so einfach ist. Entsprechend der Ausschuss für gynäkologische Praxis des American College of Obstetricians and Gynecologists :
„Jüngste Analysen deuten darauf hin, dass eine HT [Hormontherapie] das KHK-Risiko [koronare Herzkrankheit] bei gesunden Frauen, die kürzlich die Menopause erlebt haben, nicht erhöht. Es gibt einige Beweise, die die Timing-Hypothese stützen, die besagt, dass ein kardiovaskulärer Nutzen erzielt werden kann, wenn ET [Östrogentherapie] oder HT kurz vor Beginn der Menopause angewendet wird.“
Mit anderen Worten, es ist nicht nur unwahrscheinlich, dass Hormone bei Frauen, die mit der Einnahme in den Wechseljahren beginnen, eine koronare Herzkrankheit verursachen, die Hormone könnten sogar von Vorteil sein, um Herzkrankheiten zu reduzieren! Das Problem ist, dass das Durchschnittsalter der Frauen in der ursprünglichen Studie 63 Jahre betrug und die meisten von ihnen viele Jahre nach der Menopause waren und noch nie Hormone verwendet hatten. Ein befreundeter Arzt erklärte mir, dass dies bedeutet, dass sie nach der Menopause möglicherweise Zeit hatten, Plaque in ihren Arterien aufzubauen, und als sie viele Jahre später mit den Hormonen begannen, löste sich der Plaque und verursachte eine koronare Herzkrankheit. Wenn sie unmittelbar nach der Menopause Hormone eingenommen hätten, hätte sich die Plaque nicht gebildet, und die Hormone hätten sie vor Herzerkrankungen geschützt. In diesem Beispiel war der Zeitpunkt des Hormonstarts in Bezug auf die Anzahl der Jahre nach dem Übergang in die Menopause eine wichtige interagierende Variable. Wenn die Verbraucher den ursprünglichen Forschungsartikel konsultiert hätten, wäre ihnen aufgefallen, dass die Frauen, die an der Studie teilgenommen haben, nicht repräsentativ dafür waren, wie die Hormontherapie in der Praxis angewendet wird. In der „realen Welt“ wird die Hormontherapie fast immer unmittelbar nach Erreichen der Menopause verschrieben.
Wenn Sie Experimente oder Beobachtungsstudien entwerfen, ist es sehr wichtig, darüber nachzudenken, wie die Kombination von erklärenden Variablen könnte das Ergebnis beeinflussen. Wenn Wechselwirkungen wahrscheinlich sind, ist es nicht nur verschwenderisch, sondern möglicherweise auch irreführend, die Faktoren einzeln zu untersuchen.
Frage: Sollte die praktische Signifikanz durch eine bestimmte Effektgrößengrenze definiert werden, z. B. 0,5, die Psychologen als "mittleren Effekt" definieren?
Jessica : Nein! Die praktische Bedeutung ist im Kontext zu sehen. Effektgrößen sind jedoch nützlich, insbesondere um festzustellen, ob ein Ergebnis von einer Studie auf eine andere repliziert wird. Dies liegt daran, dass im Gegensatz zu p - Werten sind die Effektstärken nicht von der Stichprobengröße abhängig. (Wie bei jeder statistischen Schätzung gilt jedoch, dass die Schätzung der wahren Effektgröße umso genauer ist, je größer die Stichprobe ist.) Wenn also eine bestimmte Ergebnisvariable von Studie zu Studie durchweg dieselbe Größenordnung der Effektgröße aufweist, ist dies besser Indikator der Replikation, als wenn Studien von sehr unterschiedlicher Größe durchweg ähnliche p finden - Werte.
Eine einfache Möglichkeit, sich eine Effektgröße vorzustellen, ist die Differenz zwischen den Mittelwerten zweier Gruppen in Bezug auf die Anzahl der Standardabweichungen. Beispielsweise unterscheiden sich die durchschnittlichen Größen von Männern und Frauen um etwa 5 Zoll, und innerhalb jeder Gruppe beträgt die Standardabweichung etwa 2,5 Zoll. Die Differenz von 5 Zoll hat also eine Effektgröße von 5/2,5 = 2, was der Differenz der mittleren Körpergröße in Bezug auf die Anzahl der Standardabweichungen „innerhalb der Gruppe“ entspricht. Effektgrößen wurden als klein eingestuft, wenn sie um 0,2 liegen, als mittel um 0,5 und als groß, wenn sie 1,0 oder mehr betragen. Grob gesagt wird gesagt, dass ein großer Effekt für jeden wahrnehmbar ist, ein mittlerer Effekt für einen aufmerksamen Experten wahrnehmbar ist und ein kleiner ohne Verwendung von Statistiken nicht wirklich beobachtbar ist, obwohl er wichtig sein kann. Unter Verwendung des Beispiels hier sollte ein mittlerer Höhenunterschied in zwei Gruppen von 2,5 Zoll oder mehr (Effektgröße von 1) für jeden Beobachter wahrnehmbar sein, ein mittlerer Höhenunterschied von 1,25 Zoll (Effektgröße von 0,5) wäre wahrscheinlich nicht wahrnehmbar, es sei denn jemand misst aus irgendeinem Grund oft Höhen, und ein Unterschied von einem halben Zoll (Effektgröße von 0,2) wäre ohne statistische Zusammenfassungen sehr schwer zu erkennen.
Aber die praktische Bedeutung ist immer kontextabhängig. Angenommen, es wird eine Studie durchgeführt, um festzustellen, ob die Einnahme eines bestimmten pflanzlichen Nahrungsergänzungsmittels ohne Nebenwirkungen zur Senkung des Cholesterinspiegels beitragen könnte. Verschiedene Quellen berichten, dass die Bevölkerungsstandardabweichung für das Gesamtplasmacholesterin etwa 40 mg/dl beträgt. So stellt selbst eine relativ kleine Effektgröße von 0,25 (¼ einer Standardabweichung) eine durchschnittliche Cholesterinsenkung von 10 mg/dl dar, was eine bedeutende klinische Bedeutung haben könnte. Nehmen wir andererseits an, ein cholesterinsenkendes Medikament hätte schwerwiegende Nebenwirkungen. In diesem Fall würde eine durchschnittliche Reduktion von nur 10 mg/dl durch die Einnahme des Medikaments wahrscheinlich nicht ausreichen, um die Nebenwirkungen in Kauf zu nehmen. Und wie die Beispiele für Größe und Cholesterin zeigen, hängt der numerische Wert einer Effektgröße von der natürlichen Variabilität innerhalb der Gruppe ab. Wenn die natürliche Variabilität des Cholesterinspiegels in der Bevölkerung nur 5 mg/dl statt 40 mg/dl betragen würde, dann würde eine Verringerung um 10 mg/dl eine Effektgröße von 10/5 = 2,0 darstellen und das Kriterium „groß Wirkung."
Ein weiteres Beispiel ist die Feststellung, ob überhaupt ein Effekt vorliegt. Beispielsweise haben Laborstudien, um zu testen, ob eine außersinnliche Wahrnehmung möglich ist, durchweg kleine Effektstärken gefunden, im Allgemeinen zwischen 0,15 und 0,2. Aber jede konsistente Effektgröße ungleich Null in diesem Zusammenhang wäre sinnvoll, weil sie darauf hindeuten würde, dass außersinnliche Wahrnehmung möglich ist.
Zusammenfassend lässt sich also sagen, dass die Feststellung, ob ein Studienergebnis von praktischer Bedeutung ist, kontextbezogene Expertise erfordert. Effektgrößen können als Anhaltspunkt dienen, aber was als praktisch relevant angesehen wird, hängt immer von anderen Faktoren ab, die über statistische Maße hinausgehen.
Frage: Wie definieren Sie praktische/biologische Signifikanz im Vergleich zu statistischer Signifikanz?
Dick : Dies ist eine großartige Frage, die häufig gestellt wird. Ich werde die Frage zuerst allgemein beantworten und dann ein paar Antworten geben. Statistische „Signifikanz“ ist ein enger Begriff, der die Situation beschreibt, wenn die beobachteten Daten „weit genug“ von dem abweichen, was das vorgeschlagene Modell vorhersagt. Wenn wir also davon ausgehen, dass eine Münze fair ist und sie 100 Mal werfen und die beobachtete Häufigkeit von „Kopf“ weit genug von 0,5 entfernt ist, sagen wir, dass das Ergebnis statistisch signifikant ist, was bedeutet, dass die Wahrscheinlichkeit, dass es unter diesem Modell passiert, gering ist ( das ist der p-Wert). Wenn der p-Wert klein genug ist, sagen wir, dass es Beweise gegen das Modell (oder die Hypothese) gibt, ob die tatsächliche Differenz von 0,5 groß genug ist, um praktisch interessant zu sein, oder nicht. Praktische/biologische Bedeutung beschreibt ein Ergebnis, das heißt sinnvoll an den Wissenschaftler oder einen anderen Forscher. Ein Ergebnis kann praktisch signifikant, aber nicht statistisch signifikant sein oder (noch schlimmer) umgekehrt.
Ein Student kam gestern mit einer Theorie zu mir, wie Insekten Pflanzen besuchen. Kommen sie eher einzeln oder in Gruppen? Wir haben ein Poisson-Modell verwendet, um die Vorkommen von 0, 1, 2, 3 … Insekten zu modellieren, die an der Blume ankommen, und dann einen Chi-Quadrat-Test verwendet, um zu sehen, ob die tatsächlichen Vorkommen zu Poisson passen. Indem wir den Zeitraum sehr klein und damit die Anzahl der Zeiträume groß machten, konnten wir das Poisson-Modell (und damit die unabhängigen Ankünfte) ziemlich einfach ablehnen. Aber wir haben die Frage nicht beantwortet, ob die Ankömmlinge weit genug entfernt waren, um die biologische Frage wirklich zu beantworten. Wie unterschiedlich die von Poisson erwarteten Zahlen tatsächlich sind, würde belegen, dass sich die Insekten „paaren“. Das ist keine Frage, die ein Statistiker beantworten kann.
Andere Beispiel stammt aus einem Labor in Princeton, das zu zeigen versuchte, dass Menschen das Ergebnis eines Zufallszahlengenerators beeinflussen (oder zumindest vorhersagen) können. Sie generierten eine zufällige (einheitliche) Zahl zwischen 0 und 1 und baten die Probanden dann zu sagen, ob sie kleiner oder größer als 0,5 war. Sie sammelten Zehntausende dieser Beobachtungen und gaben bekannt, dass der Prozentsatz eindeutig statistisch signifikant war (mit einem p-Wert < 0,00001).Der tatsächliche Erfolgsprozentsatz (rund 0,5002) war eine so kleine Abweichung, dass bestenfalls es würde zwei bis drei Ergebnisse von 10.000 beeinflussen. Natürlich argumentierte der Leiter des Labors damit irgendein Unterschied, egal wie klein, wäre interessant. Selbst wenn die Ergebnisse wahr wären und nicht das Ergebnis experimenteller Anomalien oder zufälliger Fehler, überlasse ich es dem Leser, zu entscheiden, ob die Ergebnisse praktisch sinnvoll sind.
Wenn ein Medikament eine Erfolgsrate hat, die höher genug ist als die eines Placebos, um es unwahrscheinlich zu machen, dass es zufällig aufgetreten ist, sprechen wir von einem statistisch signifikanten Ergebnis. Aber wenn der tatsächliche Unterschied, sagen wir, 31 % der Patienten heilen würde, anstatt der 30 % des Placebos, würde es meiner Meinung nach der Marketingabteilung schwer fallen, diese Verbesserung zu bewerben, selbst wenn dieser Unterschied statistisch signifikant wäre.
Frage: Denken Sie, dass jeder, der ein Interesse oder Interesse an einem Ergebnis einer Studie hat, immer in einer Studie geprüft oder identifiziert werden sollte?
Dick : Mehr denn je sind Daten zu fast allen Themen, die uns wichtig sind, leicht zu finden. Aber natürlich sind nicht alle Daten gleich. Ein Ergebnis aus einer doppelblinden placebokontrollierten klinischen Studie ist immer einer anekdotischen Information vorzuziehen. Wenn die Quelle der Daten nicht identifiziert werden kann, ist es möglicherweise unmöglich, die beiden Szenarien zu unterscheiden. Der Stammbaum der Daten, einschließlich wie sie gesammelt wurden, unter welchen Bedingungen, von wem und zu welchem Zweck, sind wesentlich, bevor Aussagen darüber gemacht werden, was die Daten über die Welt insgesamt aussagen.
Wir sind daran interessiert, andere Beispiele zu hören, die Sie möglicherweise haben Ethik in der Datenwissenschaft , wo sorgfältig über eine ethische Analyse nachgedacht wurde, eine Analyse, bei der es eindeutig an Ethik mangelt, oder ein ethisches Dilemma, bei dem unklar ist, wie man am besten vorgeht. Nochmals vielen Dank an Jessica und Dick, die ihre Weisheit und ihr Fachwissen zu diesem Thema geteilt haben, das für diese Zeit so relevant ist.
