Das Vergleichen von Dingen ist in unserem Alltag üblich. Wenn Ihnen eine Zutat für ein Rezept fehlt, haben Sie möglicherweise etwas anderes zur Hand, das als guter Ersatz dienen könnte. Bei Vergleichsentscheidungen, die Daten erfordern, fragen Sie sich möglicherweise, ob eine ältere Maschine eine vergleichbare Leistung erbringt wie eine neue Maschine in einem Labor oder einer Fabrik. Ist es an der Zeit, die ältere Maschine zu reparieren oder auszutauschen, oder ist ihre Leistung „gut genug“, um sie weiterhin zu verwenden? Und wie quantifizieren wir, was „gut genug“ in diesem Zusammenhang bedeutet?
Herkömmlicherweise erfordert der Vergleich zweier Dinge den umständlichen und oft kontraintuitiven Einsatz von Hypothesentests. Allerdings beantwortet die bloße Ablehnung oder Nichtablehnung der Nullhypothese die Frage, die wir zu beantworten hoffen, möglicherweise nicht ausreichend. Wie können wir also effektiver feststellen, ob zwei Dinge gleich, ähnlich oder unterschiedlich sind? Die Antwort kann mithilfe der Wahrscheinlichkeitswahrscheinlichkeitsmethode (PoA) zur Bewertung gefunden werden praktisch Äquivalenz, eines der Fachgebiete von Nathaniel Stevens. Er war unser letzter Gast Statistisch gesehen , und wir waren erfreut, mehr über dieses leistungsstarke und flexible Framework zu erfahren.
Nathaniel ist Assistenzprofessor für Statistik am Department of Statistics and Actuarial Science der University of Waterloo. Er hat mehrere Auszeichnungen gewonnen, zuletzt die Feigenbaum-Medaille der American Society of Quality 2023 und den Søren-Bisgaard-Preis 2021 für seine Arbeit zur Bayes'schen Übereinstimmungswahrscheinlichkeit.
Da wir mehr Fragen hatten als Zeit, sie zu beantworten, hat Nathaniel freundlicherweise zugestimmt, hier mehr von seinem Fachwissen zu teilen.
Welche Einschränkungen gibt es beim PoA-Framework?
Der Rahmen stützt sich stark auf die Äquivalenzschwelle 𝛅. Daher muss dies sorgfältig entschieden werden. In bestimmten Situationen kann dies schwierig sein. Und ohne sorgfältige Überlegung könnte dies skrupellos für ein gewünschtes Ergebnis gewählt werden. Es ist daher unbedingt erforderlich, dass 𝛅 unter Berücksichtigung des Problemkontexts ausgewählt wird.
Entspricht PoA einer Änderung des Signifikanzniveaus auf beispielsweise 0,1 anstelle des Schwellenwerts von 0,05, der in einem herkömmlichen Hypothesentest verwendet wird?
Nein, die Beziehung zwischen der PoA-Analyse und dem Hypothesentest ist nicht ganz so einfach. Obwohl es viele Inkarnationen des PoA gibt, betrachten wir ein anschauliches Beispiel, in dem wir lediglich bestimmen möchten, ob ein Parameter θ innerhalb des Intervalls [-𝛅, 𝛅] liegt, um ein Verständnis dafür zu entwickeln, was es quantifiziert und wie es mit anderen Beweismaßen zusammenhängt ].
Dies kann beispielsweise mit p-Werten der zweiten Generation erfolgen [1] , ein Äquivalenztest [2] , intervallbasierte Methoden [3], [4] oder die frequentistische Wahrscheinlichkeit einer Übereinstimmung [5] . Alle diese Ansätze zielen mit unterschiedlichen Methoden darauf ab, den Ort und die Streuung der Stichprobenverteilung von θ-hat speziell in Bezug auf das Intervall [-𝛅, 𝛅] zu charakterisieren. Intervallbasierte Methoden neigen dazu, zu prüfen, ob ein Konfidenzintervall für θ vollständig außerhalb oder innerhalb von [-𝛅, 𝛅] liegt. p-Werte der zweiten Generation messen das Ausmaß, in dem sich solche statistischen Intervalle überlappen [-𝛅, 𝛅]. Die mit zwei einseitigen Tests (TOST) verbundenen p-Werte messen zusammen den Anteil der Stichprobenverteilung von θ-hat das liegt außerhalb von [-𝛅, 𝛅]. Und der frequentistische PoA misst den Anteil dieser Verteilung, der innerhalb von [-𝛅, 𝛅] liegt. Alle diese Methoden quantifizieren auf ähnliche, wenn auch leicht unterschiedliche Weise Beweise für die Aussage θ ∈ [-𝛅, 𝛅] .
Wird PoA in Schulen gelehrt? Wann hat es angefangen?
PoA wird meines Wissens noch nicht in Lehrveranstaltungen gelehrt. Die Idee ist ziemlich einfach und ich gehe davon aus, dass ich nicht der Erste bin, der darüber nachdenkt. Daher kann ich nicht mit Sicherheit sagen, wann diese Idee zum ersten Mal umgesetzt wurde. Allerdings begann der Aufbau des Rahmenwerks, mit dem meine Mitarbeiter und ich begonnen haben, ungefähr im Jahr 2015.
Dies ist allgemeiner ein Problem bei der Vermittlung von Methoden, die explizit die praktische Äquivalenz berücksichtigen. Solche Methoden (z. B. Äquivalenztests) werden in Einführungskursen selten vermittelt. Eine breite Akzeptanz dieser Methodenklasse erfordert einen Paradigmenwechsel in der Pädagogik, der hoffentlich durch den Paradigmenwechsel, den wir in der Statistikdisziplin in Bezug auf statistische vs. praktische Signifikanz erleben, herbeigeführt wird.
Was bedeutet „HDI“?
HDI ist ein Akronym für „Highest Density Interval“. Im Allgemeinen ist ein HDI die Teilmenge der Unterstützung einer univariaten Verteilung, die die höchste Dichte aufweist [6] . Die Idee wird häufig in der Bayes'schen Inferenz als eine bestimmte Art eines hinteren glaubwürdigen Intervalls verwendet. Betrachten Sie beispielsweise die Posterior-Verteilung für einen Parameter θ und ein Intervall [L, U ] das 95 % der Verteilung enthält und daher θ enthält mit Wahrscheinlichkeit 0,95. Ein solches Intervall ist nicht eindeutig. Der 95 % HDI ist der kürzeste Intervall, das θ mit einer Wahrscheinlichkeit von 0,95 enthält.
Wie definieren Sie den Begriff „Heteroskedastizität“?
Allgemein gesagt, Heteroskedastizität bezieht sich auf nicht konstante Varianz. Im Gegensatz, Homoskedastizität bezieht sich auf konstante Varianz. Im Kontext des Messsystemvergleichs ist Heteroskedastizität relevant, da die Variabilität (dh seine Wiederholbarkeit) eines Messsystems möglicherweise keine feste Konstante ist; Es kann stattdessen eine Funktion des Gegenstands sein, den Sie messen. Beispielsweise können die Maße mehr oder weniger stark schwanken, wenn das zu messende Objekt groß/klein ist. Die Unterscheidung zwischen Homoskedastizität und Heteroskedastizität ist jedoch allgemeiner relevant. Beispielsweise basiert die Inferenz innerhalb der gewöhnlichen Regression der kleinsten Quadrate auf der Annahme einer konstanten Varianz, was bei Vorhandensein von Heteroskedastizität die Notwendigkeit varianzstabilisierender Transformationen (z. B. der Log-Transformation) mit sich bringt.
Müssen bei der Beurteilung der Übereinstimmung/Nichtunterlegenheit anhand von Verhältnissen besondere Überlegungen angestellt werden?
Der PoA (und die damit verbundenen vergleichenden Wahrscheinlichkeitsmetriken) können entweder in Bezug auf die additive Differenz definiert werden C 1 - C 2 oder der relative Unterschied C 1 /C 2 . Abgesehen davon, dass darauf geachtet wird, die Verteilung von korrekt anzugeben C 1 /C 2 Die einzige andere wichtige Überlegung bei der Arbeit mit Verhältnissen ist die Definition praktischer Äquivalenz und damit des Bereichs praktischer Äquivalenz (oder Nichtunterlegenheit).
In diesem Fall wird festgestellt, ob C 1 /C 2 praktisch von 1 verschieden ist, ist von Interesse. Daher ist es sinnvoll, den Bereich der praktischen Äquivalenz als zu definieren [(1 + δ) -1 , 1 + δ] wo hier 𝛅 wird in Anbetracht der Tatsache gewählt, dass eine prozentuale Steigerung von 100𝛅 % die kleinste ist, die praktisch von Bedeutung ist. Ein solches Intervall ist auf der relativen Skala symmetrisch um 1 und invariant gegenüber der (möglicherweise willkürlichen) Bezeichnung von Gruppe 1 gegenüber Gruppe 2. Der PoA wird dann definiert als
Wie definieren Sie die Äquivalenzgrenze für das Cox-Modell? Wie verwendet man die Äquivalenzgrenze im Cox-Modell?
Das PoA wurde nicht speziell für die Verwendung mit dem Cox-Proportional-Hazard-Modell entwickelt, ist es aber auf jeden Fall könnte Sei. Um in diesem Fall den Äquivalenzspielraum zu definieren, müsste darüber nachgedacht werden, wie unterschiedlich (auf der additiven oder relativen Skala) zwei Gefahrenfunktionen sein müssen, bevor sie praktisch relevant werden. Dieser Äquivalenzspielraum kann eine Konstante sein oder von den Kovariaten im Modell abhängen. Diesbezüglich gibt es Nuancen und Flexibilität. Ich fordere jemanden auf, diese methodische Entwicklung fortzusetzen; es könnte sehr nützlich sein.
Kennen Sie Klimamodellierer, die diese Methoden zur Bewertung ihrer Modelle verwenden?
Nicht konkret, nein. Das Beste, was mir bekannt ist, ist ein kürzlich erschienener Artikel von Ledwith et al. (2023) [7] das die Wahrscheinlichkeit der Übereinstimmung nutzt, um Rechenmodelle allgemeiner zu validieren. Aber ich gehe davon aus, dass eine solche Methodik für die Bewertung von Klimamodellen nützlich sein könnte.
Wir danken Nathaniel, dass er sich die Zeit genommen hat, weitere Gedanken zu diesem flexiblen und leistungsstarken Konzept mitzuteilen. Wenn Sie den Livestream verpasst haben, schauen Sie sich den On-Demand-Stream an Folge statistisch gesehen davon.
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noninferiority/Wellek/p/book/9781439808184
[3] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5] Das Bayes'sche PoA wäre auch hier nützlich, aber um den Rahmen der Diskussion einzugrenzen, werde ich mich auf die frequentistische Version konzentrieren.
[6] Regionen mit der höchsten Dichte (HDR) sind das multivariate Analogon.
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probabilities-of-Agreement-for-Computational-Model
