Das Vergleichen von Dingen ist in unserem Alltag üblich. Wenn Ihnen eine Zutat für ein Rezept fehlt, haben Sie möglicherweise etwas anderes zur Hand, das als guter Ersatz dienen könnte. Bei Vergleichsentscheidungen, die Daten erfordern, fragen Sie sich möglicherweise, ob eine ältere Maschine eine vergleichbare Leistung wie eine neue Maschine in einem Labor oder einer Fabrik erbringt. Ist es an der Zeit, die ältere Maschine zu reparieren oder auszutauschen, oder ist ihre Leistung „gut genug“, um sie weiterhin zu verwenden? Und wie quantifizieren wir, was „gut genug“ in diesem Zusammenhang bedeutet?
Herkömmlicherweise erfordert der Vergleich zweier Dinge den umständlichen und oft kontraintuitiven Einsatz von Hypothesentests. Allerdings beantwortet die bloße Ablehnung oder Nichtablehnung der Nullhypothese die Frage, die wir zu beantworten hoffen, möglicherweise nicht ausreichend. Wie können wir also effektiver feststellen, ob zwei Dinge gleich, ähnlich oder unterschiedlich sind? Die Antwort kann mithilfe der PoA-Methodik (Probability of Agreement) zur Bewertung der praktischen Gleichwertigkeit gefunden werden, einem Fachgebiet von Nathaniel Stevens. Er war unser letzter Gast bei Statistical Speaking und wir waren erfreut , mehr über dieses leistungsstarke und flexible Framework zu erfahren.
Nathaniel ist Assistenzprofessor für Statistik am Department of Statistics and Actuarial Science der University of Waterloo. Er hat mehrere Auszeichnungen gewonnen, zuletzt die Feigenbaum-Medaille der American Society of Quality 2023 und den Søren-Bisgaard-Preis 2021 für seine Arbeit zur Bayes'schen Übereinstimmungswahrscheinlichkeit.
Da wir mehr Fragen hatten als Zeit, sie zu beantworten, hat Nathaniel freundlicherweise zugestimmt, hier mehr von seinem Fachwissen zu teilen.
Welche Einschränkungen gibt es beim PoA-Framework?
Der Rahmen stützt sich stark auf die Äquivalenzschwelle 𝛅. Daher muss dies sorgfältig entschieden werden. In bestimmten Situationen kann dies schwierig sein. Und ohne sorgfältige Überlegung könnte dies skrupellos für ein gewünschtes Ergebnis gewählt werden. Es ist daher unbedingt erforderlich, dass 𝛅 unter Berücksichtigung des Problemkontexts ausgewählt wird.
Entspricht PoA einer Änderung des Signifikanzniveaus auf beispielsweise 0,1 anstelle des Schwellenwerts von 0,05, der in einem herkömmlichen Hypothesentest verwendet wird?
Nein, die Beziehung zwischen der PoA-Analyse und dem Hypothesentest ist nicht ganz so einfach. Obwohl es viele Inkarnationen des PoA gibt, betrachten wir ein anschauliches Beispiel, in dem wir lediglich bestimmen möchten, ob ein Parameter θ innerhalb des Intervalls [-𝛅, 𝛅] liegt, um ein Verständnis dafür zu entwickeln, was es quantifiziert und wie es mit anderen Beweismaßen zusammenhängt ].
Dies kann beispielsweise mit p-Werten der zweiten Generation [1] , einem Äquivalenztest [2] , intervallbasierten Methoden [3],[4] oder der frequentistischen Übereinstimmungswahrscheinlichkeit [5] erfolgen. Alle diese Ansätze zielen mit unterschiedlichen Methoden darauf ab, den Ort und die Streuung der Stichprobenverteilung von θ-hat speziell in Bezug auf das Intervall [-𝛅, 𝛅] zu charakterisieren. Intervallbasierte Methoden neigen dazu, zu prüfen, ob ein Konfidenzintervall für θ vollständig außerhalb oder innerhalb von [-𝛅, 𝛅] liegt. p-Werte der zweiten Generation messen das Ausmaß, in dem sich solche statistischen Intervalle überlappen [-𝛅, 𝛅]. Die mit zwei einseitigen Tests (TOST) verbundenen p-Werte messen zusammen den Anteil der Stichprobenverteilung von θ-hat das liegt außerhalb von [-𝛅, 𝛅]. Und der frequentistische PoA misst den Anteil dieser Verteilung, der innerhalb von [-𝛅, 𝛅] liegt. Alle diese Methoden quantifizieren auf ähnliche, wenn auch subtil unterschiedliche Weise Beweise zugunsten der Aussage θ ∈ [-𝛅, 𝛅] .
Wird PoA in Schulen gelehrt? Wann hat es angefangen?
PoA wird meines Wissens noch nicht in Lehrveranstaltungen gelehrt. Die Idee ist ziemlich einfach und ich gehe davon aus, dass ich nicht der Erste bin, der darüber nachdenkt. Daher kann ich nicht mit Sicherheit sagen, wann diese Idee zum ersten Mal umgesetzt wurde. Allerdings begann der Aufbau des Rahmenwerks, mit dem meine Mitarbeiter und ich begonnen haben, ungefähr im Jahr 2015.
Dies ist allgemeiner ein Problem bei der Vermittlung von Methoden, die explizit die praktische Äquivalenz berücksichtigen. Solche Methoden (z. B. Äquivalenztests) werden in Einführungskursen selten vermittelt. Eine breite Akzeptanz dieser Methodenklasse erfordert einen Paradigmenwechsel in der Pädagogik, der hoffentlich durch den Paradigmenwechsel, den wir in der Statistikdisziplin in Bezug auf statistische vs. praktische Signifikanz erleben, herbeigeführt wird.
Was bedeutet „HDI“?
HDI ist ein Akronym für „Highest Density Interval“. Im Allgemeinen ist ein HDI die Teilmenge der Unterstützung einer univariaten Verteilung mit der höchsten Dichte [6] . Die Idee wird häufig in der Bayes'schen Inferenz als eine bestimmte Art eines hinteren glaubwürdigen Intervalls verwendet. Betrachten Sie beispielsweise die Posterior-Verteilung für einen Parameter θ und ein Intervall [L, U ] das 95 % der Verteilung enthält und daher θ enthält mit Wahrscheinlichkeit 0,95. Ein solches Intervall ist nicht eindeutig. Der 95 %-HDI ist das kürzeste Intervall, das θ mit einer Wahrscheinlichkeit von 0,95 enthält.
Wie definieren Sie den Begriff „Heteroskedastizität“?
Im Allgemeinen bezieht sich Heteroskedastizität auf eine nicht konstante Varianz. Im Gegensatz dazu bezieht sich Homoskedastizität auf konstante Varianz. Im Kontext des Messsystemvergleichs ist Heteroskedastizität relevant, da die Variabilität (dh seine Wiederholbarkeit) eines Messsystems möglicherweise keine feste Konstante ist; Es kann stattdessen eine Funktion des Gegenstands sein, den Sie messen. Beispielsweise können die Messungen mehr oder weniger variabel werden, wenn das zu messende Objekt groß/klein ist. Die Unterscheidung zwischen Homoskedastizität und Heteroskedastizität ist jedoch allgemeiner relevant. Beispielsweise basiert die Inferenz innerhalb der gewöhnlichen Regression der kleinsten Quadrate auf der Annahme einer konstanten Varianz, was bei Vorhandensein von Heteroskedastizität die Notwendigkeit varianzstabilisierender Transformationen (z. B. der Log-Transformation) mit sich bringt.
Müssen bei der Beurteilung der Übereinstimmung/Nichtunterlegenheit anhand von Verhältnissen besondere Überlegungen angestellt werden?
Der PoA (und zugehörige vergleichende Wahrscheinlichkeitsmetriken) können entweder in Bezug auf die additive Differenz C 1 – C 2 oder die relative Differenz C 1 /C 2 definiert werden. Abgesehen von der sorgfältigen Angabe der Verteilung von C 1 /C 2 besteht die einzige andere wichtige Überlegung bei der Arbeit mit Verhältnissen darin, wie praktische Äquivalenz und damit der Bereich der praktischen Äquivalenz (oder Nichtunterlegenheit) definiert werden.
In diesem Fall wird bestimmt, ob C 1 /C 2 praktisch von 1 verschieden ist, ist von Interesse. Daher ist es sinnvoll, den Bereich der praktischen Äquivalenz als [(1 + δ) -1 , 1 + δ] zu definieren. wo hier 𝛅 wird in Anbetracht der Tatsache gewählt, dass eine prozentuale Steigerung von 100𝛅 % die kleinste ist, die praktisch von Bedeutung ist. Ein solches Intervall ist symmetrisch um 1 auf der relativen Skala und invariant gegenüber der (möglicherweise willkürlichen) Bezeichnung von Gruppe 1 gegenüber Gruppe 2. Der PoA wird dann definiert als
Wie definieren Sie die Äquivalenzgrenze für das Cox-Modell? Wie verwendet man die Äquivalenzgrenze im Cox-Modell?
Der PoA wurde nicht speziell für die Verwendung mit dem Cox-Proportional-Hazard-Modell entwickelt, könnte es aber durchaus sein. Um in diesem Fall den Äquivalenzspielraum zu definieren, müsste darüber nachgedacht werden, wie unterschiedlich (auf der additiven oder relativen Skala) zwei Gefahrenfunktionen sein müssen, bevor sie praktisch relevant werden. Dieser Äquivalenzspielraum kann eine Konstante sein oder von den Kovariaten im Modell abhängen. Diesbezüglich gibt es Nuancen und Flexibilität. Ich fordere jemanden auf, diese methodische Entwicklung fortzusetzen; es könnte sehr nützlich sein.
Kennen Sie Klimamodellierer, die diese Methoden zur Bewertung ihrer Modelle verwenden?
Nicht konkret, nein. Das Beste, was mir bekannt ist, ist ein kürzlich erschienener Artikel von Ledwith et al. (2023) [7] , das die Übereinstimmungswahrscheinlichkeit nutzt, um Rechenmodelle allgemeiner zu validieren. Aber ich gehe davon aus, dass eine solche Methodik für die Bewertung von Klimamodellen nützlich sein könnte.
Wir danken Nathaniel, dass er sich die Zeit genommen hat, weitere Gedanken zu diesem flexiblen und leistungsstarken Konzept mitzuteilen. Wenn Sie den Livestream verpasst haben, schauen Sie sich die On-Demand -Folge von „Statistically Speaking“ an.
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noninferiority/Wellek/p/book/9781439808184
[3] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5] Das Bayesian PoA wäre auch hier nützlich, aber um den Umfang der Diskussion einzugrenzen, werde ich mich auf die frequentistische Version konzentrieren.
[6] Regionen mit der höchsten Dichte (HDR) sind das multivariate Analogon.
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probabilities-of-Agreement-for-Computational-Model
