Comparer des choses est courant dans notre vie de tous les jours. S'il vous manque un ingrédient pour une recette, vous avez peut-être quelque chose d'autre sous la main qui pourrait servir de bon substitut. Pour les décisions de comparaison qui nécessitent des données, vous pouvez vous demander si une machine plus ancienne fonctionne de manière comparable à une nouvelle machine dans un laboratoire ou une usine. Est-il temps de réparer ou de remplacer l'ancienne machine ou ses performances sont-elles «suffisamment bonnes» pour continuer à l'utiliser? Et comment quantifier ce que « assez bon » signifie dans ce contexte ?
Classiquement, comparer deux choses nécessite l'utilisation lourde et souvent contre-intuitive de tests d'hypothèses. Cependant, le simple fait de rejeter ou de ne pas rejeter l'hypothèse nulle peut ne pas répondre suffisamment à la question à laquelle nous espérons répondre. Alors, comment pouvons-nous déterminer plus efficacement si deux choses sont identiques, similaires ou différentes ? La réponse peut être trouvée en utilisant la méthodologie de probabilité d'accord (PoA) pour évaluer pratique l'équivalence, qui est l'un des domaines d'expertise de Nathaniel Stevens. Il était notre dernier invité sur Statistiquement parlant , et nous avons été ravis d'en savoir plus sur ce cadre puissant et flexible.
Nathaniel est professeur adjoint de statistique au Département de statistique et de science actuarielle de l'Université de Waterloo. Il a remporté plusieurs prix, dont récemment la médaille Feigenbaum de l'American Society of Quality 2023 et le prix Søren Bisgaard 2021 pour son travail sur la probabilité bayésienne d'accord.
Comme nous avions plus de questions que de temps pour y répondre, Nathaniel a gentiment accepté de partager plus de son expertise ici.
Quelles sont les limites du cadre PoA ?
Le cadre s'appuie fortement sur le seuil d'équivalence 𝛅. En tant que tel, c'est quelque chose qui doit être déterminé de manière réfléchie. Dans certains contextes, cela peut être difficile à faire. Et sans un examen attentif, cela pourrait être choisi sans scrupules pour un résultat souhaité. Il est donc impératif que ce 𝛅 soit choisi en reconnaissance du contexte du problème.
Le PoA équivaut-il à changer le niveau de signification à 0,1 (par exemple) au lieu du seuil de 0,05 utilisé dans un test d'hypothèse traditionnel ?
Non, la relation entre l'analyse PoA et le test d'hypothèse n'est pas aussi simple. Bien que de nombreuses incarnations du PoA existent, pour aider à construire l'intuition de ce qu'il quantifie et comment il se rapporte à d'autres mesures de preuve, considérons un exemple illustratif où nous souhaitons simplement déterminer si un paramètre θ se situe dans l'intervalle [-𝛅, 𝛅 ].
Cela peut être fait (par exemple) avec des p-values de deuxième génération [1] , un test d'équivalence [2] , méthodes basées sur des intervalles [3], [4] ou la probabilité fréquentiste d'accord [5] . Toutes ces approches, par des méthodes différentes, cherchent à caractériser la localisation et la dispersion de la distribution d'échantillonnage de θ-hat spécifiquement par rapport à l'intervalle [-𝛅, 𝛅]. Les méthodes basées sur les intervalles ont tendance à vérifier si un intervalle de confiance pour θ se situe entièrement à l'extérieur ou à l'intérieur de [-𝛅, 𝛅]. Les valeurs de p de deuxième génération mesurent dans quelle mesure ces intervalles statistiques se chevauchent [-𝛅, 𝛅]. Les valeurs de p associées à deux tests unilatéraux (TOST) dans l'ensemble mesurent la proportion de la distribution d'échantillonnage de θ-hat qui se trouve en dehors de [-𝛅, 𝛅]. Et le PoA fréquentiste mesure la proportion de cette distribution qui se trouve à l'intérieur de [-𝛅, 𝛅]. Toutes ces méthodes, de manières similaires bien que subtilement différentes, quantifient les preuves en faveur de l'énoncé θ ∈ [-𝛅, 𝛅] .
La PoA est-elle enseignée dans les écoles ? Quand est-ce que ça a commencé?
A ma connaissance, le PoA n'est pas encore enseigné dans les cours. L'idée est assez simple, et je suppose que je ne suis pas le premier à l'envisager. Donc, je ne peux pas dire avec certitude quand la première instance de cette idée a été mise en œuvre. Cependant, le cadre que mes collaborateurs et moi avons commencé à construire a commencé à peu près en 2015.
C'est un problème plus général avec l'enseignement de toute méthodologie qui rend compte explicitement de l'équivalence pratique. Ces méthodologies (par exemple, les tests d'équivalence) sont rarement enseignées dans les cours d'introduction. Une large acceptation de cette classe de méthodes nécessite un changement de paradigme dans la pédagogie, qui, espérons-le, sera provoqué par le changement de paradigme que nous connaissons dans la discipline statistique en ce qui concerne la signification statistique par rapport à la signification pratique.
Que signifie « IDH » ?
HDI est un acronyme pour « intervalle de densité le plus élevé ». De manière générale, un IDH est le sous-ensemble du support d'une distribution univariée qui a la densité la plus élevée [6] . L'idée est couramment utilisée dans l'inférence bayésienne comme un type particulier d'intervalle de crédibilité postérieur. Par exemple, considérons la distribution postérieure pour un paramètre θ et considérons un intervalle [L, U ] qui contient 95% de la distribution et donc, contient θ avec probabilité 0,95. Un tel intervalle n'est pas unique. L'IDH à 95 % est le le plus court intervalle qui contient θ avec une probabilité de 0,95.
Comment définiriez-vous le terme « hétéroscédasticité » ?
En général, hétéroscédasticité fait référence à une variance non constante. En revanche, homoscédasticité fait référence à une variance constante. Dans le contexte de la comparaison des systèmes de mesure, l'hétéroscédasticité est pertinente car la variabilité d'un système de mesure (c'est-à-dire sa répétabilité) peut ne pas être une constante fixe ; cela peut plutôt être une fonction de l'élément que vous mesurez. Par exemple, les mesures peuvent devenir plus/moins variables si l'élément mesuré est grand/petit. Cependant, la distinction entre homoscédasticité et hétéroscédasticité est pertinente plus largement. Par exemple, l'inférence dans la régression des moindres carrés ordinaires est fondée sur une hypothèse de variance constante, ce qui donne lieu au besoin de transformations de stabilisation de la variance (par exemple, la transformation logarithmique) en présence d'hétéroscédasticité.
Y a-t-il des considérations particulières à prendre en compte lors de l'évaluation de la concordance/non-infériorité sur la base de ratios ?
Le PoA (et les métriques de probabilité comparatives associées) peuvent être définis soit par rapport à la différence additive C 1 -C 2 ou la différence relative C 1 /C 2 . En plus de veiller à spécifier correctement la distribution de C 1 /C 2 , la seule autre considération clé lorsque l'on travaille avec des ratios est de savoir comment définir l'équivalence pratique et, par conséquent, la région d'équivalence pratique (ou de non-infériorité).
Dans ce cas, déterminer si C 1 /C 2 est pratiquement différent de 1 est intéressant. Ainsi, il est judicieux de définir la région d'équivalence pratique comme [(1 + δ) -1 , 1 + δ] où ici 𝛅 est choisi en reconnaissance du fait qu'un pourcentage d'augmentation de 100𝛅 % est le plus petit qui soit pratiquement important. Un tel intervalle est symétrique autour de 1 sur l'échelle relative et est invariant à l'étiquetage (potentiellement arbitraire) du groupe 1 par rapport au groupe 2. Le PoA est alors défini comme
Comment définissez-vous la limite d'équivalence pour le modèle de Cox ? Comment utilisez-vous la limite d'équivalence dans le modèle de Cox ?
Le PoA n'a pas été développé spécifiquement pour être utilisé avec le modèle de risque proportionnel de Cox, mais il pourrait être. Définir la marge d'équivalence dans ce cas nécessiterait de réfléchir à la différence (sur l'échelle additive ou relative) entre deux fonctions de risque avant qu'elle ne devienne pertinente dans la pratique. Cette marge d'équivalence peut être une constante ou dépendre des covariables du modèle. Il y a de la nuance et de la flexibilité à cet égard. J'encourage quelqu'un à poursuivre ce développement méthodologique; cela pourrait être très utile.
Connaissez-vous des modélisateurs climatiques utilisant ces méthodes pour évaluer leurs modèles ?
Pas spécifiquement, non. La chose la plus proche que je connaisse est un article récent de Ledwith et al. (2023) [7] qui utilise la probabilité d'accord pour valider plus généralement les modèles informatiques. Mais je m'attends à ce qu'une méthodologie comme celle-ci puisse être utile pour l'évaluation des modèles climatiques.
Nous sommes reconnaissants à Nathaniel d'avoir pris le temps de partager davantage ses réflexions sur ce concept flexible et puissant. Si vous avez manqué la diffusion en direct, consultez la diffusion à la demande épisode de ce Statistiquement parlant.
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noninferiority/Wellek/p/book/9781439808184
[3] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5] Le PoA bayésien serait également utile ici, mais pour réduire la portée de la discussion, je vais me concentrer sur la version fréquentiste.
[6] Les régions de densité la plus élevée (HDR) sont l'analogue multivarié.
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probabilities-of-Agreement-for-Computational-Model
