Comparer des choses est courant dans notre vie de tous les jours. S’il vous manque un ingrédient dans une recette, vous avez peut-être quelque chose d’autre sous la main qui pourrait servir de bon substitut. Pour les décisions de comparaison qui nécessitent des données, vous vous demandez peut-être si une machine plus ancienne fonctionne de manière comparable à une nouvelle machine dans un laboratoire ou une usine. Est-il temps de réparer ou de remplacer l’ancienne machine ou ses performances sont-elles « suffisamment bonnes » pour continuer à l’utiliser ? Et comment quantifier ce que signifie « assez bien » dans ce contexte ?
Traditionnellement, comparer deux choses nécessite le recours fastidieux et souvent contre-intuitif à des tests d’hypothèses. Cependant, le simple fait de rejeter ou de ne pas rejeter l’hypothèse nulle ne répondra peut-être pas suffisamment à la question à laquelle nous espérons répondre. Alors, comment pouvons-nous déterminer plus efficacement si deux choses sont identiques, similaires ou différentes ? La réponse peut être trouvée en utilisant la méthodologie de probabilité d'accord (PoA) pour évaluer l'équivalence pratique , qui est l'un des domaines d'expertise de Nathaniel Stevens. Il était notre dernier invité sur Statistical Speaking et nous avons été ravis d'en apprendre davantage sur ce cadre puissant et flexible.
Nathaniel est professeur adjoint de statistique au Département de statistique et de sciences actuarielles de l'Université de Waterloo. Il a remporté plusieurs prix, notamment la médaille Feigenbaum de l'American Society of Quality 2023 et le prix Søren Bisgaard 2021 pour ses travaux sur la probabilité bayésienne d'accord.
Comme nous avions plus de questions que de temps pour y répondre, Nathaniel a aimablement accepté de partager ici davantage son expertise.
Quelles sont les limites du cadre PoA ?
Le cadre s’appuie fortement sur le seuil d’équivalence 𝛅. En tant que tel, c’est quelque chose qui doit être déterminé de manière réfléchie. Dans certains contextes, cela peut être difficile à réaliser. Et sans mûre réflexion, cela pourrait être choisi sans scrupules pour obtenir le résultat souhaité. Il est donc impératif que ce 𝛅 soit choisi en tenant compte du contexte du problème.
Le PoA équivaut-il à changer le niveau de signification à 0,1 (par exemple) au lieu du seuil de 0,05 utilisé dans un test d'hypothèse traditionnel ?
Non, la relation entre l’analyse PoA et le test d’hypothèse n’est pas aussi simple. Bien qu'il existe de nombreuses incarnations du PoA, pour aider à construire l'intuition de ce qu'il quantifie et de sa relation avec d'autres mesures de preuve, considérons un exemple illustratif où nous souhaitons simplement déterminer si un paramètre θ se situe dans l'intervalle [-𝛅, 𝛅 ].
Cela peut être fait (par exemple) avec des valeurs p de deuxième génération [1] , un test d'équivalence [2] , des méthodes basées sur les intervalles [3],[4] ou la probabilité fréquentiste d'accord [5] . Toutes ces approches, par différentes méthodes, cherchent à caractériser l'emplacement et la dispersion de la distribution d'échantillonnage de θ-hat spécifiquement par rapport à l'intervalle [-𝛅, 𝛅]. Les méthodes basées sur les intervalles ont tendance à vérifier si un intervalle de confiance pour θ se situe entièrement à l'extérieur ou à l'intérieur de [-𝛅, 𝛅]. Les valeurs p de deuxième génération mesurent dans quelle mesure ces intervalles statistiques se chevauchent [-𝛅, 𝛅]. Les valeurs p associées à deux tests unilatéraux (TOST) mesurent globalement la proportion de la distribution d'échantillonnage de θ-hat qui se trouve à l’extérieur de [-𝛅, 𝛅]. Et le PoA fréquentiste mesure la proportion de cette distribution qui se situe à l’intérieur de [-𝛅, 𝛅]. Toutes ces méthodes, de manière similaire mais subtilement différente, quantifient les preuves en faveur de l'énoncé θ ∈ [-𝛅, 𝛅] .
Le PoA est-il enseigné dans les écoles ? Quand est-ce que ça a commencé?
À ma connaissance, le PoA n’est pas encore enseigné dans les cours. L'idée est assez simple et je pense que je ne suis pas le premier à y réfléchir. Je ne peux donc pas dire avec certitude quand la première instance de cette idée a été mise en œuvre. Cependant, le cadre que mes collaborateurs et moi avons commencé à construire a commencé à peu près en 2015.
Il s’agit d’un problème plus général lié à l’enseignement de toute méthodologie qui prend explicitement en compte l’équivalence pratique. De telles méthodologies (par exemple les tests d'équivalence) sont rarement enseignées dans les cours d'introduction. Une large acceptation de cette classe de méthodes nécessite un changement de paradigme dans la pédagogie, qui, espérons-le, sera provoqué par le changement de paradigme que nous connaissons dans la discipline statistique en ce qui concerne la signification statistique par rapport à la signification pratique.
Que signifie « IDH » ?
HDI est un acronyme pour « intervalle de densité la plus élevée ». D'une manière générale, un IDH est le sous-ensemble du support d'une distribution univariée qui a la densité la plus élevée [6] . L'idée est couramment utilisée dans l'inférence bayésienne comme un type particulier d'intervalle de crédibilité postérieur. Par exemple, considérons la distribution a posteriori pour un paramètre θ et considérons un intervalle [L, U ] qui contient 95 % de la distribution et contient donc θ avec une probabilité de 0,95. Un tel intervalle n’est pas unique. L'IDH à 95 % est l'intervalle le plus court contenant θ avec une probabilité de 0,95.
Comment définissez-vous le terme « hétéroscédasticité » ?
De manière générale, l'hétéroscédasticité fait référence à une variance non constante. En revanche, l'homoscédasticité fait référence à une variance constante. Dans le contexte de la comparaison des systèmes de mesure, l'hétéroscédasticité est pertinente car la variabilité d'un système de mesure (c'est-à-dire sa répétabilité) peut ne pas être une constante fixe ; cela peut plutôt être fonction de l’élément que vous mesurez. Par exemple, les mesures peuvent devenir plus/moins variables si l'élément mesuré est grand/petit. Cependant, la distinction entre homoscédasticité et hétéroscédasticité est pertinente de manière plus large. Par exemple, l'inférence dans le cadre de la régression des moindres carrés ordinaires repose sur une hypothèse de variance constante, ce qui nécessite des transformations stabilisatrices de la variance (par exemple, la transformation logarithmique) en présence d'hétéroscédasticité.
Y a-t-il des considérations particulières à prendre en compte lors de l’évaluation de l’accord/de la non-infériorité sur la base de ratios ?
Le PoA (et les mesures de probabilité comparatives associées) peuvent être définis soit par rapport à la différence additive C 1 - C 2 , soit par rapport à la différence relative C 1 /C 2 . En plus de veiller à spécifier correctement la distribution de C 1 /C 2 , la seule autre considération clé lorsque l'on travaille avec des ratios est de savoir comment définir l'équivalence pratique et donc la région d'équivalence pratique (ou de non-infériorité).
Dans ce cas, déterminer si C 1 /C 2 est pratiquement différent de 1 est intéressant. Ainsi, il est judicieux de définir la région d’équivalence pratique comme [(1 + δ) -1 , 1 + δ] où ici 𝛅 est choisi en reconnaissance du fait qu’un pourcentage d’augmentation de 100𝛅% est le plus petit qui soit pratiquement important. Un tel intervalle est symétrique autour de 1 sur l'échelle relative et est invariant par rapport à l'étiquetage (potentiellement arbitraire) du groupe 1 par rapport au groupe 2. Le PoA est alors défini comme
Comment définissez-vous la limite d’équivalence pour le modèle de Cox ? Comment utilisez-vous la limite d’équivalence dans le modèle de Cox ?
Le PoA n’a pas été développé spécifiquement pour être utilisé avec le modèle à risque proportionnel de Cox, mais il pourrait certainement l’être. Définir la marge d’équivalence dans ce cas nécessiterait de réfléchir à la différence (sur l’échelle additive ou relative) de deux fonctions de risque avant que cela devienne pertinent dans la pratique. Cette marge d'équivalence peut être une constante ou dépendre des covariables du modèle. Il y a des nuances et de la flexibilité à cet égard. J'invite quelqu'un à poursuivre ce développement méthodologique ; cela pourrait être très utile.
Connaissez-vous des modélisateurs climatiques qui utilisent ces méthodes pour évaluer leurs modèles ?
Pas spécifiquement, non. La chose la plus proche que je connaisse est un article récent de Ledwith et al. (2023) [7] qui utilise la probabilité d’accord pour valider les modèles informatiques de manière plus générale. Mais je pense qu’une méthodologie comme celle-ci pourrait être utile pour l’évaluation des modèles climatiques.
Nous remercions Nathaniel d'avoir pris le temps de partager davantage ses réflexions sur ce concept flexible et puissant. Si vous avez manqué la diffusion en direct, regardez l' épisode à la demande de ce Statistiquement parlant.
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noninferiority/Wellek/p/book/9781439808184
[3] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5] Le PoA bayésien serait également utile ici, mais pour restreindre la portée de la discussion, je me concentrerai sur la version fréquentiste.
[6] Les régions de densité la plus élevée (HDR) sont l'analogue multivarié.
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probabilities-of-Agreement-for-Computational-Model
