Salut tout le monde,
Je suis nouveau dans les statistiques et j'ai vraiment besoin de votre aide ici.
Ma question est: Est-ce ok ou pas OK si je fais plusieurs tests d'équivalence pour trouver la limite équivalente qui a 2 valeurs p < 5%.
J'ai 2 groupes de données comme ci-dessous et je veux tester s'ils sont égaux ou différents.
1ère étape, j'ai fait un test t & Pvalue> 5% signifie que je n'ai pas réussi à rejeter H0 (Test = ref). Ça n'aide pas vraiment beaucoup à définir mes prochaines actions.
Je fais donc un test d'équivalence avec la limite équivalente de +/-0,1 comme plage pratique
Mais encore une fois le résultat n'est vraiment pas bon. Je peux juste conclure que mon groupe de test est supérieur à l'unité REF 0,1 ou inférieure.
Toujours pas un résultat assez utile pour les prochaines actions
J'augmente donc plusieurs fois jusqu'à atteindre la limite équivalente de 0,16 unité et j'ai 2 P-value <5 %
Ce que je peux interpréter comme résultat car 2 groupes sont égaux dans une plage d'unités de 0,16.
Cela signifie que le groupe Mon TEST peut être supérieur/inférieur à REF +/- 0,16 unité. (ou pourrait être égal aussi)
Je peux donc estimer le meilleur des cas si cette unité de 0,16 de plus ou moins le courant est OK pour ma prochaine action.
Ma conclusion est-elle correcte ? & Est-ce possible pour moi de le faire? ou Suis-je P-hacking?
Juste un débutant en statistique a besoin de votre aide.
Merci a tous
Salut @Justin_Bui ,
C'est une bonne question. Mais p-hacking mis à part, je pense que vous interprétez mal le test d'équivalence. Ces choses sont déroutantes, je sais!
La faible valeur p dans votre dernier cas vous indique que les 2 groupes SONT pratiquement équivalents. Les limites de confiance autour de la différence estimée se situent dans la plage pratique de +/- 0,16.
La documentation d'aide car ce test devrait être utile.
Espérons que cela aide,
Phil
Ajouter à @Phil_Kay , vous devez avoir une question ou un objectif clair et bien défini pour le test que vous devez effectuer. Votre exemple est un cas de p-hacking. Un seul de ces tests est pertinent pour votre objectif. Vous ne devez pas appliquer plus d'un test jusqu'à ce que vous trouviez un résultat favorable. Un test suffit, et vous acceptez la réponse de toute façon.
Disons que vous avez fait un changement en espérant une amélioration. Ensuite, vous souhaitez utiliser un test pour une différence significative. (L'hypothèse nulle ou « l'avocat du diable » est qu'il n'y a pas de changement ou d'amélioration.) Votre première comparaison est un exemple de ce type de test.
Au lieu de cela, vous avez peut-être fait un changement mais espérez que cela ne fera aucune différence. Comme échanger une nouvelle pièce d'équipement contre une vieille pièce en espérant continuer à voir le même résultat. Ensuite, vous souhaitez utiliser un test d'équivalences significatives ou pratiques. Votre deuxième paire de comparaisons est un exemple de ce type de test.
Le niveau de risque est généralement établi à l'avance. Ajuster la différence pratique ou le niveau de signification tout en effectuant des tests est également une sorte de p-hacking.
