実際のデータを何百万もの観測値で調べ、2つの変数に単純に適合させると、有意な検定が得られない場合、それは不正の強い証拠です。非常に高いデータテーブルにとって確実に重要ではない1種類のデータは、シミュレートされたデータです。私たちは、多くの微妙な力がさまざまな複雑な方法で作用する世界に住んでいます。
ビッグデータの時代には、何百万もの観測があるとき、ほとんどすべてのテストが有意になると期待できます。しかし、ほとんどの場合、小さな違いは気にしません。私たちが知りたいことは、違いが私たちが気にかけているものよりも大きいかどうかということです。
業界では、私たちは通常どのような変更を気にするかについてかなり良い考えを持っています - 私たちは仕様限界、下限仕様限界（LSL）と上限仕様限界（USL）を持っています。その差がその仕様範囲のある割合、たとえば10％よりも大きい場合、それを見ても構わないことがわかります。エンジニアリングデータには通常、変更に対してどれほど敏感かを判断するための仕様制限があります。
仕様制限がない場合は、同様のものを使用します。平均差が自然変動と比較して小さく、プロセスが1の能力で合理的に振舞うと仮定すると、スペック範囲として6 *シグマを使用します。IQR /（Q（.75）-Q（.25））を使用してシグマを推定します。ここで、Qは通常の分位数です。次に、その区間の約10％を考慮します。
実際的な違いを念頭に置いていれば、実際の違いの絶対値が実際的な違いに等しいという仮説検定を簡単に構築できます。何百万もの観測がある場合、このテストは必ずしも重要ではありません - むしろ、非常に重要または反対のどちらかになる傾向があります。
これがテストのしくみです。あなたが気にかけている実際的な違いが2で、実際の違いが4だとしましょう。実際的な差を中心とした差の標準誤差でスケーリングされたStudentのt分布を構築します。次に、実際の差を超えるテール確率を計算します。この場合、それは約.3です。しかしそれはただ一つの方向です。実際の差のマイナスを見て、同じ分布のその末尾の確率を測定する必要もあります。今度は実用的な相違テストのためのp値があります。これはあなたが気にする変更についてあなたに言うためにあなたがするべきであるテストです。
しかし、そのテストはあなたが本当に望むテストの逆であるかもしれません。違いが小さいという安心感を得たいのであれば、違いが大きくないという証拠の欠如を使用するのは意味がありません。あなたは本当に違いが実際の違いよりも小さいことをかなり確実にするために、逆の方法でテストしたいと思います。
その方向のテストが呼ばれます等価テスト 。変更が結果に影響を及ぼさないことを証明するために、規制された医療および医療機器業界で最も頻繁に使用されています。帰無仮説を受け入れたからといって帰無仮説を受け入れたからといって帰無仮説が立証されないことを理解できるように、初等統計学の学生に等価性テストを教えるべきです。
等価テストへの標準的なアプローチはTOST - 片側2つのt検定です。差が実際的な差より小さいことをテストし、また差が実際的な差の負の値より大きいことをテストします。このように、あなたはその差が差より絶対値で小さいことを証明します。
あなたが気にしている違い、実用的な違いが4で、実際の違いが2であるとしましょう。差が実際的な差より小さいことをテストするには、適切な自由度を使ってStudentのt分布を置き、実際的な差に対する差の標準誤差でスケーリングします。実際の差におけるローテールの面積は約0.01です。ここで、生徒のt分布を実用上の差のマイナスマイナス-4の上に置きます。あなたはここで非常に小さい、非常に小さい尾の面積を測定します。次に、2つのp値の最大値を取ります。これは、ここでは0.01になります。したがって、あなたは0.01の有意水準で実用的な等価性を実証しました。
今、私たちは両方のツールを持っています。したがって、実用的な違いを参照して平均を比較すると、2つのp値と3つの可能な結論があります。両方のp値が有意ではない場合、実質的に等価、実質的に異なる、実質的に結論なしです。
上記の平均値比較では、すべての検定は、平均がゼロであるという検定にとって非常に重要です。これらは青で網掛けされたp値です。しかし、実際に異なるのは3つの応答のみです。つまり、実際の相違よりも大幅に異なるものです。これらは赤で網掛けされたp値です。7つの応答は実質的に同等です。つまり、その差は絶対値の実際的な差よりも大幅に小さくなります。これらは緑色で網掛けされています。テストのうちの2つは決定的ではありません - 違いはゼロとは有意に異なりますが、実用的な違いと比較して有意な違いはなく、実用的な違い（同等）よりも有意に小さくありません。
何百万もの観測値がある場合でも、比較を実行して、多数の回答のそれぞれが要因間でその平均をどのように変化させたかをすばやく特定できます。
実用的な差異テストは JMP 11 応答スクリーニングプラットフォームでは、Onewayおよび新しいNonlinearと同様に、等価テストが利用できます。
注意： これはの一部です大きな統計 John Sallによる一連のブログ投稿。彼のすべてを読むビッグ統計の投稿 。
マイク・クレイトン書きました：
これらのアイデアは、高校のSTEMクラスのためのウェビナー形式で詳しく説明されるべきです。
これらは（あなたがしたように）説明される必要がある重要な概念であり、多くの教科書ではうまく説明されていません。今日のようにデータが豊富で、古い仮説検定は一見するとあまり役に立ちませんが、実用的な限界と（私にとっては）新しい視覚化と表を使用することでビッグデータのp値を改善しました。現在、p値をさまざまな意味で危険または無用であるとして攻撃しています。）
警告：私は統計学者ではありません。
