まったく異なる推論につながった2つの異なるが適切なモデルを使用して同じデータを分析したことがありますか？それからあなたは遭遇したかもしれません主のパラドックス （主、1967年）。
Lord's Paradox（Lord、1967）は何十年も研究者を困惑させてきました！特に、計画的な実験が不可能な分野で働く人々（子育てを研究し、子供を善と悪の両親に無作為に割り当てることができない心理学者を考える）。
それではこれはどうして起こるのでしょうか？例を挙げて説明します。
セットアップ
あなたが新興企業の新しく採用されたデータアナリストであると想像してください。あなたの上司は、彼女が最近収集したデータセットから洞察を発見するのを手助けするためにあなたを船上に連れて行きたいと切望しています。最初の1年間で顧客満足度がどのように変化したかを調べてほしいと彼女は思っています。
彼女は会社が最初に始めたときに100人の顧客を調査し、数週間前（1年後）にそれらを再び調査しました。彼女は特に、主要な競合他社の製品に関する顧客の以前の経験、およびこれが事業の最初の1年間に顧客満足度がどのように変化したかに影響を与えるかどうかに関心があります。あなたにデータを渡した後、あなたの所見について学ぶためにあなたの上司はあなたにできるだけ早く会いたいという彼女の願望を表明します。あなたが使う JMP ファイルを開くと、次のようになります。
図1。顧客満足度のシミュレーションデータ 以下のコメントで、どのような分析を実行するのかを教えてください。
あなたは、顧客があなたのものを使う前にあなたの競合他社の製品を使った（あるいは使っていない）かどうかに関する情報を持っています。また、会社が最初に始まったとき（時間1またはT1）と1年後（数週間前、またはT2）からの顧客満足度があり、「顧客満足度の変化」列がありますが、これは単に違いです。T2 - T1の間。簡単なプロジェクトのように見えます！
あなたはこれらのデータを分析するいくつかの方法を考えるかもしれませんが、私は2つのオプションにあなたの注意を引かせましょう：
1） どうですか？共分散分析 （別名残差変化モデル）？あなたはあなたの結果として時間2での顧客満足度とJMPのフィットモデルプラットフォーム（分析 - >フィットモデル：Standard Least Squaresパーソナリティ）を使用することができます。予測変数としてグループ化変数であるUsed Competitor's Productを、共変量として時間1の顧客満足度を含めます（これらは両方とも「Construct Model Effects」として追加されます）。あなたが主に興味を持っているのは、時間2での顧客満足度に対するグループ化変数の潜在的な影響ですが、この変数のベースラインレベルを制御するために、必ず時間1での顧客満足度をモデルに含めます。これがそのモデルからの推定値です（ JMPのヒント： 分析レポートの赤い三角メニューでこのオプションを選択すると、指標のパラメータ化を行うことができます。
図2 共分散分析の結果 結果は時間2での顧客満足です。
これらの結果に基づいて、あなたはあなたの会社を使用する前にあなたの競合他社の製品を使用したことの効果があると結論付けることができます！あなたのものを使う前にあなたの競合他社の製品を使った人たちの現在の顧客満足度はかなり低い（約1.02ユニット）ようです（あなたの上司はこれを学ぶのに興奮するでしょう）！Rの2乗は、これは簡単ではないことを示唆しています。あなたの結果の分散の80％は予測因子によって説明されます。
2） しかし、待ってください、単純に t- テスト変更スコアで？結果として「顧客満足度の変更」列を入力し、グループ化変数として「競合他社製品」を入力すると、2変量プラットフォーム（分析 - > Xでフィット - >平均/分散分析/プールt）を使用できます。分散変数または予測変数としてのグループ化変数を使用したANOVAまたは単純な線形回帰。これは、ペアサンプルと同等です。トン T1とT2のスコアで-testが、それは別のブログ記事のトピックです）。結局、あなたの上司は、顧客満足度を理解することへの関心を強調しました。変化 。このモデルからの推定値を見てみましょう。
図3 変化スコアに関するt検定の結果。
うーん…どうしたの？このモデルによれば（そして私はあなたが私があなたが私がそれを同じデータ表に当てはめると約束する）、あなたの競合他社の製品を使った人々としなかった人々の間で前年度の顧客満足度の変化に大きな違いはない。さらに印象的なのは、このモデルのR 2乗がほぼゼロです。
これは主のパラドックスです：同じデータに基づいて完全に異なる推論にたどり着くことの可能性、しかし異なるモデル、どちらも適切であるように見えます。では、JMPのGraph Builderを使用してデータをプロットすることから始めて、このパズルの背後にあるものを明らかにしましょう。
パズルを発表
図4 グループ1、2での顧客満足度の散布図（顧客が競合他社の製品を使用したかどうかなど）。グループ別の適合度と95％信頼区間も表示されます。最初の調査（x軸）の顧客満足度スコアは、競合他社の製品を使用した人と使用しなかった人とでは体系的に異なります。実際、あなたの会社の前にあなたの競合他社の製品を使っていた顧客は最初は満足していなかった（おそらく新しい製品に慣れるのに苦労した） 。また、競合他社の製品を使用していない顧客が時間1で高い満足度を報告していることも確認していません。
それでは、2番目のモデルでは効果がないのに、なぜ最初のモデルで大きな効果があるのでしょうか。それは共分散の分析があなたのサンプルがから来たという暗黙の仮定をすることがわかります 1 人口。データが真に1つの母集団からのものである場合、ベースラインでグループ平均の差があることは珍しいと考え（母集団から無作為に抽出したため）、2番目の調査手段はそうした人々としなかった人々にとって壮大な平均値に近づくために、競合他社の製品を使用してください（この統計的アーティファクトは、平均への回帰 ） しかし、ここでは、各グループ内の平均値は時間が経ってもほぼ同じであり、そのためには、ある母集団からサンプリングしたときには、平均値が互いに近づくのを防ぐ力（つまり効果）が必要です。この「力」は、共分散分析が特定する効果です。その一方で、トン -testはそのような仮定を含みません、そして結果はnull効果にこれを反映します。おそらく、データを別の方法でプロットすると、これをさらに詳しく説明できます。
図5 平均軌跡が最大平均に向かって後退しないようにする力をスパゲッティプロットに重ね合わせる。個人の経年変化はほとんどなく、全体的な傾向も変わっていません。低/高から始めた人は、顧客満足度が低/高のままでした。
それで、私たちが今知っていることを考えると、あなたはあなたの上司とどのような洞察を共有するでしょうか？競合他社の製品を使用したことによる顧客満足度への影響を報告しますか。実生活でこのような状況に直面したことがあるのであれば、この問題について詳しく読むようにしてください（私は確かにここでそれを過度に単純化しすぎています）。役に立つ記事はvan Breukelen（2013）です。
しかし、当分の間、これらのデータが計画された実験の一部として収集されたのであれば、あなたはそのような漬け物にはならないだろうということを明確にさせてください。ランダム割り当ては、お客様の特異性による変動性がグループ間で均等に分散されるように設計された実験の重要な機能です。つまり、get-goから1つの母集団からサンプリングしたという基本的な前提条件が満たされ、ここで説明した2つのモデルが同じ結論につながります（ただし、共分散の分析の方が強力です）。
キーポイント
このトピックが引き出すことが知られている混乱を容易にするために、私はあなたがあなたの次のデータ駆動型の質問に取り組むときあなたを助けることができるいくつかの持ち帰りポイントをあなたに残します：
- 悪用可視化ツール モデルをあてはめる前に、あなたのデータを知ってください。多くの場合、異常値とデータ入力エラーを探すことは知っていますが、モデルの前提条件を探すことも忘れないでください。
- 私はこの例のデータをシミュレートしました、そしてあなたがそれを自分でプレイしたいのなら、あなたはここにファイルにアクセスすることができます。間違いなく、モデル間の違いが目立つようなシナリオを作成しました。これは私の問題の説明を容易にしますが、それはあなたが本当のデータであなた自身の分析で主のパラドックスに遭遇する可能性が低いということではありません。
- 観測データは注意が必要です。言って覚えて、相関は因果関係を意味しない ？どちらのモデルがデータに適していると考えているかにかかわらず、競合他社の製品が顧客の満足度を非難するものであるかどうかはわかりません。
- 使用実験計画 （DOE）のツール JMP ここで概説した問題は観察研究でのみ遭遇します。あなたが制御された実験を行うならば、上記の両方のモデルは同じ推論に達するでしょう。あなたがランダムにあなたの顧客を異なるグループに割り当てることができる限り、あなたはいつも実験を行うことを好むべきです、そしてDOEプラットフォームはあなたがまさにそれをするのを助けることができます！
- 複製する、複製する、複製する。これらのデータを2人の異なるアナリストに渡し、1人が共分散の分析に適合し、もう1人が分析に適合したとしたらどうなるでしょうか。トン -テスト？この記事では、新しい分析で以前の調査結果が再現されない場合がある理由の1つを説明します。複製可能性の重要性を見逃すことはできません。この点は、データが観察的なものか実験的なものかにかかわらず、不可欠です。独立したサンプルで結果を検証できる場合は、それをしてください。そしてあなたがそうするとき、あなたの分析アプローチが元の研究のそれと一致することを確認してください。
私はこのトピックを読み続けるのに十分なほどあなたの興味を惹きつけましたか？もしそうなら、探します今後の投稿線形混合効果モデルをこれらのデータに当てはめます。
参考文献
主、FM（1967）。集団比較の解釈におけるパラドックス 心理速報、68、 304-305
van Breukelen、GJP（2013）。無作為化されていない研究におけるベースラインからのANCOVA対CHANGE差。多変量行動研究、48、 895-922
