先月、パス図で潜在変数を使用する方法と、自由度が機能する構造方程式モデルに向けてどのように役立つかを調査しました。 しかし、構造方程式モデルが機能するだけでなく、優れたモデルであるとどのように判断できますか？
パス図を作成するとき、どの変数が相互に影響を与えるかを決定するのは私たちの責任であり、これは簡単な作業ではありません。 ドメイン知識を使用してパス図を作成すると、機能するモデルが得られる可能性があります。 しかし、それは必ずしも私たちが作成したモデルが良いモデルであることを意味するわけではありません。 幸い、モデルがどれだけ優れているかを定量的に判断するために使用できるメトリックがいくつかあります。 これらはで報告されますJMPプロ各モデルのSEMプラットフォーム。
適合品質メトリクス
SEMでは、モデルの適合度を判断するためにいくつかのメトリックが使用されます。 使用したすべてのテストについては詳しく説明しません。したがって、より詳細な概要が必要な場合は、JMPをお勧めします。ヘルプガイド。
代わりに、私が使用しているいくつかの適合指数を調べて、「最良の」モデルを決定するときに最も役立つことがわかったと思います。 これらの最初のものはAICcです。 AICc値が低いほど、モデルが適切であることを意味します。 モデルのサイズを考慮に入れているが、あまり強調していないため、このメトリックを好みます。 私の経験では、BICは小さいモデルに焦点を合わせすぎているため、これらを過度に支持しています。 AICcを使用するもう1つの利点は、JMP Proが加重AICcを提供することです。これは、調査中のモデルが他のモデルと比較して正しいモデルである確率を示します。
私は通常AICcを使用しますが、他の測定値との適合度の1つの測定結果をバックアップすることは常に重要です。 したがって、ChiSquare、CFI、RMSEAなどのメトリックを確認することが重要です。 通常、可能な限り最小のChiSquare値とRMSEA、および可能な限り高いCFIが必要です。 これらのメトリックが一致しない可能性は低いですが、一致しない場合は、モデルをより詳細に調査する価値があります。
モデル比較
JMP ProのSEMプラットフォームには、モデル比較用のセクションが含まれています。これにより、同じ変数のさまざまなSEM図を比較できます。 SEMを使用する場合は比較が重要であり、このセクションで提供されるすべてのメトリックは、主に比較のために使用する必要があります。 これは、「このモデルが最適である」と言う明確な方法がないためです。代わりに、さまざまな統計的検定を使用して、モデルが実際のデータにどの程度適合しているかを判断します。 したがって、これらの統計を使用してモデルを検証する場合は注意が必要です。統計によれば、このモデルは1つのモデルを見るだけで適切であると言えますが、他のモデルと比較すると、最初のモデルが非常に正しくない可能性があります。 このアイデアを示す最良の方法は、例を使用することです。
陸上競技の例
わかりやすい例を提供するために、このシリーズのエンジニアリングテーマから離れて、時間に関するデータセットを使用して、さまざまな距離のランニングレースを完了することにしました。 うまくいけば、これはドメイン知識が非常に重要である理由のデモンストレーションとしても役立つでしょう！
この分析を実行する前に、SEMが収束することを保証するために、すべての変数が標準化されました。
私が作成した最初のモデルでは、「全力疾走能力」と「持久力」の2つの潜在変数を使用しました。各レースを完了するのにかかる時間は、これらの能力の指標です。
上記のモデル比較からわかるように、JMP Proは、私のモデルと比較された、制限のない独立したモデルに自動的に適合します。 私のモデルのAICcの重みは1です。これは、3つのモデルのうち、私のモデルが正しいモデルである可能性が100％あることを意味します。 それで、仕事は終わりましたよね？ 正しい可能性は100％とかなり良いように聞こえますが、その重要な部分は、他の2つのモデルと比較した場合にのみ正しいということです。
これは私たちのドメイン知識が重要であるところです。 スプリントする能力と長距離を走る能力は独立している可能性がありますか？ もちろん違います。 実際、あらゆる種類の人種のトレーニングは、全体的に誰かのフィットネスレベルを向上させる可能性が高いため、潜在変数の両方が何らかの形で関連している可能性があります。 これを念頭に置いて、この接続を考慮したモデルを作成しましょう。
新しいモデルは、予想どおり、2つの潜在変数間に有意な相関関係があることを示しています。 AICcの重みを見ると、4つのモデルのうち、新しいモデルが100％真のモデルである可能性が高いことがわかります。 明らかに、これはいくつかの結論につながります。
- まず、前述のように、これらの統計を使用して、モデルが正しいと言うことはできません。おそらく他のモデルと比較して正しい。
- 第二に、モデルがどれだけ優れているかを判断するために1つの統計的検定だけを使用することはできません。
- 最後に、メトリックがモデルが優れていることを示しているからといって、モデルが正しいことを意味するわけではありません。モデルが実用的に意味があるかどうかを判断するには、ドメイン知識が必要です。
この例では、いくつかの異なる仮定を使用してモデルを変更し、さまざまなモデルをテストしました。 さらに詳しく調べたい場合は例をアップロードしましたが、モデル比較の最終結果を以下に示します。
この投稿が、モデルがデータにどの程度適合しているかを判断する方法についての洞察を提供してくれることを願っています。 自分のモデルの品質を判断するために、これらの適合指数をどのように適用したかを聞くのを楽しみにしています。 また来月！
ありがとう、 @jordanwalters 。 SEMは簡単ではないと言っても過言ではありませんか？ しかし、これはJMPProが実際にどのように役立つかを示しています。 StatsMScのSEMモジュールを実行しているときにこれがあればいいのにと思います。 それは私に多くの時間と欲求不満を節約したでしょう！
