研究、特に心理学の分野における複製危機について聞いたことがあるかもしれません。 研究のリトマス試験紙の 1 つは、結果が再現可能である必要があることです。つまり、同じ条件下で同じ方法を使用して研究を行った別の研究者が同様の結果を生み出すことができる必要があります。 科学者たちはますます次のことを懸念するようになっています。出版された研究の多くは再現不可能ですこれは、データが利用できないか、調査結果がより大きな母集団に一般化できない小さなサンプルに基づいているためです。 一部の研究は複雑な性質を持っているため、データ分析におけるコーディング エラーが原因となる可能性があります。誤解を招く結果、そしてそれらの問題を見つけるのはほぼ不可能かもしれません。 などの懸念も多いp -ハッキング — 研究者がいる場所数十の仮説をテストし、重要なものだけを報告する。
これは、マーケティング サイエンスや市場調査に携わる私たちにとって、立ち止まるきっかけとなるはずです。 上記の批判の多くは、私たちの日常的な方法に当てはまります。 私たちは、顧客アンケートを徹底的に調べてパターンを探し、適合しないと思われるパターンは無視することがよくあります。 経営陣への報告書では重要な発見が強調されており、データ変換、除外対象、調査方法など、そこに至るまでの詳細は省略されています。 ほとんどの市場調査プロジェクトはタイムラインが短いため、結果を迅速に反映する必要があり、迅速に作業すると間違いが発生しやすくなります。
私たちが最も測定したいのは概念であることは気にしないでください。 顧客の幸福度、推奨される可能性、製品の魅力、これらはすべて当社のビジネスにとって価値のあるアイデアです。 また、それらは本質的に騒々しく、誤解を招くことでも知られています。 潜在的な顧客は新車の外観を気に入っているかもしれませんが、だからといってそれを購入するわけではありません。 今日提供される製品に満足している顧客でも、明日競合他社が同様の製品を低価格で提供すると激怒する可能性があります。 弁護士や配管工などの専門サービスにとって、推奨される可能性は意味があるかもしれませんが、地元のコーヒーショップにとっては意味があるのでしょうか?
だからといって、私たちが慎重に仕事をする理由にはなりません。 実際、市場調査の特定の問題により、優れた科学のルールに従うことがますます重要になっているというのが私の意見です。そのルールの一部については、次の記事で触れました。以前の投稿。
私たちの（分析）ツールの欠陥
従来、統計分析ツールは、ある種のスクリプト言語 (R、 SAS 、SPSS)、またはユーザーからのポイント アンド クリック アクション ( JMP 、エクセル）。 分析の手順を再現するには、研究者にコードの文書化と照合を依頼するか (簡単な作業ではありません)、マウスのクリックを何らかの方法で文書化する必要があります。 どちらの場合も、すべてを書き留めるのは研究者次第ですが、時間がかかり、間違いが発生しやすくなります。 研究プロセスをより適切に文書化する必要性から、科学者たちは次のような取り組みを始めました。データ、コード、ドキュメントの結合に役立つツール他の科学者が自分たちの発見を再現できるようにします。
分析用のドキュメントとしての JMP スクリプト言語
私のお気に入りの 1 つJMP特徴は、どのプラットフォームの赤い三角メニューの下にある「スクリプトをデータ テーブルに保存」オプションです。 JMP はもともと科学者やエンジニア向けに開発されました。 初期の段階で、製品がポイント アンド クリックを目的としていたとしても、対象ユーザーはボタンを押すだけでマウス クリックを再現する必要があることが明らかになり、そこで JMP スクリプト言語が誕生しました。
スクリプトをデータ テーブルに保存すると、データを持っている人は誰でも分析を再作成できるようになります。 また、設定を変更したり、行を除外または除外解除したり、さまざまな変換を試したりして、さらに探索することもできます。 その後、作業内容をデータ テーブルに保存し、他の同僚と再共有することもできます。 はい、他のソフトウェア プラットフォームでもこれを行うことができますが、JMP のツールは私がこれまで見た中で最も簡単で直感的なツールの 1 つです。
行の非表示と除外、数式列: データ変更の自己文書化
誰もがあなたの質問に注意深く答えるわけではなく、機械による測定であっても不正確であったり、誤解を招く場合があります。 分析から行を除外する正当な理由はありますが、除外された行をすべて文書化し、作業を再確認するときにすぐに利用できるようにする理由もたくさんあります。
JMP では、分析から行を除外して、計算された統計に影響を与えずにグラフに表示することができます。 あなたはできる非表示と除外まったく見たくない場合は。データテーブルには行数が表示されます。隠蔽され除外される, そのため、すべてのデータを使用しているわけではないことを常に認識できます。 もあります。データフィルターを使用すると、サブグループを対話的に確認できます。
データの変換は回帰分析の一般的な方法です。 JMP データテーブルの使用数式エディタを使用すると、新しい変換列を作成でき、その実行方法を常に正確に記録できます。
反応スクリーニング: 偶然の関係がないことを確認するp -ハッキング
仮説を一度に 1 つずつテストすることは、どれだけの仮説をテストしているのかを認識したり、「本当の」エラーを追跡したりすることなく、非常に簡単です。 時間もかかります。 個別の分析を行わずに、データ内のすべての関係をテストできたら素晴らしいと思いませんか?そしてデータにノイズが含まれているだけではないことを確認していますか? できるのは、反応スクリーニングプラットフォーム。
応答スクリーニング プラットフォームを使用すると、テストするすべてのペア関係を指定できます。 ペアごとに、データの種類 (正規、順序、連続) が検出され、そのペアに対して適切なタイプのテストが実行されます。 結果として得られるレポートテストの数を考慮しますあなたが要求したものは、どの関係が統計的に有意であるかについての現実的なビューを提供します。
これはペアごとの関係のみをテストするため、完璧な手法ではありません。 レポート上の各ポイントは、他の列との関係を考慮せずに実行されたテストを表します。 ただし、高速で使いやすく、考えられるすべての比較をハッキングして、チェックした数を追跡するよりもはるかに優れています。
場合によっては答えが不確かで、やり直しが必要になる場合があります
市場調査に関する私のお気に入りのストーリーの 1 つは、私たちのイベントで紹介する予定の例です。今から 2 週間後にロンドンで開催される JMP Explorer のイベント。 これは、地元のデータ サイエンス グループのどのイベントが最も人気があるかを確認するために私が設計した MaxDiff 実験です。 結果は――目立ったものではなかった。 しかし、その 1 つの面白くない結果により、私と私のチームは、イベントを計画し、顧客にアプローチする方法について異なる考え方をするようになりました。
市場調査チームがあらゆる分析の結果を提示するようプレッシャーを感じている場合は、彼らは見せるべき結果を見つけるだろう。 これは、私たちがあまり語らない、再現性の危機のもう一つの側面です。 研究チームに報告の許可を与えていれば、否定的な結果でも肯定的な結果と同じくらい多くの洞察を得ることができますが、実行するすべてのプロジェクトから何か新しいことを報告しなければならないというプレッシャーを研究チームが感じていては、隠れた宝石のような情報を見つけることはできません。
レポートは最終製品ではありません
で言ったように、以前のブログ投稿、データがなく、分析を再現する手順のない静的レポートは機会を逃します。 過去の分析は、その結果を簡単かつ直観的に再現できるインフラストラクチャを提供すれば、市場調査チームにとって宝の山になります。 JMP は、レポート、コード、データをすべて 1 か所に保管するためのサポートが組み込まれたソフトウェア システムです。 無料でお試しください！
はい、危機が起こっています。 ログワースは一種の「サプライズ指標」であり、ベイズ係数やその他の技術ツールも関連しますが、作業を追跡し、研究計画を文書化する能力が実際に重要です。
もう 1 つの側面は、調査結果を実際にどのように提示するかということです。再現性を主張するための InfoQ 一般化ディメンションの実装については、 を参照してください。 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3035070
そのブログ投稿は愛しい人よ、チェルシー！ 私はそれを地元の数学ユーザー グループ #rtpanalysts と共有しました。
素晴らしい記事ですが、不正な分析や「p-ハッキング」を防ぐ良い方法でもあります。 私たちは「本当の間違い」を追跡していないことがよくあります。
私は、実行したすべての分析スクリプトがテーブルに保存された JMP テーブルを同僚に送信するのが大好きです。
今年の初めに p-hacking について非常にばかげた記事を書きましたが、楽しんでいただけると思います 
https://medium.com/@chelseaparlett/everyone-p-hacks-a-lightheart-guide-for-new-academics-55f68c9f78cb
