您可能聽說過研究中的複制危機，尤其是在心理學領域。 研究的試金石之一是結果應該是可複制的，即另一位研究人員在相同條件下使用相同方法工作應該能夠產生類似的結果。 越來越多的科學家開始擔心許多已發表的研究不可複制，要么是因為數據不可用，要么是因為研究結果基於小樣本，無法推廣到更大的人群。 一些研究的複雜性意味著數據分析中的編碼錯誤可能會導致誤導性結果，而這些問題可能幾乎不可能被發現。 也有很多人關心p -黑客攻擊——研究人員測試數十個假設並僅報告重要的假設。
這應該讓我們這些從事營銷科學和市場研究的人停下來。 上述許多批評都適用於我們的常規方法。 我們經常梳理客戶調查，尋找模式，忽略那些看起來不合適的模式。 我們向管理層提交的報告強調了重要的發現，但省略了我們如何實現這一目標的細節，包括數據轉換、排除的主題和研究方法。 大多數市場研究項目的時間都很短，這意味著需要快速得出結果，而快速工作則更容易犯錯誤。
別介意我們最想衡量的是概念。 客戶滿意度、推薦可能性、產品吸引力——這些都是對我們業務有價值的想法。 它們本質上也很吵鬧並且具有誤導性。 潛在客戶可能喜歡新車的外觀，但這並不意味著他或她會購買它。 當競爭對手明天以更低的價格提供類似產品時，對今天提供的產品感到滿意的客戶可能會感到憤怒。 推薦的可能性對於律師和水管工等專業服務可能有意義，但這對當地的咖啡店意味著什麼嗎？
所有這些都不能成為我們不認真做好工作的藉口。 事實上，我認為市場研究的特殊問題使得我們遵循良好科學的規則變得更加重要，其中一些規則我在一篇文章中提到過。較早的帖子。
我們（分析）工具的錯誤
傳統上，統計分析工具基於某種腳本語言（R、 SAS 、SPSS），或用戶的點擊操作（聯合管理計劃，Excel）。 為了重現分析步驟，您必須依靠研究人員來記錄和整理代碼（這不是一件容易的任務），或者您必須以某種方式記錄鼠標點擊。 在這兩種情況下，研究人員都需要將所有內容寫下來，這既耗時又容易出錯。 對研究過程更好的記錄的需要激發了科學家們建立幫助組合數據、代碼和文檔的工具這樣其他科學家就可以重現他們的發現。
JMP 腳本語言作為分析文檔
我最喜歡的之一聯合管理計劃功能是“將腳本保存到數據表”選項，位於任何平台的紅色小三角菜單下。 JMP 最初是為科學家和工程師開發的。 早期，很明顯，即使該產品是點擊式的，我們的目標用戶也需要通過按下按鈕來重新創建這些鼠標點擊，因此 JMP 腳本語言誕生了。
將腳本保存到數據表意味著擁有數據的任何人都可以重新創建分析。 他們還可以進一步探索、更改設置、排除或取消排除行，或嘗試不同的轉換。 然後，他們的工作也可以保存到數據表中，並與其他同事重新共享。 是的，您可以使用其他軟件平台執行此操作，但 JMP 的工具是我見過的最簡單、最直觀的工具。
行隱藏和排除、公式列：自我記錄數據更改
並非每個人都會仔細回答您的問題，即使是機器測量有時也會不准確或具有誤導性。 從分析中排除行有充分的理由，但也有很多理由確保所有這些排除的行都被記錄下來，並且當您想要重新檢查工作時可以隨時使用。
在 JMP 中，您可以從分析中排除行，這樣它們就不會影響計算的統計數據，但仍顯示在圖表中。 你可以隱藏和排除如果你根本不想看到他們。數據表顯示有多少行隱藏和排除，因此您始終可以意識到您沒有使用所有數據。 還有數據過濾器，它可以讓您以交互方式查看子組。
轉換數據是回歸分析的常用方法。 使用 JMP 數據表公式編輯器，您可以創建新的轉換列，並始終準確記錄您的操作方式。
反應篩選：檢查關係無意外p -黑客攻擊
一次測試一個假設是很容易的，卻沒有意識到你正在測試多少個假設或跟踪你的“真實”錯誤。 這也很耗時。 無需進行單獨分析即可測試數據中的所有關係，這不是很好嗎？和確保您看到的不僅僅是數據中的噪音？ 你可以——用反應篩選平台。
響應篩選平台可讓您指定要測試的所有配對關係。 對於每一對，它都會檢測您擁有的數據類型（正態、有序和連續），並為該對執行正確類型的測試。 結果報告考慮到有多少測試您要求並為您提供了哪些關係具有統計顯著性的現實視圖。
這不是一個完美的技術，因為它只測試成對關係。 報告上的每個點都代表一個測試，該測試是在不考慮與其他列的關係的情況下完成的。 然而，它快速且易於使用，並且比僅僅通過所有可能的比較並試圖跟踪您檢查過的數量要好得多。
有時答案是不確定的，你需要再試一次
我最喜歡的關於市場研究的故事之一是我將在我們的網站上展示的一個例子兩週後 JMP Explorer 在倫敦舉辦的活動。 這是我設計的 MaxDiff 實驗，旨在了解本地數據科學小組的哪些活動最受歡迎。 結果是——平淡無奇。 然而，這一無趣的結果讓我和我的團隊對如何規劃活動和接觸客戶有了不同的思考。
如果您的市場研究團隊對展示每項分析的結果感到有壓力，他們會找到要展示的結果。 這是可重複性危機的另一個方面，我們很少談論。 如果我們允許我們的研究團隊報告負面結果，則負面結果可以提供與正面結果一樣多的洞察力，但如果他們感到有壓力報告他們運行的每個項目的新內容，那麼您將永遠找不到那些隱藏的信息瑰寶。
報告不是最終產品
正如我在一篇文章中所說之前的博客文章，沒有數據且沒有重現分析步驟的靜態報告是一個錯失的機會。 如果您提供能夠輕鬆直觀地重現這些結果的基礎設施，過去的分析可能會成為您的市場研究團隊的寶庫。 JMP 是一款內置支持將報告、代碼和數據保存在一個位置的軟件系統。 免費試用！
是的——危機正在發生。 洛沃斯是一種“驚喜指標”，貝葉斯因素和其他技術工具是相關的，但是跟踪工作和記錄研究設計的能力確實是關鍵。
另一個方面是如何實際呈現研究結果。如需了解 InfoQ 泛化維度的實現以呈現可重複性聲明，請參閱https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3035070
那篇博文是親愛的，切爾西！ 我與我們當地的數學用戶組#rtpanalysts 分享了它！
多麼棒的文章啊，而且也是防止不誠實分析和“p-hacking”的好方法。 我們常常不去追踪我們的“真正的錯誤”
我喜歡向同事發送 JMP 表，其中保存了我運行的所有分析腳本。
我今年早些時候寫了一篇關於 p-hacking 的非常愚蠢的文章，你可能會喜歡:)
https://medium.com/@chelseaparlett/everyone-p-hacks-a-lightheart-guide-for-new-academics-55f68c9f78cb
