先週を見逃した方は統計的に言えばロス アラモス国立研究所 (LANL) の元研究員で、広く出版され、受賞歴もあるクリスティーン アンダーソン クック氏と一緒に、設計されたデータ収集、ビッグ データ、およびそれらの相乗効果についての魅力的なツアーを見逃しました。 設計されたデータ収集により、ビッグデータを含むプロジェクトにさらに価値を加える可能性は非常に大きくなります。 実際、参加者はこのトピックについて詳しく知りたがっていたので、多くの興味深い質問すべてに答える時間がありませんでした。 そこで、Christine に質問を送ったところ、Christine はこの投稿のために時間を割いて回答してくれました。 彼女のトークを見て、彼女が答えた質問を聞くことができます。オンデマンド録画。
観察（およびトランザクション）データが重視されすぎていると思いますか。通常、データは情報がまばらであるのに対して、意思決定に役立つ可能性のあるデータを意図的に収集します。 これは主に、より多くの情報が豊富なデータを取得するための「コスト」によるものでしょうか?
多くの企業では初期の頃、「大量のデータがあればすべての問題を解決できる」という考えがあったと思います。そうなると、データを収集すること自体が解決策になると考えてしまうかもしれません。 しかし、ビッグデータが普及してからしばらく経ちますが、多くの企業はデータから必要な答えを得ることができず、失敗した経験をしているかもしれません。 したがって、残念なことに、現実が忍び寄るにつれて、低コストで便利なデータが、意図的に選択された高価なデータより必ずしも望ましいわけではないということを最も説得力のある教師の 1 つとして経験が得ることができるかもしれません。
QREI 論文のディスカッション部分[1] , ローラ・フリーマンは、意図せずにデータが収集されたときによく起こることについて、次のような素晴らしい言葉を残しています。 」 [2]多くの具体的かつ重要な質問に答えるためには、データを収集する前にデータを関心のある質問と照合することに代わるものはありません。
要するに、観測データやトランザクション データに依存すると、さまざまな結果が生じる可能性があるということです。 事前の検討なしに、または単に便利だからという理由でデータが収集された場合、データ収集チームの専門家がデータの使用目的について認識し、計画を立てていた場合よりも失望する可能性が高くなります。
何かを測定するコストがその利益を上回った例を知っていますか?
私は LANL でいくつかのプロジェクトに取り組んできましたが、通常、最初は必要なデータを収集する方法が不明だったため、データを取得するためのコストが非常に高額でした。 このような場合、必要なデータを取得するには、ある程度の研究開発が必要になる場合があります。 もちろん、データを収集できたとしても、そこから得られることについて失望することがあるかもしれません。 ただし、新しい機能が開発され、データ収集用のプラットフォームが確立されれば、その投資は将来別のアプリケーションで報われる可能性があります。 新しい種類のデータを取得するためにリソースを費やす必要があるこのような状況に陥りそうな場合は、現在のプロジェクトにとって考えられるメリットと、長期的にはリスクを十分に考慮することが重要です。失望したこと、そして同様の情報をより簡単にまたは安価に入手できる代替手段が存在するかどうか。
多くの新興企業は、実験者に次に何をすべきかを指示するための規範的なモデルを推進しています。 この実験アプローチと実験計画の設定についてコメントしていただけますか?
規範的なモデルは、さまざまな分野で頼りになるアプローチとして確実に登場しています。 何が関係するのかよくわからない人のために、より伝統的なモデルとこれらの特定のモデルの違いを明確にするのに役立つかもしれない 2 つの大まかな定義をここに示します。
- 予測モデル以前のデータを使用して推定されたモデルに基づいて、新しい入力の組み合わせに対する予測結果。
- 規範的なモデル新しいデータへの対応方法について具体的な実行可能な推奨事項を作成します。
予測ツールは理解を助けるように設計されており、規範的モデルはその理解を取り入れて計画されたアクションに自動化します。
規範的なモデルの背後にあるアルゴリズムの良さは、それを作成する人々の良さによって決まるということを覚えておくことが重要だと思います。 ハンナ・フライ[3]は、アルゴリズムによる自動化の長所と短所、および人間をループから外す取り組みについて見事に語っています。
意思決定を行うのに必要な量や速度（適応型デザインを考えてください。治療の割り当てを待っている新しい被験者が継続的かつ頻繁にやって来る場合）によって、人間の意思決定者が意思決定を行うのが現実的ではないような状況では、規範的なモデルを検討することが有利かもしれません。ついていく。 そうは言っても、実験計画を思慮深い人間が指導するタスクとして維持することには大きな利点があると思います。 人間は、アルゴリズムが設計された実験の設定に使用されたパラダイムから条件が変化すると、それに気づきます。 人間は、問題の知識や重要な側面を引き出すのが得意です。 彼らは、研究の優先順位を最もよく反映する方法で、複数の目的のバランスを適切にとった解決策を見つけるのが得意です。 したがって、私の推奨事項は、実験計画法がほとんどの実験の出発点であるべきですが、実験が何度も繰り返される場合、または速度や量が指示する場合は、最初の実験で得た経験を規範的なモデルに変換することができるということです。人間の負担を減らすために。
連続実験の場合、パイロットスタディ、探索、モデル構築などの複数の段階からデータを取得した場合、モデルはどのように構築され、推定されるのでしょうか? モデルを改良するために新しいデータを取得できない場合、どのような結果が生じますか?
逐次実験にはさまざまな利点がありますが、分析をどのように管理するかが最も複雑な問題の 1 つです。 データがランダム化されていない順序でグループに収集された場合、分析にはほぼ常にこの状況が反映されます。 分析を適応させる必要がある例外は、すべての入力の組み合わせに対して同じコードが実行され、実行順序に依存しないコンピューター実験の場合です。 場合によっては、段階ごとに個別のモデルと解釈を使用して、データを単一の分析に結合する必要がない場合があります。 たとえば、測定システム分析がパイロット段階で実行される場合、その分析と、探査とモデル構築に重点を置くように設計された後続のデータとの間に直接のつながりがない可能性があります。
一般に、実験のさまざまな段階 (パイロット、探索、モデル構築など) からの実行のグループをブロックとして扱うことで、段階間で状況が変化した可能性があることを認識する方法が提供されます。 探索的手法は、ブロックの影響を調査し、ブロック間の応答に大きな変化があるように見えるかどうかを確認するのに役立ちます。 核科学捜査の例では、大規模な実験の 3 つのフェーズがブロック効果を追加して分析されました。 この効果を調査した結果、時間の経過に伴う一部の特性の測定における差異を特定することができました。
モデルを改良するために新しいデータを取得できない場合、初期モデルの精度をさらに向上させることはできません。 多くの場合、モデル改良の目標は、モデルからの現在の推定または予測が弱い領域をターゲットにすることです。 追加の実行による強化は、この弱点を軽減し、全体的なパフォーマンスを向上させるのに役立ちます。 このモデルを改良するための予算がない場合、推定と予測は利用可能なデータによって決まります。 これは機会損失になる可能性があるため、可能な場合は常に、さまざまな段階にわたって効率的なリソースの割り当てを検討することをお勧めします。
現在、病院には電子医療記録から大量のデータが保存されていますが、それを収集および分析する人々の DOE のスキルは限られている可能性があります。 共有していただいた素晴らしいポイントを応用するにはどのような方法がありますか?
病院の記録には豊富な情報が含まれていますが、処理される記録の量の中に情報が隠れている可能性があります。 医療の性質と倫理的配慮を考慮すると、その観察の性質を変えることはおそらく非常に難しいでしょう。 その結果、収集されたデータの「入力」を制御できなくなる可能性があり、ビッグデータ段階では質問への回答に役立つ記録の戦略的なサンプリングに制限される可能性が高くなります。
どこにチャンスがあるかについて、いくつか考えてみます。
- 新しいタイプのデータがデータベースに追加される場合は、変動の原因を理解するために測定システム分析を実行する機会があるかもしれません。 たとえば、テストを管理する人々は変動の実質的な部分を占めていますか? どのマシンがテストに使用されるかは重要ですか、それともすべてのマシンが同様に調整されていますか? 収集されるデータの量がおそらく大きいことを考えると、変動の原因を理解するための小規模な研究は、結果をどのように解釈すべきかについて非常に有益である可能性があります。
- 測定にコストがかかる場合は、ビッグデータの前の段階で、より小規模なデータセットを使用して測定値間の相関関係を調べ、どのデータが主に結果に関連しているのか、またコストのかかる情報の冗長性があるかどうかを理解する機会があるかもしれません。
- さまざまなクエリに答えるための重要な点は、データを関連性の高いカテゴリと関連性の低いカテゴリに分割する簡単に実装できる方法があることを確認することです。 キーフィールドに基づいて部分母集団のレコードをサンプリングできるため、同様の対象とより正確に比較できるようになります。
- 日付または場所でデータをサンプリングすると、時間や機器を超えた結果の比較が可能になる場合があります。 そうすることで、患者の変化ではなく外部要因に起因する傾向を強調したり、誤った結論の数を減らしたりできる可能性があります。
- 最後に、ビッグデータに続く段階では、仮説を検証したり、効果がより広範な集団に波及するかどうかを確認するために、確認実験の形でいくつかの小規模な計画された実験を使用する機会が生じる可能性があります。
アダプティブ デザイン (A/B テスト) アプローチでは、最初に有利なスタートを切ったモデルに結果が偏ることはありませんか? A が 75% の確率で表示される場合、A のヒット数のベースライン期待値は B よりも高くなります。
適応設計の分野には、新しい観測にどのように対応するかを決定するアルゴリズムを実装するための多くのオプションがあります。 通常、実験者は、アルゴリズムが各治療を受ける新しい被験者の割合をどのくらいの速さで変更するかを選択できます。 進化が遅すぎると、より多くの被験者があまり望ましくない選択肢を受け取る可能性があるという機会費用が発生します。 展開が速すぎると、シーケンスの「不運な」（代表的ではない）開始により、あまりにも多くの被験者をあまり望ましくない選択肢に誘導することから始まる可能性があります。
多くの意思決定と同様、エラーには 2 種類あり、実験者は相対的なリスクと結果を比較検討する必要があります。 多くの実装では、慎重な選択をすることで機会損失を許容しながら、間違ったソリューションに急速に発展する可能性を最小限に抑えるために、探索と活用の間のバランスが選択されます。 通常、アルゴリズムは、観察された成功の絶対数ではなく、各オプションの成功の割合を処理するように設計されています。
データコンペティションのデータセットの例ですが、全体設計から3つのステージに分けるのは、どのステージをどのランにするかをJMP側で選択できるものなのでしょうか、それとも恣意的に決められたものなのでしょうか？
より大きなデータセットを作成し、それをトレーニング、公開テスト、プライベートテストのデータに分割するのではなく、さまざまなシナリオに合わせてさまざまな特性を持つ小さなデータセットを生成し、それらを組み合わせて最終的な競争データを生成するというボトムアップアプローチを採用しています。
ここでは、トレーニング、パブリック テスト、およびプライベート テストのデータ セットの構築についてさらに詳しく説明します。 候補点の密集したセットがシナリオごとに構築されました (発見される放射線源の 1 つが遮蔽されているか、遮蔽されていないかを考えてください)。 競争の最大の結果はプライベートテストデータセットの結果にあったため、不均一空間充填 (NUSF) 設計を使用してデータセットが最初に構築されました。 [4] 、ここで不均一性は、最も困難な領域 (ここでは、高速で移動する検出器が少量の放射性物質を探している) を強調するために選択されていますが、それでも空間全体にわたってある程度の範囲をカバーしています。 この設計が完成すると、縮小された候補セット (元の値から既に選択されたポイントを差し引いたもの) を使用して公開テスト データ セットが構築されました。 この場合、中程度の難易度に重点が置かれていましたが、ここでもスペース全体にある程度の範囲が含まれていました。 このプロセスは最後に繰り返され、さらに削減された候補セットを使用してトレーニング データが構築されました (パブリックおよびプライベートの両方のテスト データ セットから選択された点が元の候補セットから削除されました)。 これにより、放射線源と遮蔽の組み合わせごとに 3 つの設計データ セットを作成することができました。
次に、これらの設計がすべてのシナリオにわたって結合され、3 つの最終データ セット (全体的なトレーニング、全体的な公開テスト、全体的なプライベート テスト) にランダム化され、競合他社に提供されました。 データ競争データセットの構築についてどのように考えるかについて同僚と書いた論文がいくつかあります。 [5]または放射線検出問題に対してこれらの戦略をどのように実装したか[6] 。 現在、JMP には NUSF 設計を直接構築するための自動機能はありませんが、順次アプローチを使用して設計の均一性の程度を変更する自動機能を構築することは可能です。 [7]高速で柔軟なスペース充填設計を採用[8] JMPで。 あるいは、私の論文の補足資料に、これらの設計を構築するために利用できる R コードがあります。 [4] 。
アルゴリズムのトレーニング前の外れ値のキュレーションの処理について質問があります。 特にその状態空間に疎性がある場合、それらを除外することには危険があります。 適応測定に実験計画法を使用して、これらの外れ値を含めるか除外するかを区別する可能性はありますか? 異常値のキュレーションを決定するための他のアプローチはありますか?
外れ値と高レバレッジポイントを特定することは、結果とパターンの解釈に不釣り合いな影響を与えるため、注目に値します。 これらの概念をより正確に定義すると、外れ値は、応答が他のデータの傾向に従わない観測値です。 高てこ比ポイントとは、入力の組み合わせがデータセットの残りの部分と比較して極端である観測値です (入力空間の次元が高くなると、これを評価することが困難になる可能性があります)。
実験計画法は、これらのそれぞれに対してさまざまな方法で役立つ可能性があります。 外れ値の場合、極端な応答値が観察された領域で小規模な局所実験を行うと、これが異なる動作の領域なのか、それとも典型的な変動よりも大きい領域なのかを明らかにするのに役立つ可能性があります。 これらのそれぞれが確認されると、異なる反応が必要になります。 高てこ比ポイントの場合、高てこ比ポイントを入力空間の残りの部分に接続する領域で意図的に実験を行うと、入力と応答の間の関係を大きなギャップなく特徴付けるのに役立ちます。 2 つの入力位置領域からの遷移に関する情報を提供するのに役立ちます。 もちろん、これらの戦略は両方とも、実験者が持つ入力設定の制御の程度に依存します。
私は外れ値の削除に関してかなり古い派です。 包含または除外をガイドする主題に関する専門知識がない限り、私はこれらのデータポイントを削除することに非常に消極的です。 アンサンブル モデル (データ セット全体に基づいて外れ値が除去されたモデルを組み合わせる) は、変動性とモデルの不確実性の理解に対するこれらの観察の影響を校正する代替方法を提供できます。
この戦略的なテーマに関して、クリスティーンが時間を割いて知恵をさらに共有してくれたことに感謝します。 参加してくださった皆様、素晴らしい質問をしてくださった皆様、ありがとうございました！ 情報豊富なデータを収集するためのあらゆる努力を称賛します。 Christine の論文も強くお勧めします。良い質問をする理由とその方法。
参考文献:
[1] アンダーソンクック、CM、 Lu, L. (2023) 「設計されたデータ収集はビッグデータ時代にも関連していますか?」 品質と信頼性エンジニアリング・インターナショナル39(4) 1085-1101。
[2] Freeman, L. (2023) 「レビュー: 設計データの収集はビッグデータ時代にも依然として関連していますか?」 機械学習の拡張機能を搭載」品質と信頼性エンジニアリング・インターナショナル39(4) 1102-1106。
[3] フライ、H. (2018) Hello World: アルゴリズム時代の人間であること、WW ノートン＆カンパニー。
[4] ルー、L.、 アンダーソンクック、CM、 アーメッド・T. (2021) 「不均一な空間充填デザイン」品質技術ジャーナル53(3) 309-330。
[5] アンダーソンクック、CM、 ルー、L.、 マイヤーズ、K. クインラン、K. Pawley, N. (2019) 「有益なデータセットの戦略的生成によるデータ競争からの学習の改善」品質工学31(4) 564-580。
[6] アンダーソンクック、CM、 マイヤーズ、K. ルー、L.、 フゲート、ML、 クインラン、K. Pawley, N. (2019) 「データ競争: 戦略的設計と競争後の分析からさらに多くを得る」統計分析とデータマイニング12 271-289。
[7] ルー、L.、 アンダーソン クック、CM (2022) 「知っていることを活用する: 多用途の空間充填デザイン」品質工学https://doi.org/10.1080/08982112.2022.2161394
[8] レキベッツ、R.、B. ジョーンズ。 2015年。 「非長方形領域に対する高速かつ柔軟な空間充填設計」品質と信頼性エンジニアリング・インターナショナル31 (5):829–37。土井: 10.1002/qre.1640。
