著者
William D. Kappele、Objective Experiments 社社長
Julie Kidd、材料エンジニア、US Synthetic
Heather Schaefer 氏、材料エンジニア、米国合成樹脂
導入
普段の仕事の中で、興味深い問題に遭遇することがあります。 それが私たちに起こったのです。 合成ダイヤモンドを配合するために計画された実験を使用している間、応答を測定できなかった試験がいくつかありました。それらは測定システムの検出限界を下回っていました。
測定ができるようになるまで係数設定を変更することもできましたが、必要がない場合はその費用を追加したくありませんでした。
最初は、測定できないものすべてに単純に「ゼロ」を割り当てました。 しかし、私たちはこれについて少し緊張していました – 結局のところ、私たちはJMPに嘘をついていました– 私たちがやりたくないことです！
正直さを求める気持ちから私たちの冒険は始まりました。
https://www.youtube.com/watch?v=Zf0REURPFU0
冒険
回答のうち 2 件は、測定システムの検出限界を下回っていました。 これらの反応について私たちが知っていたのは、それらが検出限界とゼロの間のどこかにあるということだけでした。 ある範囲内にあることだけがわかっているデータは「打ち切りデータ」と呼ばれます。私たちは信頼性分析で打ち切りデータを扱うことについては知っていましたが、計画された実験でそれを扱う方法は知りませんでした。
私たちはビルに何をすべきか知っているかどうか尋ねました。 彼は最尤推定を使用することを提案しましたが、JMP でこれを行う方法がわかりませんでした。 彼はブラッド ジョーンズ (JMP) に連絡し、ブラッドは彼をパラメトリック サバイバル プラットフォームに誘導しました。 これは私たちが必要なことを正確に実行するように設計されていませんでしたが、答えを得るために使用できました。
私たちは、さまざまな分析をどのように比較するか、JMP を使用して分析を実行する方法など、学んだことを共有したかったのですが、私たちのプロジェクトは独自のものでした。 ヘザーが素晴らしいアイデアを思いつくまで、私たちの学習は秘密にしなければならないように思えました。それは、私たちの仕事を、あたかもチョコレートチップクッキーを焼いているかのように偽装するというものです。 その後、彼女とジュリーは、秘密を明らかにしない、私たちの研究に忠実な「クッキー」データ セットの作成に成功しました。
すべての例えと同様に、クッキーの例えは少し不自然に見えるでしょう。 ただし、我慢していただければ、私たちが実際に直面している問題がわかり、同じ種類の問題が仕事で発生した場合の対処方法を学ぶことができるでしょう。
簡単な例え: クッキーを焼く
実際にチョコチップクッキーを焼いていると仮定してみましょう。 私たちの目標は、レシピを使用して可能な限り最も薄いクッキーを製造することです。 （少し不自然に見えるかも知れないと言いましたね！ 実際には厚いクッキーを試していたでしょう。）使用したレシピは、図 1 の古典的なネスレ トール ハウス クッキーのレシピです。
|
図 1 – トールハウス クッキーの公式レシピ、ネスレ提供。 |
材料を論理的な方法でグループ化し、実験用の 5 つの要素を作成しました。 要因を図 2 に示します。
チップス 乾燥（小麦粉、重曹、塩） クリーム状（バター、砂糖、ブラウンシュガー、バニラ） 温度 時間 |
図 2 – 要因。 |
実験計画の作成に使用した要素とレベルは次のとおりです。
要素 | タイプ | 低レベル | 上級 |
|---|
チップス | 混合 | 0 | 0.5 |
クリーム状 | 混合 | 0 | 0.5 |
ドライ | 混合 | 0 | 0.8 |
温度 | 継続的 | 375 | 450 |
時間 | 継続的 | 5 | 12 |
いくつかの制約もありました。 これらの制約を適用した実験計画の一部 (図 3 を参照) を図 4 に示します。
|
図 3 – 制約のあるデザインの作成 |
|
図 4 – 実験計画の一部。 |
それからクッキーを焼きました…。
JMP を使用したデータ分析
クッキーを焼いた後、厚さを測定する必要がありました。 知らないでしょうね！ 私たちにはあまり優れた統治者がいませんでした。 1mm以下のものは本当に測れませんでした。 薄いクッキーであることは確かにわかりましたが、どれくらい薄いのかを正確に知ることはできませんでした。 検出限界は 1 mm でした。
最初は、測定できなかったクッキー、つまり検出限界を下回るクッキーの厚さに単に「ゼロ」を入力しました。 覚えておいてください、私たちは Cookie があることを知っていたので、「ゼロ」が正しいはずはありませんでしたが、試してみることにしました。
これらのデータは分析が簡単でした。 「標準最小二乗」特性で「モデルのフィット」コマンドを使用しただけです。
検閲されたデータをどのように分析したかを理解するには、少し背景が必要です。
最尤推定
最小二乗法はデータをモデルに適合させるための優れた手法ですが、打ち切りデータで使用するのは簡単ではありません。 もう 1 つの手法である最尤推定は、打ち切りデータで使用する方がはるかに簡単です。 JMP は、「モデルの適合」コマンドでさまざまな時点で最尤推定を使用します (たとえば、「一般化線形モデル」オプションを選択した場合)。ただし、パラメトリック サバイバル プラットフォームでは打ち切りデータに対するオプションのみが提供されます。
私たちは JMP を「説得」して、私たちが望んでいることを実行させる必要がありました。
パラメトリックサバイバルプラットフォーム
JMP の「パラメトリック サバイバル」プラットフォームは、最尤推定を使用し、打ち切りデータを分析する機能を提供します。 これは、Cookie の高さではなく、「Time to Failure」応答で動作するように設計されていますが、それを回避するのは簡単であることが判明しました。 JMP が「イベントまでの時間」を要求する場合、図 5 にあるように「Cookie の高さ」を選択するだけです。
ディストリビューションの選択
パラメトリック サバイバル プラットフォームでは、ディストリビューションを選択する必要があります。 正規分布が第一の選択肢でしたが、それは利用できませんでした。 logNormal 分布を選択したのは、正規分布を偽装する優れた機能があるためです。 また、高さがゼロに近かったため、正規分布は、負の高さの予測を可能にするノイズをモデル化した可能性があります (一度もないクッキーに入れてほしい！）。 logNormal 分布はこの煩わしさを回避します。
「センサー」列の追加
表に検閲列を追加すると、どの実行に検閲されたデータ (検出限界を下回るデータ) が含まれているかを JMP に伝えることができます。 これらは他の測定とは異なる方法で処理されます。 (それらをゼロであるかのように扱うのではなく、より洗練された方法で処理します。)
レシピの最適化: 中央値と平均値
パラメトリック サバイバル プラットフォームのオプティマイザーは、「失敗確率」を要素として扱います。 これは分析には不要ですが、どの程度に設定すればよいでしょうか?
通常、応答曲面法では平均値を予測します。 対数正規分布が正規分布に近似すると予想されるため、中央値は平均値にかなり近くなるはずです。 「失敗確率」を 0.5 に設定すると、必要なものが得られるはずです。 図6
|
図 5 – パラメトリック サバイバル プラットフォーム |
「失敗確率」を中央値で「ロック」する方法を示します。
また、応答には常に「時間」というラベルが付けられることにも注意してください。もちろん、それが実際には「クッキー・ハイト」であることはご存知でしょう。
「満足度関数」を追加し、通常どおり満足度を設定できます。 いつものように「満足度の最大化」を使用して「スイートスポット」も見つけます。
等高線図を作成したい場合は、予測式を保存し、「グラフ」の「等高線プロファイラー」を使用する必要があります。
|
図 6 – 分位点プロファイラー |
結果
それで、私たちは何を見つけたのでしょうか？
まず、実際のクッキーの厚さを知るために、非常に優れた定規を掘り出しました (これはかなり難しく、時間がかかりました)。 その後、実際と予測のプロットを作成することができました (図 7 を参照)。 ノイズが入っていないので、これではすべてがわかりません。 そこで、実際と残差のプロットも作成しました (図 8 を参照)。 これら 2 つを見ると、結果が似ていることがわかります。 残差は、バイアスが異なる同様のサイズでした。
次に、両方のモデルのスイート スポットを予測しました。 どちらのモデルも基本的に同じスイート スポットを予測しましたが、予測されたベーキング時間はわずかに異なっていました (図 9 と 10 を参照)。 各スイート スポットに対して 50 枚のクッキーを焼き、結果を比較しました (図 11 を参照)。
|
図 7 – 実際の曲線と予測された曲線 |
|
図 8 – 実績対残差の曲線 |
|
図 9 – 打ち切りデータ分析のスイートスポット |
|
図 10 – ゼロ化データ分析のスイート スポット |
2 つのスイート スポットからは同じ厚さのクッキーが得られました。 両方のモデルで基本的に同じスイート スポットが見つかったので、スイート スポットを見つけるために分析手法は重要ではありませんでした。
図 9、10、11 を詳しく見てください。 同じスイート スポットを予測しましたが、打ち切りモデルの実際の予測の方が正確でした。 打ち切りモデル予測の信頼限界さえも現実に近づきました。 したがって、正確な予測が必要な場合は、打ち切りモデルの方が優れています。
|
図 11 – スイートスポットの比較 |
実は2つの問題がありました
- 検閲されたデータがありました。
- 負の Cookie Height を予測しない分布でノイズをモデル化する必要がありました。
ゼロ化されたデータを含むモデルでは、これらの問題のいずれにも対処できませんでした。 打ち切りデータを説明するモデルでは、これらの問題の両方が考慮されています。 当然の疑問は、「これらの問題のうち 1 つだけに対処しただけで、打ち切りモデルと同じくらい良い結果が得られるでしょうか?」というものです。
問題 1 をテストする簡単な方法はありません (JMP には正規分布で打ち切られたデータを調べる方法がありません) が、問題 2 を調べることはできます。 一般化線形モデル プラットフォームは混合物には使用できないため、簡単に使用することはできません。 ただし、データの対数変換を行って、標準最小二乗法を使用して分析することができます。 これには、データが logNormally 分散されているかのように処理される効果があります。
このアプローチの問題の 1 つは、データをゼロにすることが機能しないことです。 代わりに、ゼロを打ち切り範囲の平均 (0.5) に置き換えました。 もちろん私たちもそうでしたまだ横たわっているJMPへ！ このデータも分析しましたそれなし比較のためのログ変換。
この分析の結果を図 12 と 13 に示します。 スイート スポットは、ゼロを使用した正規分布データに適合する標準最小二乗法と同じであることに注意してください。 ただし、対数変換の 95% 信頼限界が 0.53 および 0.76 の予測 0.63 と、打ち切り範囲の平均の 95% 信頼限界 0.42 と 0.93 の 0.68 は、ゼロ化されたデータ分析の予測よりもはるかに優れています。 4 つのモデルすべての比較を図 14 に示します。
|
図 12 – 対数変換分析のスイート スポット |
|
図 13 – 範囲分析の平均のスイート スポット |
|
図 14 – 3 つのモデルすべての実際対残差のプロット |
打ち切りデータ モデルと対数変換モデルの両方がかなりうまく予測したことがわかります。打ち切りモデルは少し高く予測し、対数変換モデルは少し低く予測しました。 logNormal 分布を使用する必要はなかったようです。
まとめ
- 検出限界を下回る応答に「ゼロ」を割り当てると、予測は不十分ですが、実行可能なスイート スポットが得られました。
- 予測された検出限界を下回る応答に打ち切り範囲の平均を割り当てるまあ、そして実行可能なスイートスポットを生み出しました。これは一般的にうまくいく可能性は低いですが、今回は幸運だったようです。
- (2) のデータセットの対数変換では、(2) と同様の結果が得られましたが、同様の注意点がありました。
- JMP のパラメトリック サバイバル プラットフォームと打ち切りデータおよび対数正規分布を使用してノイズをモデル化する予測されたまあ、そして実行可能なスイートスポットを生み出しました中央値について。 一般的にはこれが最もうまく機能すると考えられます。
結論
私たちの作業では、次の 2 つの問題に遭遇しました。
- 検閲されたデータ
- 負の値 (少なくともローエンドでは) を回避する方法でノイズをモデル化する必要がありました。
私たちのデータを使用すると、次の 2 つの方法でこれらの問題を解決できました。
- パラメトリック サバイバル プラットフォームを使用して、打ち切りデータと対数正規分布で分析します。
- 標準最小二乗法を使用して、打ち切り値を範囲の平均に置き換えたデータの対数変換を分析します。
結局のところ、ここでは正規分布がうまく機能し、負の Cookie の高さは予測されませんでした。
これらの方法はどちらも、単に検出限界以下のデータをゼロにするよりも正確に予測します。 どちらの方法でも、本質的に同じスイート スポットが見つかりました。
それで、私たちは何をしましたか本当に学ぶ？
- 不明な値にゼロを割り当てるだけでも十分に機能しました。 これはおそらく幸運によるものでした。 これがすべてのデータセットで機能するとは限りません。
- 打ち切り範囲の平均値を割り当てる方がうまくいきましたが、これも単に幸運だったと考えられます。 一般的に、これが良い戦略であるとは期待できません。
- JMP のパラメトリック サバイバル プラットフォームを使用すると、打ち切りされたデータを分析できますが、この場合、打ち切り範囲の平均よりも良い結果は得られませんでした。 それにもかかわらず、これが将来的には最善の戦略となる可能性があります。 (1) と (2) は単なる推測ですが、パラメトリック サバイバル プラットフォームの背後にある最尤推定は十分に確立されています。
- Normal 分布と logNormal 分布は両方ともうまく機能しました。
そして今、私たちは私たちの冒険（そして学び）を皆さんと共有しました。 さあ、クッキーの時間です！
もっとお探しですか？
詳細については、次の興味深い参考文献を参照してください。
ラッセル・B・ミラー最尤推定と推論: R、SAS、ADMB の例を使用、 J. ワイリー アンド サンズ、2011、ISBN 978-0470094822 。
http://ussynthetic.com/ (US Synthetic についての情報)
http://www.ObjectiveExperiments.com （トレーニングやワークショップについての情報はこちら）
http://www.jmp.com/ (JMP ソフトウェアについて)
http://en.wikipedia.org/wiki/Censoring_(統計) (検閲についてのわかりやすい説明)
http://mathworld.wolfram.com/MinimumLikelihood.html (最尤推定の簡単な説明)
http://en.wikipedia.org/wiki/Chocolate_chip_cookie （チョコチップクッキーの歴史についてはこちら）
著者について
Julie Kidd は、US Synthetic 社の材料エンジニアです。 彼女の専門分野は、セラミックおよび複合システム、および法医学冶金学や故障解析を含む材料の特性評価。
Heather Schaefer は、US Synthetic 社の材料エンジニアです。彼女専門分野は、赤外線デコイフレアの開発に重点を置いた、鋳造およびプレスされたエネルギー材料です。
両社は現在、石油・ガス産業向けに改良された合成ダイヤモンドを開発中です。
ビル・カッペレはOB会長主観的な実験。 彼はコースの提供と開発を担当しています。ジュリーそしてヘザービルから実験計画法を学びました。
