情報品質(InfoQ)とJMP®によるデータサイエンスの成功の最大化(2021-EU-45MP-750) ロン・ケネット、KPAグループ会長、テクニオン大学サミュエル・ニーマン研究所会長
クリストファー・ゴットウォルト、SAS 統計研究開発 JMP ディレクター
データ分析(計画実験、一般化回帰、機械学習など)は、急速に導入されています。同時に、結果の再現性やp値の解釈の誤りに対する懸念から、善意に基づいた統計分析であっても、誤った結論や誤った意思決定につながる可能性があります。データ分析プロジェクトが目標を適切に達成するには、利用可能なデータとツールから導き出された結論の範囲と強度を評価する必要があります。統計戦略に重点を置くには、プロジェクトの構成要素(目標、データ収集手順、データ特性、提供される分析など)を分離するフレームワークが必要です。InfoQフレームワークは、この評価を行うための構造化された手順を提供します。さらに、JMPではInfoQを容易に運用化できます。本プレゼンテーションでは、消費者調査と医薬品製造における事例研究を交え、InfoQの概要とJMPを用いたInfoQ評価方法を説明します。InfoQが高い場合と低い場合の両方の状況を取り上げます。また、JMPを用いて研究デザインを改善することで、必ずしもより多くのデータを取得することなく情報の質を向上させる方法についてもヒントを紹介します。この講演は、数字を情報に変換する仕事をしている統計学者、機械学習の専門家、データ サイエンティストを対象としています。

自動生成されたトランスクリプト...
| スピーカー |
トランスクリプト |
| |
こんにちは。 |
| |
私の名前はロン・ケネットです。 |
| |
クリスとの共同講演です |
| |
ゴットウォルトと私たちは基本的に |
| |
2つのメッセージがある |
| |
それは出てくるはず |
| |
話す。一つは、私たちは |
| |
本当に心配する |
| |
情報と情報 |
| |
品質。人々は話す傾向がある |
| |
データとデータの質についてですが |
| |
データは実際には問題ではありません。 |
| |
私たちは統計学者です。 |
| |
データサイエンティスト。数字を分析することで |
| |
データを情報に変換して |
| |
私たちの目標は、 |
| |
高品質なものを生み出す |
| |
情報。他のメッセージ |
| |
JMPがお手伝いします |
| |
それを達成するために、これが |
| |
実際に |
| |
驚くべき方法で。組み合わせることで |
| |
クリスの専門知識と |
| |
情報入門 |
| |
品質に関しては、これら2つが |
| |
メッセージは伝わります |
| |
明らかに。だからもし私が |
| |
私たちが何をしているかを要約すると |
| |
結局話したいのは |
| |
それはすべて情報に関することだ |
| |
品質。私は講演をしました |
| |
4年前のプラハでのサミットで |
| |
前にその話は一般的な内容でした。 |
| |
それは、 |
| |
設計による品質からの旅。 |
| |
情報発信の旅 |
| |
品質。この講演では |
| |
これをどうやって実現するか |
| |
JMP。これはより詳細な |
| |
技術的な話よりも |
| |
プラハで行った一般的な講演です。 |
| |
その講演を視聴することができます。 |
| |
ここにリンクがあります。 |
| |
JMP コミュニティで見つけてください。 |
| |
それで、私たちは |
| |
情報の質、つまり |
| |
データセットの可能性、 |
| |
特定のデータセットを達成するために |
| |
特定の目標、具体的な目標、 |
| |
与えられた経験的手法を用いて。 |
| |
この定義では |
| |
3つの要素は |
| |
リストされている。1つは特定のデータ |
| |
セット。これがデータです。 |
| |
2つ目は目標です |
| |
分析の目的、 |
| |
それが私たちが達成したいことです。 |
| |
そして3つ目は、私たちがどのように |
| |
それをするには、何を使って |
| |
生成するメソッド |
| |
情報、そしてその潜在的 |
| |
評価されるのは |
| |
効用関数。そして私は |
| |
紹介から始める |
| |
情報の質、そして |
| |
クリスが引き継ぐだろう、 |
| |
ケーススタディについて議論し、 |
| |
実施方法を説明します |
| |
情報品質評価。 |
| |
最終的にはこれが |
| |
JMPの質問に答える |
| |
InfoQをサポートし、 |
| |
箇条書きになります |
| |
できること...ポイント |
| |
講演から。 |
| |
これは私たちが奨励することです |
| |
私がライフサイクルビューと呼んでいるもの |
| |
統計の。言い換えれば、 |
| |
単なるデータ分析ではありません。 |
| |
私たちは知っておくべきです...私たちは参加すべきです |
| |
問題の抽出 |
| |
フェーズ。また、目標は |
| |
策定段階は、 |
| |
議論すべきだ |
| |
明らかに関与している |
| |
データ収集スキームの場合 |
| |
実験や |
| |
調査や観察を通じて |
| |
データ。それから、 |
| |
策定の時間 |
| |
発見事項を単に抽出するのではなく |
| |
印刷されたレポート |
| |
回帰係数 |
| |
推定値とその |
| |
重要性はありますが、 |
| |
また、 |
| |
調査結果?運用化 |
| |
調査結果の意味、OK、私たちは何ができるでしょうか |
| |
これらの発見は何をもたらすのでしょうか? |
| |
その意味合い |
| |
調査結果?これは…すべきだ |
| |
伝える必要がある |
| |
適切な人材を適切な方法で |
| |
そして最終的には |
| |
影響評価を実施して、 |
| |
さて、ここまでやりました。 |
| |
私たちの付加価値となっている |
| |
仕事?人生について話しました |
| |
統計のサイクルは数年 |
| |
前。これが前提条件です。 |
| |
何に対する視点 |
| |
これからお話しします。 |
| |
言及された情報 |
| |
品質は、 |
| |
特定のデータセットを達成するために |
| |
特定の目標を使用して |
| |
実証分析手法。これは |
| |
4つの |
| コンポーネント |
目標、データ、 |
| |
分析方法、および |
| |
効用尺度。つまり、 |
| |
数式表現、 |
| |
fをxに適用することの有用性、 |
| |
目標の条件は、私たちがどのように |
| |
InfoQ、情報を特定する |
| |
品質。これは |
| |
王立統計協会 |
| |
2013年にシリーズAで8つの |
| |
討論者なので、十分に |
| |
議論された。一部の人は |
| |
これは素晴らしかったし、 |
| |
人々は多くの批判をした |
| |
そのアイデアは、より広い |
| |
範囲の検討 |
| |
統計学についてです。また |
| |
2006年に書いた、私たちは自分自身に会った |
| |
ガリット・シュムエリの著書『 |
| |
情報の質。そして |
| |
情報の文脈 |
| |
品質は私たちが何をしたかと呼ばれる |
| |
脱構築。デイヴィッド・ハンドは |
| |
「脱構築」という論文 |
| |
統計学の。これは |
| |
情報の解体 |
| |
品質を8次元に分解します。 |
| |
これら 8 つの次元をカバーします。 |
| |
これが私の話のパートです |
| |
クリスはこれがどのように |
| |
特定の |
| |
ケーススタディ。 |
| |
関連するもう一つの側面は |
| |
これは私が持っている別の本です。 |
| |
これは最近のこと、1年前のことだ |
| |
データの真の仕事 |
| |
科学と私たちは何について話すのか |
| |
データの役割は |
| |
組織内の科学者や |
| |
その文脈で、私たちは |
| |
データサイエンティストの必要性 |
| |
世代に関与する |
| |
情報としての...情報 |
| |
品質は目標を満たす |
| |
組織です。それでは |
| |
8次元をカバーする。それが |
| |
これが私の紹介です。 |
| |
まず1つ目はデータの解像度です。 |
| |
目標を持つ。よし、我々は |
| |
インフルエンザのレベルを知りたい |
| |
なぜなら、国や |
| |
私たちが住んでいる地域は |
| |
私たちの決定に影響を与える |
| |
公園に行くかどうか |
| |
人と会ったり、 |
| |
ジャズコンサートへ。そして |
| |
コンサートは明日です。 |
| |
CDCのデータを見ると |
| |
インフルエンザのレベル、そのデータは |
| |
毎週更新されるので |
| |
グラフの赤い線は |
| |
あなたの目の前にありますので、私たちは |
| |
数日分のデータを取得できる |
| |
昔は良かったかもしれないし、良くなかったかもしれない |
| |
金には十分だ。Google Flu、 |
| |
検索に基づく |
| |
インフルエンザ関連、更新 |
| |
一時的に更新されます |
| |
オンラインで、それはおそらく |
| |
より良い情報を提供します。 |
| |
私たちの目標、青い線、 |
| |
Googleトレンド…Google Flu |
| |
トレンド指標はおそらく |
| |
より適切です。2番目 |
| |
ディメンションはデータ構造です。 |
| |
目標を達成するために、私たちは |
| |
データを見てください。私たちは… |
| |
データソースを特定する必要がある |
| |
そしてこれらのデータの構造 |
| |
情報源。そのため、一部のデータは |
| |
テキスト、ビデオ、 |
| |
例えば、 |
| |
推奨ネットワーク。これは |
| |
アマゾンの写真は、 |
| |
本を見ると、 |
| |
いくつか手に入れるつもり |
| |
他におすすめの本。そしてもし |
| |
他の本を読んでみると |
| |
より多くのデータが得られるでしょう |
| |
推奨されます。そのため、データは |
| |
構造は多種多様である |
| |
形や形状の |
| |
テキストである。これは機能的である可能性がある。 |
| |
データです。画像でも構いません。 |
| |
これまで使っていたものに限定されず |
| |
データを呼び出すには、 |
| |
Excel スプレッドシートで検索します。 |
| |
データが破損している可能性があります。 |
| |
欠損値がある可能性があり、 |
| |
珍しい模様があり |
| |
それは |
| |
調べてみる価値がある。 |
| |
パターン、物がどこにあるか |
| |
繰り返しになります。一部のデータは |
| |
これは単にコピー&ペーストするだけで |
| |
警告を受けたい |
| |
そのようなオプション。3番目 |
| |
次元はデータ統合です。 |
| |
データを考慮すると |
| |
これらのさまざまな情報源から |
| |
それらを統合して |
| |
分析リンクを行うことができる |
| |
IDを通じて。例えば、 |
| |
そうするだろうが、そうすることで、 |
| |
問題を引き起こす可能性がある。 |
| |
例えば、データの開示において |
| |
通常は |
| |
匿名化。データ |
| |
統合、そう、それは |
| |
素晴らしいことをできるようにしてくれる、 |
| |
しかし、データが |
| |
プライバシーが多少露出している |
| |
問題があれば、品質の問題かもしれません |
| |
からの情報の |
| |
私たちが行う分析 |
| |
行くだろう 行くだろう |
| |
影響を受けます。そのため、データ統合 |
| |
非常に、非常に検討されるべきである |
| |
注意深く。これが人々が |
| |
ETLを呼び出すために使用される可能性が高い |
| |
抽出、変換、ロード。 |
| |
今でははるかに優れた方法があります |
| |
参加オプションは、 |
| |
例えば、JMPでは |
| |
それを行うためのオプション。 |
| |
時間的な関連性。よし、それは |
| |
かなり明確です。データがあります。 |
| |
何らかの形で刻印されている。 |
| |
後で分析する |
| |
データ収集後、 |
| |
もし私たちが展開した |
| |
考慮するのはさらに後になってから、 |
| |
データは時間的に |
| |
関連性がある。共通の |
| |
状況を比較したい場合 |
| |
今何が起こっているのか、私たちは |
| |
これを作ることができたらいいな |
| |
最近のデータとの比較または |
| |
パンデミック前のデータ |
| |
始まったが10年も経っていない |
| |
公式統計では |
| |
健康記録には2つあった |
| |
または3年遅れている |
| |
タイミングが良かったので、とても |
| |
公式の使用が難しい |
| |
評価における統計 |
| |
何が起こっているのか |
| |
パンデミック。データの時系列と |
| |
目標は決定に関連している |
| |
私たちが私たちの結果として作る |
| |
目標です。例えば、 |
| |
目標は空気の質を予測することです。 |
| |
いくつか使います |
| |
エア上の予測モデル |
| |
品質指数は、 |
| |
毎日。これで1 |
| |
危険から |
| |
良いですね。いくつかの価値はあります |
| |
これらは、 |
| |
健康への懸念。ゼロ50は良いです。 |
| |
300~500は危険で、 |
| |
データと目標の時系列 |
| |
つまり、私たちは |
| |
毎日の予測を立てる |
| |
基礎です。私たちが使用する方法は |
| |
毎日更新する必要がある |
| |
基礎となる。一方、 |
| |
私たちの目標は、 |
| |
このAQI指数を計算したら、 |
| |
実際には |
| |
分析の適時性。 |
| |
私たちは |
| |
時間がない。 |
| |
分析を行う |
| |
日常的に。一般化可能性、 |
| |
6次元は、 |
| |
私たちの調査結果を踏まえて |
| |
これがどこで起こり得るかを考えると |
| |
より一般的に言えば、 |
| |
他の集団、すべて |
| |
状況に応じて、 |
| |
直感的に。マーケティングマネージャーは |
| |
に関する研究を見たことがある |
| |
市場Aは、 |
| |
すでに理解していること |
| |
市場Bへの影響 |
| |
データがなければ、 |
| |
物理学者は |
| |
に基づいて予測する |
| |
第一原理に基づく力学 |
| |
データなし。 |
| |
一般化の可能性の一部は |
| |
データを使って行われます。これが |
| |
統計の基礎 |
| |
一般化、私たちはどこから |
| |
サンプルを母集団に適用します。 |
| |
統計的推論とは |
| |
一般化。私たちは一般化します |
| |
サンプルから |
| |
人口。そして、一部は |
| |
ドメインベース、言い換えれば |
| |
専門知識、ドメイン |
| |
専門知識は必ずしも必要ではない |
| |
データ。私たちはそれを認識する必要がある |
| |
一般化可能性は単なる |
| |
統計は完了しました。 |
| |
7次元は |
| |
運用化を構築する、 |
| |
それはまさにそれが何であるかということです |
| |
測定したいのです |
| |
行動、感情、何を評価するか |
| |
それは、測定できるということです |
| |
反映するデータを提供してくれる |
| |
行動または感情。 |
| |
ここで挙げた例は |
| |
典型的には痛みです。 |
| |
痛みとは何かを私たちは知っています。 |
| |
それを測るには? |
| |
病院で看護師に尋ねてみると、 |
| |
痛みをどのように評価しますか? |
| |
スケールがあるから |
| |
1から10まで。とても |
| |
質的ではない |
| |
科学的だと私は思います。もし私たちが |
| |
レベルを測定したい |
| |
運転手のアルコール摂取量 |
| |
道は、 |
| |
測定する。つまり、測定するかもしれない |
| |
代替の尺度としての速度。 |
| |
もう一つの部分は |
| |
運用化はもう一つの |
| |
物語の終わり。他の |
| |
言葉、最初の部分、 |
| |
構築するものは測定するもの、 |
| |
これは私たちの目標を反映しています。 |
| |
終わり…ここでの最終結果は |
| |
我々は発見があり、 |
| |
彼らと何かをしたい。 |
| |
私たちの発見を実践に移すため。 |
| |
これがその行動です |
| |
運用化についてです。 |
| |
それはあなたが何をするかについてです |
| |
発見とその後 |
| |
ここで壇上で発表しました。 |
| |
3つの質問をしていました。 |
| |
これらは非常に重要だ |
| |
質問するべきこと。 |
| |
分析を行えば、 |
| |
あなたの前にいる誰かが |
| |
ああ、どうもありがとう、と言う |
| |
終わりました...統計学者のあなた |
| |
あるいはデータサイエンティスト。つまりこれは |
| |
これにはもう1つのステップが必要です。 |
| |
顧客に質問してもらう |
| これらの単純な質問 |
何をする |
| |
達成したいですか?どのように |
| |
あなたはそれをどうしますか? |
| |
達成できたかどうかを知る |
| |
あれ?私たちが答えをお手伝いします、または |
| |
少なくともサポート、これらのいくつか |
| |
私たちが回答した質問。 |
| |
8次元は |
| |
コミュニケーション。 |
| |
非常に有名な古い例 |
| |
19世紀の地図で、 |
| |
の行進を示しています |
| |
ナポレオン軍はフランスから |
| |
モスクワからロシアへ。 |
| |
数字は幅です |
| |
パスはサイズを示します |
| |
軍隊の、そしてその後 |
| |
黒人は何が起こったか分かります |
| |
彼らが帰る途中に。 |
| |
つまりこれは |
| |
悲惨な行進。私たちは、私たちは、私たちは |
| |
この古い地図を関連付けることができます |
| |
既存の地図があり、 |
| |
JMPアドインは、 |
| |
JMPコミュニティで見つけて、 |
| |
バブルプロットで示します。 |
| |
ダイナミックバブルプロットこれは何ですか |
| |
のように見えます。それで私はカバーしました |
| |
非常に迅速に8つの情報 |
| |
品質の次元。私の最後の |
| |
スライドは私が話した内容です |
| |
歴史的なものから |
| |
視点を本当に |
| |
私が言っていることと比例します。 |
| |
私たちは本当にその時代に生きていると思います |
| |
情報の質について。私たちは |
| |
製品に関心を持つ |
| |
18世紀の品質は、 |
| |
17世紀。その後、 |
| |
プロセスの品質とサービス |
| |
品質。これは短いメモです |
| |
管理図を提案することについて |
| |
1924年だったと思います。 |
| |
次に経営に移ります |
| |
品質。これがジュランです |
| |
デザインと改善の三部作 |
| |
と制御。シックスシグマ(定義、 |
| |
測定、分析、改善 |
| |
制御プロセスは |
| |
ジュランの改善プロセス、 |
| |
ジュランは祖父だった |
| |
そういう意味ではシックス シグマです。 |
| |
そして80年代に田口が |
| |
彼は堅牢な |
| |
デザイン。どうすれば |
| |
適切な入力による変動 |
| |
デザインの決定?そして今、私たちは |
| |
情報化時代 |
| |
品質。センサーも備えています。 |
| |
柔軟なシステムを持っています。 |
| |
AIと機械に依存している |
| |
学習とデータマイニングと私たちは |
| |
大きな大きな大きなが集まっています |
| |
数字ですが、私たちはそれを大きな数字と呼んでいます |
| |
データ。情報への関心 |
| |
品質はプライムプライムであるべきである |
| |
興味がある。私は試してみるつもりだ |
| |
あなたを説得するために、 |
| |
クリスの、あれ。 |
| |
私たちはここにいます、そしてJMPは |
| |
それを達成するために |
| |
本当に珍しい方法です。 |
| |
最後に見えるもの |
| |
クリスが行うケーススタディ |
| |
ショーはそれをどのように行うかを示すものであり |
| |
情報品質評価と |
| |
特定の研究に基づいて、基本的に |
| |
情報の質を生み出す |
| |
スコアです。上から下に進むと、 |
| |
この研究についてお話しします |
| |
この分析はおそらく80%か |
| |
おそらく30%か95%でしょう。 |
| |
そして、この例を通して、 |
| |
やり方についてはこちらをご覧ください。 |
| |
これを提供するJMPアドイン |
| |
評価です。それは実際には |
| |
非常に簡単です。 |
| |
特に洗練されたものではない |
| |
それについてはこれで終わりにして |
| |
クリス、次は君。ありがとう、ロン。それで |
| |
これから、 |
| |
データセットの分析 |
| |
明確に |
| |
情報のさまざまな側面 |
| |
品質とJMPがどのように |
| |
改善を評価するために使用される |
| |
InfoQのために。まず、私は |
| |
InfoQを見てみよう |
| |
コンポーネント。最初のInfoQ |
| |
コンポーネントが目標なので、 |
| |
この場合、問題の説明 |
| |
それは化学会社でしたか |
| |
次のような処方を望んでいた |
| |
製品の収量を最大化し、 |
| |
迷惑な不純物を最小限に抑える |
| |
それは反応から生じたものです。 |
| |
これが大まかな目標でした。 |
| |
統計的に言えば、 |
| |
正確にモデルを見つけるために |
| |
データに対する応答を予測した |
| |
見つけられるように設定しました |
| |
材料の組み合わせと |
| |
処理手順は |
| |
より良い製品に。 |
| |
データは100に設定されています |
| |
実験的処方 |
| |
1つの主成分X1と |
| |
10種類の添加物。 |
| |
処理係数13 |
| |
回答。データは |
| |
完全に捏造されたが |
| |
同じことを説明するためにシミュレーションした |
| |
の長所と短所 |
| |
元のデータ。データは |
| |
処方も作成されました |
| |
記録されています。 |
| |
このデータを詳しく見ていきたいと思います |
| |
指摘する以上のことを詳しく説明する |
| |
それらは |
| |
アドホックな方法で1つまたは2つ変更する |
| |
一度に添加物を加えるのではなく |
| |
計画的またはランダム化された |
| |
実験。たくさんの |
| |
このデータを分析する方法は、 |
| |
最も典型的なのは最も少ない |
| |
前方への正方形モデリング |
| |
選択された応答の選択。 |
| |
それが私の当初の意図でした |
| |
この講演では |
| |
ロンにデータを伝えると、彼はすぐに |
| |
応答列を認識した |
| |
分析からの時系列として |
| |
化学。データは |
| |
シミュレーションをすると、 |
| |
構造。彼は物事を見ることができた |
| |
私が見なかったデータでは |
| |
そしてそれを読み解いたが、そうではなかった。私は |
| |
これは驚くべきことだ |
| |
素晴らしい。 |
| |
この講演の範囲を超えていますが、 |
| |
さらに優れたアプローチは |
| |
アンサンブルモデリングを用いた |
| |
分数加重 |
| |
ブートストラッピング。フィル・ラムジー、 |
| |
ウェイン・レビンと私はもう1つ |
| |
この方法論について話す |
| |
ヨーロッパの発見 |
| |
今年の会議。 |
| |
このアプローチは有望であるため、 |
| |
モデルをデータに適合させることができる |
| |
より活発な交流 |
| |
ランがあります。4番目で最後の |
| |
情報品質の構成要素 |
| |
効用とは、私たちがどれだけ |
| |
目標を評価できる。あるいは |
| |
どのように測定すれば良いのでしょうか |
| |
目標を評価しましたか? |
| |
このドメインの側面 |
| |
ケースでは、 |
| |
につながる定式化 |
| |
収益を最大化し、 |
| |
後処理における無駄 |
| |
資料。統計 |
| |
分析ユーティリティとは、 |
| |
私たちが適合するモデル。私たちが |
| |
そこに行くことは少なくとも |
| |
我々のモデルの精度は |
| |
どれだけうまくできるかという点で |
| |
何を予測するか |
| |
候補者からの結果 |
| |
配合の組み合わせ...の |
| |
混合要因。今から |
| |
一連の質問に答える |
| |
詳細なInfoQを構成する |
| |
評価は次のように体系化されている |
| |
8つの情報次元 |
| |
品質。私が指摘したいのは |
| |
すべての質問が |
| |
異なる |
| |
データサイエンスと統計 |
| |
プロジェクトであり、これは |
| |
厳格な教義を意図していたが |
| |
むしろ、 |
| |
自分自身に問いかけてみるのは良い考えです。 |
| |
これらの質問は、 |
| |
データ分析の知恵 |
| |
より広い視野で |
| |
特定の応用 |
| |
統計技術。コピー |
| |
これらをスプレッドシートに |
| |
質問と指針 |
| |
JMPの最も優れた機能 |
| |
質問に答えるのに役立つ |
| |
特定のものがアップロードされます |
| |
JMPコミュニティに |
| |
この講演を皆さんにお届けします。 |
| |
私は質問を進めていきます、 |
| |
分析のデモを行います |
| |
JMPのデータです。それで質問1 |
| は |
使用されるデータスケールは |
| |
述べられた目標と一致しているでしょうか? |
| |
私たちが持っているXは |
| |
単一のカテゴリ変数 |
| |
処理と11の連続 |
| |
入力。これらは測定される |
| |
パーセンテージとして、また |
| |
0.5%まで記録されました。 |
| |
合計金額がわからない |
| |
材料は、 |
| |
パーセンテージ。合計は |
| |
失われた情報 |
| |
あるいは記録されていない。 |
| |
その他の潜在的に重要な |
| |
情報は |
| |
ここに欠けている。 |
| |
バッチの配合と |
| |
測定はなくなった |
| |
他にもあったかもしれない |
| |
共変量レベルの情報 |
| |
ここに欠けているのは |
| |
状況を説明した |
| |
反応が起こった。 |
| |
私より詳しい情報がなければ |
| |
どれだけ重要かは言えないが |
| |
この種の共変量情報 |
| |
そうなっていたでしょう。私たちは |
| |
当日の情報 |
| |
バッチなので、 |
| |
代理母の可能性もある。全体的に私たちは |
| |
願わくば、最も |
| |
重要なインプットだけでなく |
| |
我々の反応の測定 |
| |
最適化したい。 |
| |
より多くの情報がありましたが、これは |
| |
試してみる価値は十分ありそうだ |
| |
そして分析。2番目 |
| |
データに関する質問 |
| |
解像度は信頼性と |
| |
測定機器は精密である |
| |
そしてデータソース。そして事実 |
| |
私たちには |
| |
具体的な情報はこちらをご覧ください。 |
| |
統計学者内部 |
| |
会社はもっと |
| |
情報です。この場合、 |
| |
それを信じるしかない |
| |
化学者たちは処方し、 |
| |
混合音をうまく録音しました。 |
| |
データに関する3番目の質問 |
| 解像度は |
データです |
| |
データに適した分析 |
| |
集約レベル?そして |
| |
ここでの答えは「はい」です。 |
| |
彼らの測定システムは |
| |
正確であり、データが |
| |
十分にきれいだ。私たちがやろうとしているのは |
| |
実際にやることは |
| |
私たちは |
| |
機能データエクスプローラー |
| |
機能原理の抽出 |
| |
コンポーネントはデータ |
| |
派生した種類のデータ |
| |
集約です。そして私たちは |
| |
それらをモデル化するつもりです |
| |
機能的主成分 |
| |
入力変数を使用します。つまり |
| |
さて、データに移ります |
| |
構造次元と |
| |
私たちが最初に尋ねる質問は、 |
| |
使用されたデータは |
| |
目標は?そして私は |
| |
答えは明確に「イエス」です。私たちは |
| |
最大化しようとしている |
| |
収量。測定値は |
| |
そして入力は |
| |
Xとして記録されます。2番目のデータは |
| |
構造の疑問は |
| |
物事は本当に |
| |
私にとっては興味深いです。これは |
| |
整合性の詳細 |
| |
(外れ値、欠損値、データ |
| |
腐敗の問題が説明され、 |
| |
適切に処理されているか? |
| |
ここではJMPを使って |
| |
外れ値がどこにあるのかを理解する |
| |
戦略を考え出す |
| |
欠損値についてどうするか |
| |
彼らのパターンを観察して |
| |
オン。これがここです |
| |
物事は少し |
| |
もう少し興味深い。最初の |
| |
私たちがやろうとしていることは |
| |
あるかどうか判断するつもりだ |
| |
データ内の外れ値は |
| |
心配する必要はありません。 |
| |
そのために私たちは行くつもりです |
| |
外れ値探索に |
| |
スクリーンから外れたプラットフォーム |
| |
メニューを開きます。 |
| |
応答変数、そして |
| |
これは多変量設定です。 |
| |
新しい機能を使う予定です |
| |
JMP Pro 16ではロバストと呼ばれる |
| |
PCA外れ値。 |
| |
大きな残差は、 |
| |
一種のパレート図です。 |
| |
スナップショットがあります |
| |
潜在的に |
| |
異常に大きな観測。私は |
| |
これはあまり似ていないと思う |
| |
私にとってはあまりにも異常または心配なことです。 |
| |
大きな外れ値を保存する |
| |
データテーブルに入力して、 |
| |
配布でそれら |
| |
プラットフォームと私たちが見ているものは |
| |
正規分布のように見える |
| |
真ん中を取り除いた。だから私は |
| |
これはデータだと思います |
| |
同じようなものから来ている |
| |
人口は多く、何もない |
| |
ここで本当に心配するのは、 |
| |
外れ値に関しては。 |
| |
外れ値に対処した |
| |
私たちが入り込んで探索する状況 |
| |
欠損値です。それで、私たちが |
| |
まず最初にやることは |
| |
イースをロードするには... |
| |
プラットフォーム、そして私たちは |
| |
欠損値を使用する |
| |
スナップショットでパターンを確認 |
| |
彼らは私たちの行方不明者の中にいる |
| |
価値観のようです。 |
| |
欠損値は、 |
| |
水平方向のクラスターがあり、 |
| |
同じ欠損値も |
| |
行をまたいで表示します。 |
| |
ここに黒い斑点があります。 |
| |
そして、 |
| |
自動データ補完、 |
| |
先に進んで保存します |
| |
代入する数式列 |
| |
新しい欠損値 |
| |
回帰型を使用した列 |
| |
開発されたアルゴリズム |
| |
私の博士課程の学生、ミロ |
| |
NC州立大学のペイジ。だから私たちはプレーできる |
| |
少し周りを回って |
| |
ADIのような感覚 |
| |
アルゴリズムは機能しています。 |
| |
これらの数式列を作成しました |
| |
剥がれ落ちている要素 |
| |
ADI補完列は |
| |
ベクトル式の列と |
| |
スコアリング補完関数 |
| |
期待値を計算しています |
| |
欠損セルの値 |
| |
欠損していないセルは、いつでも |
| |
欠損値があります。そして |
| |
ただ非 |
| |
欠損値です。207が確認できます |
| |
YO...Y6に。最初は |
| |
207ですが、 |
| |
行方不明になっており、現在 |
| |
234 と推定されます。 |
| |
これを何回か繰り返して |
| |
それがどのようになっているかが分かります |
| |
作業中です。ここで大きな |
| |
Y7 の値と現在の値です。 |
| |
置き換えられた。そしてもし私たちが |
| |
そして行を追加します |
| |
欠損値はすべてそこに存在する |
| |
最初は列の意味 |
| |
は、 |
| |
非難。もし私が |
| |
先に進んでいくつかの値を追加してください |
| |
失われた細胞は |
| |
条件文を始める |
| |
まだ行方不明の |
| |
情報を利用する細胞 |
| |
それは行方不明のものの中にあります... |
| |
欠けていないもの。それでは次に |
| |
データ構造に関する質問は |
| |
分析方法は |
| |
データ構造に適していますか? |
| |
11個の混合入力があります |
| |
そして処理変数は |
| |
カテゴリー的だ。それらは |
| |
少なくとも入力される |
| |
正方形型モデル。 |
| |
13回の連続応答と |
| |
...を使用してモデル化することができます。 |
| |
個別に少なくとも使用 |
| |
正方形。あるいはモデル化することもできる |
| |
機能プリンシパル |
| |
コンポーネント。…今は |
| |
問題です。Xは… |
| |
入力変数は |
| |
まったくランダムではありません。非常に |
| |
彼らが汚すであろうことは明らかである |
| |
1つまたは複数で |
| |
化合物を移動させて |
| |
別のものに移ります。 |
| |
順序 |
| |
入力変数は変化した |
| |
行き当たりばったりだった。それは |
| |
明らかなランダム性の欠如、そして |
| |
それはマイナスになるだろう |
| |
私たちに影響を与える...一般化可能性 |
| |
そして私たちの結論の強さ。 |
| |
データ統合は3番目です |
| |
InfoQディメンション。これらのデータは |
| |
手動で入力された実験ノート |
| |
主に混合物からなる |
| |
割合と装備 |
| |
読み上げ。推測することしかできない |
| |
データが入力されたこと |
| |
正しく、Xが |
| |
応答と適切に整合されます。 |
| |
そうでない場合は、 |
| |
モデルには重大な偏りがある |
| |
問題があり、 |
| |
一般化可能性に関する問題。 |
| |
統合はより大きな問題だ |
| |
観測データによる |
| |
機械における科学の問題 |
| |
実験よりも学習演習 |
| |
このような実験は |
| |
ここでは当てはまらないので |
| |
プライバシーと |
| |
機密保持に関する懸念は |
| |
モデル化によって特定された |
| |
データの機密部分を使用して |
| |
公開されるコンポーネント |
| |
データで。結果が |
| |
モデルが予測されると、 |
| |
プライバシーを懸念すべき |
| |
懸念は満たされていない。一時的な |
| |
関連性とは、 |
| |
運用時間のシーケンス |
| |
データ収集、分析、 |
| |
展開とギャップの有無 |
| |
これらの段階の間には |
| |
有用性の低下 |
| |
研究の情報。 |
| |
この場合、単純に |
| |
材料供給を期待する |
| |
かなり一貫しており、 |
| |
試験装置は |
| |
かなり正確で、 |
| |
現時点では検証不可能な仮定 |
| |
ポイント。時間解像度は |
| |
データ収集時に |
| |
日単位では、つまり |
| |
あまり方法がない |
| |
時間があれば確認できる |
| |
一日の中での変化。 |
| |
データと目標の時系列は |
| |
の可用性について |
| |
関連する変数は |
| |
変数が |
| |
データにまったく存在しないか |
| |
正しい情報かどうか |
| |
モデルが利用可能になると |
| |
が展開されます。予測のために |
| |
モデル、これはモデルに関連しています |
| |
類似のデータに適合している |
| |
その時何が存在するか |
| |
モデルは |
| |
新しいデータ。このようにして、私たちのデータは |
| |
セットは確かに良いです。 |
| |
しかし因果関係を証明するには、 |
| |
私たちはそれほど良い状況ではない |
| |
形状が欠けているため |
| |
ランダム化は時間 |
| |
効果と要因効果は |
| |
混乱し、偏見につながる |
| |
我々の推定では、内生性、 |
| |
あるいは逆の因果関係は |
| |
明らかにここで問題となるのは |
| |
温度などの変数や |
| |
反応時間は明らかに |
| |
回答に影響を与えているが、 |
| |
記録されていない。全体として、 |
| |
私たちには分からないことがたくさんある |
| |
この次元について |
| |
情報品質感覚。 |
| |
InfoQの残り |
| |
評価は |
| |
の種類に応じて |
| |
私たちが行う分析です。 |
| |
私は先に進み、 |
| |
このデータの分析を行う |
| |
機能データの使用 |
| |
JMP Proのエクスプローラプラットフォーム |
| |
これにより、モデル化が可能になります |
| |
すべての列を同時に |
| |
に基づいて |
| |
機能的主成分、 |
| |
最大量を含む |
| |
これらすべての情報 |
| |
列は、 |
| |
可能な限り最も効率的な形式です。 |
| |
私は |
| |
列の補完バージョン |
| |
先ほど計算した |
| |
プレゼンテーションです。そして私は |
| |
私がそうなることを指摘する |
| |
の組み合わせを見つけるために取り組んでいます |
| |
達成する混合要因 |
| |
できるだけ近い |
| |
最小二乗の意味で理想的な |
| |
によって作成された曲線 |
| |
最大限に活用する実践者 |
| |
潜在的な製品の量 |
| |
バッチ中に |
| |
の量を最小限に抑える |
| |
不純物が |
| |
現実的にバッチを考えた |
| |
含まれている可能性がある。それで私は |
| |
分析に行くことで分析 |
| |
メニューで機能 |
| |
データエクスプローラー。行は |
| |
関数をロードします |
| |
補完された行、そして私は行きます |
| |
私の定式に入れる |
| |
コンポーネントと処理 |
| |
補足としてコラム |
| |
変数。IDがあります |
| |
関数、それがバッチIDです。ここで |
| |
入ってみましょう。機能も見えます。 |
| |
オーバーレイ全体と |
| |
個々の機能を確認できます。 |
| |
それからターゲットをロードします |
| |
理想的な機能です。 |
| |
そしてそれは |
| |
分析結果 |
| |
モデリングを始める |
| |
ステップです。これはかなり |
| |
単純な機能なので、 |
| |
それらをモデル化するつもりです |
| |
B スプライン。 |
| |
そして私は |
| |
機能DOE分析。 |
| |
これはモデルに当てはまるだろう |
| |
入力を |
| |
機能原理 |
| |
コンポーネントをすべて接続します |
| |
道を通る |
| |
そうするための固有関数 |
| |
私たちは回復することができます |
| |
全体的な機能として |
| |
変更されました。 |
| |
混合要因。 |
| |
機能主成分 |
| |
分析によれば、 |
| |
4つの次元がある |
| |
これらの反応の変動 |
| |
機能。 |
| |
つまり、先に進んで |
| |
FPC プロファイラーで探索します。 |
| |
それで、このパネルを見てください |
| |
FPC 1を調整すると、 |
| |
このFPCは |
| |
ピークの高さ。FPC2は |
| |
まるでピークのようだ |
| |
狭さ。まるで |
| |
解決主体 |
| |
コンポーネントです。3つ目は |
| |
膝をついて |
| |
主峰の左側。 |
| |
そして、ピーク4は |
| |
主に |
| |
不純物なので、 |
| |
根底にある意味は |
| |
これら4つの機能 |
| |
主成分。 |
| |
そこで私たちは目標を次のように定義しました |
| |
製品の最大化と |
| |
不純物を最小限に抑え、 |
| |
私たちはそれを |
| |
この理想を通して分析するか |
| |
私たちが提供した黄金の曲線 |
| |
FDEの始まり |
| |
私たちが行っている運動。 |
| |
その理想にできるだけ近い |
| |
曲線では、望ましさをオンにします |
| |
機能です。そして |
| |
魅力を最大限に高めます。 |
| |
そして、最適な |
| |
入力の組み合わせは約 |
| |
4.5%の |
| |
成分4、2% |
| |
成分6. 2.2%の |
| |
成分8および1.24% |
| |
原料9 加工 |
| |
方法2。 |
| |
ここまで来ました。まず |
| |
欠落した応答を計算した |
| |
列。そしてBスプラインを発見した。 |
| |
これらの機能に適合するモデル |
| |
FDEプラットフォームでもうまく機能します。 |
| |
機能的主成分 |
| |
分析の結果、 |
| |
4つの固有関数があった |
| |
変動を特徴付ける |
| |
このデータ。これら4つの |
| |
固有関数が決定されました |
| |
FPCプロファイラーを介して各 |
| |
合理的な主題を持つ |
| |
物質の意味。機能的な |
| |
DOE分析は |
| |
プルーニングフォワードを適用する |
| |
それぞれの選択 |
| |
個々のFPCスコアは、 |
| |
DOE は入力変数として考慮されます。 |
| |
そして、ここには |
| |
の組み合わせを発見 |
| |
相互作用と主効果 |
| |
最も予測力があったのは |
| |
それぞれの機能主 |
| |
コンポーネントスコアは個別に評価されます。 |
| |
機能的DOEプロファイラー |
| |
すべてをエレガントに捉えた |
| |
さまざまな側面を1つの表現にまとめる |
| |
これにより、 |
| |
処方処理ステップ |
| |
望ましいと予測される |
| |
高い評価を受けた特性 |
| |
収率が高く、不純物が少ない。 |
| |
それで、InfoQができるようになりました |
| |
評価 |
| |
データの一般化可能性 |
| |
分析です。この場合、 |
| |
私たちはもっと興味がある |
| |
科学的一般化可能性、 |
| |
実験者は深く |
| |
知識豊富な化学者が働く |
| |
この化合物で。それで私たちは |
| |
今後はもっと頼ることになる |
| |
彼らの専門知識 |
| |
次に統計原則について |
| |
仮説検定などのツール |
| |
などなど。目標は |
| |
主に予測的なものです。 |
| |
一般化可能性というのは |
| |
問題なのは |
| |
実験は計画されていませんでした。 |
| |
相互作用を推定する能力 |
| |
次のような技術に対して弱体化されます |
| |
前方選択と不可能 |
| |
最小二乗分析により |
| |
完全なモデルです。 |
| |
この研究はランダム化されておらず、 |
| |
記録されていない時間である可能性があります |
| |
順序効果はありません |
| |
潜在的に重要な共変量 |
| |
温度などの情報や |
| |
反応時間。これにより |
| |
もう一つの大きな疑問符 |
| |
一般化可能性に関して。 |
| |
再現性と |
| |
研究の再現性は |
| |
ここでも未知のもの |
| |
についての情報はありません |
| |
変動性による |
| |
測定システム。幸いなことに、 |
| |
JMPのようなツールはあります |
| |
理解するためにデザインを評価する |
| |
既存のデザインだけでなく |
| |
大幅に強化できるデザイン |
| |
一般化を強化する |
| |
分析の実行。 |
| |
拡張により情報を改善できる |
| |
主効果について |
| |
交流、そして第2ラウンド |
| |
実験は |
| |
ランダム化により、 |
| |
一般化可能性。だから今私は |
| |
いくつかの |
| |
簡単な手順で方法を説明します |
| |
一般化を改善する |
| |
我々の研究の成果 |
| |
JMPのデザインツール。 |
| |
それをやると、私は指摘したい |
| |
データを取得して |
| |
それを変換して |
| |
割合ではなく |
| |
パーセント。そうでなければデザインは |
| |
ツールは実際には一致していなかった |
| |
データと非常によく一致しています。 |
| |
評価デザイナーに入る |
| |
そしてYをロードして |
| |
私たちのX。私は |
| |
二次的な相互作用を処理します。 |
| |
そして…そう、このアラートが来た |
| |
「ねえ、それはできない」と言う |
| |
なぜなら私たちは |
| |
すべての相互作用を推定する |
| |
一度に一つの要因を考慮すると |
| |
私たちが持っているデータです。だから私は |
| |
上へ。増強へ行きます |
| |
デザイナー、すべてをロードして、 |
| |
拡張を設定します。選択して、私は… |
| |
最適なデザインです。 |
| |
本当に心配している |
| |
予測されるパフォーマンスはここにあります。 |
| |
そして私は |
| |
実行回数を 148 に設定します。 |
| |
カスタムデザイナーがリクエストした |
| |
最低でも141だったのですが、 |
| |
148 念のため |
| |
私たち全員が持っている能力 |
| |
私たちのすべてのやり取りを推定する |
| |
かなりうまくいきました。その後は |
| |
約20秒かかります |
| |
デザインを構築します。それで今 |
| |
デザインが完成したので |
| |
最も注目すべき2つを紹介します |
| |
重要な診断ツール |
| |
拡張デザイナー |
| |
デザインを評価する。 |
| |
左の部分は |
| |
設計空間プロット。これは |
| |
50%のボリュームが |
| |
デザインは |
| |
予測分散は |
| |
1未満です。つまり1は |
| |
残余に相当する |
| |
エラーです。 |
| |
測定誤差よりも優れている |
| |
品質予測 |
| |
デザインの大部分を占めています。 |
| |
右にカラーマップが表示されています |
| |
相関関係を示しています。 |
| |
推定できるのは |
| |
すべて順調です。 |
| |
いくつか...混合のため |
| |
制約、私たちはいくつかの |
| |
強い相関関係 |
| |
相互作用と主効果。 |
| |
全体的に、効果はかなり |
| |
きれいです。そしてやり取りは |
| |
かなり離れたところから |
| |
もう一つ、そして主な効果 |
| |
かなり離れている |
| |
お互いも同様です。その後 |
| |
デザインを見て |
| |
診断によって、 |
| |
表です。ここでは |
| |
拡張実行の最初の13回 |
| |
そして私たちは…私たちは |
| |
よりランダム性を持たせる。 |
| |
同じ主効果を利用する |
| |
何度も何度も縞模様。 |
| |
それはより良い証拠だ |
| |
ランダム化と全体的な |
| |
デザインは |
| |
主なものをより正確に推定する |
| |
効果と相互作用 |
| |
より良い、より高い品質を受け取った |
| |
この第2段階の情報 |
| |
実験の。入力は |
| |
変数Xは正確である |
| |
混合物の表現 |
| |
割合なので、それは明らかです |
| |
客観的利益。 |
| |
回答は近い代理である |
| |
製品の量に対して |
| |
不純物の量 |
| |
バッチ処理は得意です |
| |
7.1. そこに。正当化の根拠 |
| |
明らかです。研究の後、私たちは |
| |
もちろん準備に行くこともできます |
| |
配合されるバッチ |
| |
FDOEが推奨したもの |
| |
プロファイラー。試してみて、 |
| |
私たちは、 |
| |
私たちが期待していたパフォーマンス |
| |
なぜなら、それは非常に明白なことだ |
| |
それは私たちができる方法でしょう |
| |
どれだけ達成できたかを評価する |
| |
私たちの研究目標です。 |
| |
最後のInfoQディメンション |
| |
コミュニケーション。 |
| |
目標としての理想的な曲線 |
| |
機能、機能DOE |
| |
プロファイラーは目標を設定し、 |
| |
分析結晶の結果 |
| |
明らかだ。しかし、これは表現できる |
| |
簡単に |
| |
化学者によって解釈され、 |
| |
研究開発施設の管理者。 |
| |
そして、私たちは詳細に |
| |
情報品質評価、 |
| |
私たちは率直に |
| |
の長所と短所 |
| |
研究デザインとデータ |
| |
コレクション。結果が |
| |
一般化はしませんが、確かに |
| |
どこを探せばいいのかを知る |
| |
問題はありました。 |
| |
概念に精通している |
| |
素晴らしいアドインが書かれています |
| |
イアン・コックス著 |
| |
簡単な定量的なInfoQを行う |
| |
評価。アドインには |
| |
上部と下部のスライダー |
| |
各 InfoQ ディメンションの境界。 |
| |
これらの次元を組み合わせると |
| |
望ましさ関数を使用する |
| |
全体間隔へのアプローチ |
| |
左側の InfoQ をご覧ください。 |
| |
以下は評価です |
| |
私が取り上げたデータと分析 |
| |
このプレゼンテーション。アドインは |
| |
また、役に立つ思考ツールでもあります |
| |
それぞれについて考えさせられる |
| |
InfoQの次元です。また、 |
| |
実用的なコミュニケーション方法 |
| |
InfoQの評価 |
| |
顧客や経営陣に |
| |
それは、 |
| |
情報の質 |
| |
多くの技術を使って |
| |
概念と専門用語。アドイン |
| |
の基礎としても役立ちます |
| |
InfoQの比較。私の |
| |
これに対する当初の希望 |
| |
プレゼンテーションは少し |
| |
もう少し野心的だと思っていた |
| |
私が行った分析をカバーするために |
| |
先ほど通過したばかりの |
| |
もう1つはもっと簡単なもので、スキップして |
| |
回答を入力して |
| |
単純な多変量線形 |
| |
応答の回帰モデル |
| |
コラム。今日は |
| |
その最終的な評価を提示する |
| |
アプローチです。ご覧の通り、 |
| |
InfoQのいくつか |
| |
寸法が大幅に劣化する |
| |
より洗練された |
| |
分析。非常に明らかなのは |
| |
簡単な分析から |
| |
InfoQスコアが大幅に低下しました。 |
| |
単純な上限 |
| |
分析はそれほど高くない |
| |
下限値よりも |
| |
洗練されたもの。 |
| |
経験すれば、 |
| |
良いInfoQとは何かという直感 |
| |
スコアはデータサイエンス向けです |
| |
あなたの業界のプロジェクトと |
| |
より良い習慣を身につける |
| |
もはや盲目ではなくなる |
| |
情報ボトルネック |
| |
データ収集、分析、 |
| |
モデルの展開。情報 |
| |
高品質で使いやすい |
| |
インターフェース。これが私の最初の |
| |
正式な情報の質 |
| |
評価。私自身としては、 |
| |
情報の質 |
| |
フレームワークは言葉と |
| |
私は多くのものに構造を |
| |
すでに本能的に知っていた。 |
| |
すでに私のやり方は変わっています |
| |
新しいデータ分析へのアプローチ |
| |
プロジェクトに参加することをお勧めします |
| |
このプロセスを自分で体験する |
| |
あなた自身のデータであっても、そのデータが |
| |
そして分析はすでに非常に |
| |
あなたにもお馴染みでしょう。保証します |
| |
あなたがより賢くなり、 |
| |
より効率的なデータサイエンティスト |
| |
おかげで。ありがとう。 |
高度な統計モデリング基本的なデータ分析とモデリング消費者および市場調査コンテンツの編成実験計画法予測モデリングと機械学習品質およびプロセスエンジニアリング信頼性分析