スピーカー
|
成績証明書
|
| ジェフ・パーキンソン |
JMP 機能の開発に関して、次の講演者である John Sall は、優先順位の付け方について興味深い考え方を持っています。 どの機能に優先順位を付ける必要があります... |
| |
どの機能に投資したいのか。 では、何が最も重要なのかをどのように考えればよいのでしょうか? 製品をより強力にする機能は私たちが取り組むべきものですか? |
| |
より魅力的またはセクシーにする機能や、分析の負担を軽減して痛みを軽減することに重点を置いた機能はどうでしょうか? |
| |
ジョンは、痛みの軽減が研究開発チームの主な動機であるべきだと考えています。 ジョンは SAS の共同創設者です。 彼は 30 年以上前に設立した JMP の主任アーキテクトです。 |
| |
データを持っていて、それを探索する方法が必要な科学者やエンジニアにとって、デスクトップ上で視覚的に簡単に探索する方法が必要です。 |
| |
彼は、JMP 開発の背後にある原動力と、私たちが取り組みたい機能に出会う方法について話します。 それでは、よろしくお願いします、ジョン。 ありがとう。 |
| ジョン・サル |
ありがとう、ジェフ。 ここでは、より多くの人々を収容できるノースカロライナ州ケアリーの新しいデジタル カンファレンス センターからライブ中継しています。 |
| |
そこで、照明を少し暗くしましょう。 |
| |
そうですね、私は実際にはデジタル会議センターに来ているわけではありません。 本当に家にいるんです。 それでホームオフィスを作りました。 おっと。 それじゃない。 |
| |
私たち全員と同じように。 私は自宅でこのカンファレンスの司会をしています。 しかし、企業の背景に切り替えて始めましょう。 |
| |
それで、何を話せばいいのでしょうか? |
| |
そうですね、JMP リリースがあるとき、JMP リリースに沿ったカンファレンス アライアンスが開催される年については、それについて話しますが、隔年では、私はいつもトピックを選ぶだけです。 そこで、ある年は大きな統計を、翌年はゴーストデータを、あるいは秘密の機能を選んだのです |
| |
二年前。 今日のテーマは、A で始まる大きな言葉です。 |
| |
さて、これらは JMP を開発するためのテーマを特徴づける言葉です。 それでは、画面を共有させてください。 |
| |
と |
| |
最小化する |
| |
ここ。共有。 |
| |
では、どのテーマが最も重要なのでしょうか? そして、ここに、文字 A で始まる 3 つの単語があります。 |
| |
先ほどジェフが言ったように、まずアナボリックです。 そうですね、アナボリックとは筋肉を成長させ、JMPをより強力にすることです。 |
| |
同化プロセスは器官や組織を構築し、これらのプロセスは細胞の成長と分化を引き起こして体のサイズを増加させます。 |
| |
したがって、JMP の力を高めることが機会となり、それはもちろん非常に重要ですが、次のことは |
| |
JMP をよりセクシーに、より刺激的に、そして発見のスリルをもたらす媚薬。 したがって、それも属性にしたいと考えています。 |
| |
しかし、私たちは作業の流れ中の進捗状況も気にかけているので、鎮痛剤は 3 番目の単語であり、痛みの軽減を意味します。 |
| |
痛みの緩和。 |
| |
そこで、人々には次のような想像上の引用文のようなことを表現してもらいたいと思います。\!「バージョン 15 が役に立ちました...以前は苦労しなければならなかった数時間、場合によっては数日の作業を節約できました。\!」 それはかなりの痛みの軽減です。 |
| |
または、\!「以前はそれぞれを個別に行う必要がありましたが、今ではすべてを一度に行うことができます。\!」 そこでは多くの痛みが軽減されます。 または、\!「以前はすべてを行うために他のいくつかのツールを使用する必要がありましたが、今では JMP ですべてを行うことができます。\!」 |
| |
または、「!」私はそれがとても簡単にできる方法を同僚に見せました。 そして彼らは驚きました。\!」 または、\!「以前はすべてを手動でプログラムする必要がありましたが、今ではマウスを数回クリックするだけで完了します。\!」 |
| |
または、\!「JMP のおかげで、業務の詳細に気をとられすぎず、データの分析に集中できるので、スムーズな流れが保てます。\!」 これらは私たちが聞きたい痛みの緩和の表現です。 |
| |
さて、なぜ痛みやフラストレーションが本当のやる気を失わせるのか。 流れが重要です。 フロー状態では気が散りません。 フロー状態にあるときは、データから何かを学び、発見する可能性が高くなります。 |
| |
権限を与えることも重要ですが、新機能は少数の人だけが使用し、古い機能は多くの人が使用する傾向があります。 したがって、古い機能をより良く動作させたいと考えています |
| |
使用時の痛みを軽減します。 そしてもちろん、生産性は、時間の使い方に関してツールがどれだけ効果的であるかに大きく依存します。 したがって、結果をより簡単かつ迅速に得ることができれば、それは大きな勝利です。 それでは、たくさんの例を見てみましょう。 |
| |
まず、データ テーブルに付属するスクリプトです。 ここでは、JMP の以前のリリースの例を並べて示しています。 JMP 14 または 13 だと思います。 |
| |
以前は、このボタンをマウス キーを押し続けるとメニュー項目が表示され、そのスクリプトを実行するための実行ボタンが表示されていました。 |
| |
しかし、新しい方法では、スクリプトのすぐ隣に再生ボタンがあるだけです。 そのため、再生ボタンをクリックするだけで、メニューをプルダウンする手間が省けます。 |
| |
まあ、それは大きな勝利ではありません。ボタンをクリックすることとメニューをプルダウンすることの違いだけでは、それほど大きな違いはないと思います。 しかし、これは新規ユーザーにとっても大きなメリットです。なぜなら、新規ユーザーは理解する必要がなくなるからです。 |
| |
ホットボタンの下に実行があることを示します。 しかし、スクリプトのすぐそこに再生ボタンがあります。 そして、これらがスクリプトであるという理解が深まりました。 |
| |
また、データと一緒にスクリプトを保存できる機能は JMP では非常に重要であり、それをすぐに知ってもらいたいと考えています。 |
| |
そして、それがそのやり方であることを知るために、2匹ほど釣りをしたり、ティップを見たりする必要はありません。 すべてのスクリプトを保存できるのは非常に便利です |
| |
データ テーブル自体内に保存する必要があり、他の場所に保存する必要はありません。 したがって、新規ユーザーにとっては再生ボタンです。 つまり、その単純な変更だけで痛みが軽減されます。 |
| |
これは、JMP でもっと早くに実施しなかったことを後悔している変更です。 |
| |
データの準備について話しましょう。 データを準備するときに行う必要がある重要なことの 1 つは、複数のソースからのデータを結合することです。 |
| |
現在、JMP はバージョン 1 からでもユーティリティに参加する必要がありました。 ただし、これには依然として複雑な対話と複数のデータ テーブルの操作が必要です。 |
| |
これが映画をレンタルしている古典的な例です。映画レンタルのトランザクション テーブルがあります。 |
| |
そこには顧客、商品番号、注文日、注文年が含まれており、さらにレンタルする映画の在庫と各映画の詳細がわかります。 そして、顧客...顧客に関する情報などがあります。 そして、次のような 3 つのテーブルすべてを含めて質問したいと考えています。 |
| |
映画のどのジャンルにどの性別が多いか。 まあそれには関係がある |
| |
3 つのテーブルすべてにまたがって実行します。もちろん、これを行うには join コマンドを使用します。 私は取引データを取得し、 |
| |
それを顧客と融合させます。 もちろん、顧客IDも一致します |
| |
列に一致しないものをトランザクション側から含めたいと考えています。 したがって、顧客データがなくても、トランザクション データは失われません。 これは左外部結合と呼ばれ、新しいデータ テーブルが作成されます。 そして今度はそのデータテーブルに結合したいと思います |
| |
在庫データに。 そこで、一致する項目番号でそれを結合し、左外部結合も必要であることを確認しました。 |
| |
別のテーブル。 これで、3 つのテーブルの代わりに、その結合の結果である 5 つのテーブルができましたが、ジャンルごとに性別の質問に答えることができるようになりました。 |
| |
性別はどのタイプの映画をより多くレンタルする傾向があります。 |
| |
また、これらすべての新しい中間データ テーブルの作成も必要でした。 |
| |
実は、もっと簡単な方法があり、これらの追加の手順と追加のテーブルの手間を大幅に軽減できることがわかりました。 それでは、このテーブルをこのテーブルで元に戻します。 |
| |
テーブル コマンドの下に JMP クエリ ビルダーと呼ばれるコマンドがあり、これにより続編の機能が起動されることを指摘したいと思います。 |
| |
テーブルを結合する場合、他のすべての結合ダイアログよりもはるかに簡単ですが、それでも新しいデータ テーブルを作成します。 |
| |
しかし、数年前のリリースで、痛みをさらに軽減するさらに優れたものを発表しました。それが仮想結合です。 この取引テーブルを見ると、 |
| |
すでに参加していることに気づきました。 |
| |
それで、何が起こったのかというと、映画在庫表を作成したときに、商品番号によって一意に識別されるようになりました。 それで、商品番号を教えます |
| |
リンク ID は、それによって一意に識別されることを示しており、それがそのテーブルにインデックスを付ける方法です。 同様に、顧客データを識別するためのアイテム ID もあります。 そして、トランザクション データを準備するとき、これら 2 つは、ある意味、外部キーを持っています。 |
| |
リンク参照と、それを識別する ID によって異なるデータ テーブルを参照しています。 そして、自動的にリンクされるので、その質問に答えるために必要なものはすでにすべて揃っています。 だから私はできる |
| |
それぞれに |
| |
性別、できます |
| |
やりたい映画のジャンルを見つける。 ここで、アクション映画は男性に好まれ、ファミリー映画は女性に好まれていることがわかります。 |
| |
女性によるラブコメなど。 したがって、テーブル全体でこれらの ID 列を一致させることによって仮想的に結合されるため、すべての結合を実行する必要がなく、3 つのテーブルに関する私の質問に回答しました。 |
| |
それで私は作りました |
| |
それによる痛みの大幅な軽減。 それでは実際のところ、これを閉じましょう。 |
| |
したがって、データ テーブルの結合により、リリースに伴う多くの苦痛が軽減されたと思います。 |
| |
レコーディング、 |
| |
これは、データセットを準備するときに行う主な作業の 1 つです。 |
| |
何年も前のリリースでは、非常に単純な再コーディングから始めました。そこでは、古い値と新しい値のフィールドだけがあり、新しい値は古い値と同じ値で開始され、その後、それらの値をカットアンドペーストまたは編集できます。再コードする順番 |
| |
新しい列または既存の列に挿入します。 |
| |
そして、リリースごとに再コード化が劇的に改善されており、私たちはその現状に非常に興奮しています。 それでは、この病院、地方病院のデータセットを見てみましょう。 そして今、再コードはすぐに行われます |
| |
列ヘッダーの右ボタンまたは右クリック メニュー。 そして私は通り抜けることができます |
| |
多数のものを選択し、クリニックなどの新しい値にグループ化します。 |
| |
しかし、ショートカットもたくさんあると思います。 私のお気に入りのショートカットの 1 つは、 |
| |
類似した値をグループ化します。 したがって、文字の違いの数などについて何らかのしきい値を指定すると、それらすべてが自動的にグループ化されます。 したがって、スペルがわずかに異なるすべての地方病院が 1 つにグループ化されます。 |
| |
そして、私はまだできる... |
| |
1つ逃したようです。 でも大丈夫、これでその 1 つを他のものとグループ化できます。 |
| |
すべての田舎の病院は一致するものによって自動的にグループ化されており、ここで追加の病院を一致させることができそうです。 |
| |
そして今、突然何かを手に入れました。 すべての再コーディングにかかる労力を大幅に節約できました。 |
| |
そしてもちろん、JMP 15 では新しい機能が追加されました。ここでは説明しませんが、指摘しておきたいと思います。 すべてのデータセットが含まれる別のデータセットがある場合、 |
| |
...これらのカテゴリに最適なカテゴリ名があれば、マッチング プロセスを実行し、これらすべてに一致するものが見つかったときに最も近いものを選択させることができることが証明されました。 それで |
| |
そのため、recode は、その操作の苦痛を軽減するために、リリースにわたって多くの進化を遂げてきました。 そしてもちろん、それについて考えてください。 データの準備と分析にどれくらいの時間がかかりますか? |
| |
多くの場合、時間の 70 ~ 90% がデータの準備に費やされます。 したがって、その痛みを軽減し、その時間を短縮することが大きな成果となります。 したがって、レコーディングの痛みが軽減されます。 |
| |
値をクリックします。 こちらです |
| |
都市データセット。 |
| |
そして、これらの事柄の詳細を調べているときに、何かの外れ値である可能性があるため、それをより詳細に調べたいと仮定してみましょう。 それで、それをリンクに変えることができます。 それでは、しましょう |
| |
それをウィキページ、ウィキメディアページのものに変えてみましょう。 そこにあるテキストをコピーして列情報に移動し、それをリンク (式ハンドラー) に変換します。 |
| |
そして今、私は取ることができます |
| |
これ |
| |
テーブルを作成し、Web に変換します |
| |
住所。それで |
| |
wikipedia.org にアクセスして、 |
| |
その都市の名前をタイトルケースに変更すると、その行でテストでき、アルバニーが表示されます。 |
| |
それで今、私は言います... |
| |
ああ、わかりました。 |
| |
そして、任意の都市をクリックすると、その都市に関する Wikipedia の記事を取得できるようになりました。 または、マップ座標に変更することもできます。 それで、私はできる...そのテキストをコピーして列情報に行きましょう。そして今度はその代わりに、 |
| |
それに対してタイトルケースを行います。 |
| |
それが正常に解析されるかどうかを確認してみましょう。 そして、デンバーをクリックすると、デンバーと Google マップがクエリされるようになりました。 |
| |
さて、やるべきことをリンクにしました...検索や地図リクエストなどを行うことができます。 私もできます |
| |
これを貼り付けてクリックすると、都市の名前を読み上げます。 これにより、データ テーブルにリンクを保存できるようになり、大きな力が得られると思います。 |
| |
Web ページへのリンクやその他の処理など、ACL で表現できることはすべて、これらのイベント ハンドラーで実行できます。 そのため、かなりの痛みを軽減することができます。 |
| |
私のお気に入りの痛み軽減テクニックの 1 つはブロードキャストです。これは、command キーまたは control キーを押しながら複数の処理を実行するもので、類似した分析が多数あります。 そして |
| |
これは、メニュー コマンドだけでなく、多くのボタンや、グラフ フレームのサイズ変更やその他の操作、グラフへの貼り付けなどにも機能します。 |
| |
それでは、その例をやってみましょう。 そして、...をクリックしてみましょう。または、これらすべての列に対して分布を実行します。 |
| |
そして、私が取り除きたかったとしましょう |
| |
この箱ひげ図。 |
| |
そして、私がただ押し続けていたら |
| |
そのメニュー項目がある場合は、その項目の箱ひげ図を削除します。 しかし、私がやりたいのは、すべての項目の箱ひげ図を削除することです。 そこで、コマンドキーを押しながら箱ひげ図のチェックを外します。これで、これらすべてのチェックが外されます。 分位点のチェックを外せるようになりました |
| |
そして、そのコマンドを受け取り、そのウィンドウ内のすべてのアクティブなオブジェクトにブロードキャストするため、すべてのチェックが解除されます。また、そのコマンド、たとえば分位数コマンドを理解するアクティブなオブジェクトについては、そのコマンドに従います。 |
| |
今では、対話を促すことに関連するいくつかのことでも機能します。 それでは、要約統計を見てみましょう。 コマンド キーを押したままにして、概要統計をカスタマイズしてみましょう。 |
| |
そして、信頼限界は必要ありませんが、欠損値の数が必要だとします。 そして、私はこう言います、わかりました、そしてそれはすべてに適用されます... |
| |
すべてのこと。 そのためには、次のことを行う必要があります |
| |
その対話の結果を取得し、そこからスクリプトを作成し、そのスクリプトをそのウィンドウ内の他のすべての場所にブロードキャストします。 |
| |
今では、それは常に起こるわけではありません。 プロンプトが表示される場合、分析ごとにプロンプトが表示される場合があります。 リリースを試みるたびに |
| |
いくつかの詳細を実装するには、ブロードキャストの前にダイアログを実行して、利用可能なすべての場所に同じダイアログをブロードキャストします。 そしてもちろん、変更をブロードキャストできる他のすべてのアイテムも変更されます。そうしないとブロードキャストできます。 |
| |
背景色を変更すると、すべてのプロットのすべての背景色をオレンジ色に変更できます |
| |
そのフレームボックスに関連していると思われるもの。 したがって、このブロードキャストは非常に強力なツールになります。 |
| |
それで、 |
| |
これで私たちのほとんどにとっては大きな苦痛が軽減されましたが、今年の初めに報告されたように、グループごとに 40,000 件がある場合がまだあり、彼は 40,000 件すべてについて逆予測を実行したいと考えており、それが 40,000 回プロンプトを表示します。 |
| |
バージョン 16 では修正される予定です。 これは、その 1 人のユーザーにとっては大きな苦痛の軽減になります。 |
| |
数式列を保存します。 |
| |
私は数式列が大好きです。 モデルを近似するときに、予測の列を保存できます。 しかし、その予測にはライブ式があり、その式を調べたり、変更したり、入ってくる新しいデータに適用したりできます。 保存式にプロファイルすることができます。 あなたはできる |
| |
あなたが持っている場合 |
| |
JMP Pro では、配合倉庫に行ったり、他の多くのことを行うことができます。 そこからコードを生成することもできます。 したがって、数式を保存する機能は重要ですが、場合によっては |
| |
たとえば、グループごとに保存する場合、数式の保存には非常に複雑な操作が必要になります。 |
| |
たとえば、当てはめてみましょう。これは糖尿病のデータで、応答を当てはめます。 |
| |
これらすべての予測因子に対して、性別ごとに個別に実行したいと考えています。 |
| |
それでは、そうしましょう。 |
| |
したがって、性別 1 と性別 2 のグループごとに 2 つあります。 そして今、保存したいとしましょう |
| |
実際には、これら両方の予測値です。 今 |
| |
昔、私たちがこれに多くの痛みを和らげる方法を適用する前、 |
| |
それを保存するとどうなるかというと、ローカル データ テーブルに保存されます。 REDO の下のデータ テーブル ウィンドウを見ると、グループごとのテーブルが表示されます。 |
| |
実際、gender=1 の場合、この仮想データ テーブルには 235 があり、gender=1 の場合に表示できます。 ここには、グループ別を示すテーブル変数があります。 |
| |
そして、実際に保存されている実際のテーブルではなく、この一時テーブルに保存されます。 |
| |
しかし |
| |
先ほど、予測式を保存したときに、それを実際のデータ テーブルに保存しました。 これを見ると、gender=1 として保存しただけです。 |
| |
その式を見ると、gender=1 (by group 節) の場合、その変数の予測を形成する線形結合があることがわかります。 |
| |
次に、gender=2 を実行するか、コマンド キーを押して予測式をブロードキャストすると、その両方が含まれ、性別 1 と性別 2 で両方の句を使用できるようになります。 したがって、グループごとにその出力に毎回句を追加します。 |
| |
ちなみに、他のものを保存するときも、残差の列を保存するときにも同じことが起こります。今回はコマンドキーを押したままにしてみましょう。 |
| |
残差の列を保存すると、それがグループごとに保存され、その残差に適した残差がグループごとに保存されます。 元の応答から予測された数式を減算したようなものですが、今回は数式列ではありません。 |
| |
JMP のほぼすべての場所で、すべての場所で実行したわけではありませんが、ほとんどの場所で実行し、グループごとに保存しました。 |
| |
場合によっては、where 句を使用して、if ステートメントの条件を使用して元のデータ テーブルに保存します。 さて、それでは終わりました |
| |
多くの労力を節約できました。 それが利用できなかった場合、tt は一時テーブルに保存され、その数式を切り取って貼り付け、元のテーブルに if テーブルを作成する必要がありました。 そこで、これらの問題を解決しました。 ここで、もう一度保存し、そのプロセス全体をもう一度実行したとします。 |
| |
と |
| |
そして、別のことを行いました。たとえば、別の変数を使用して、それらの一部を削除しました。 |
| |
そして今それを再び保存しました。 |
| |
それで、 |
| |
予測式を保存します。今回はブロードキャスト キーを押したままにします。実際には、古い式に保存するのではなく、新しい式が作成され、その後に 2 が追加されます。 では、古いものに保存しないことはどのようにしてわかるのでしょうか? |
| |
さて、各フィットには ID があります。 そしてプロパティを見てみると |
| |
ID ごとに番号があり、フィットごとに再生成される一意の番号があるため、ID ごとに異なる限り、 |
| |
異なる by グループは、1 つの by パーティションと同じ ID を持ちます。 ただし、ID が同じである限り、同じものに保存されます。 それ以外の場合は、フォームに新しい場所を作成して保存します。 |
| |
また、予測値と言うときは常に、 |
| |
特に予測式、 |
| |
属性、作成者、場合によってはその他の情報が作成されます。 この場合、ターゲット変数 y があり、それが予測対象であり、作成者は最小二乗法を当てはめます。 |
| |
そして、JMP Pro モデル比較などの他のプラットフォームを実行すると、そのモデル比較により、どの予測値がどの作成者、どのターゲットを参照しているかがわかります。 したがって、これらの付加価値プラットフォームに関するすべての情報を追跡できます。 |
| |
それで、 |
| |
数式列は新しい句を追加することで機能し、ID 別などの他のプロパティが使用されます。 |
| |
そして、予測句をカテゴリ変数に保存すると、各応答レベルの確率を含む変数の範囲全体が保存され、すべてのメタデータとニーズが含まれます。 そしてそれは多くの痛みを軽減するはずです。 |
| |
それで、 |
| |
モデルからエフェクトを削除します。 |
| |
さて、例を見てみましょう |
| |
フィッティングの |
| |
身長を体重で合わせるだけです。 |
| |
さて、これが高次多項式の例です。 これは 7 次多項式です |
| |
それよりもよくフィットする |
| |
6次多項式など。 しかし、その適合性を信じられますか? |
| |
高多項式項を導入するか、より多くの変数を導入するだけでモデルに多くの柔軟性を与えると、適合する機会がさらに多くなることがわかります。 そしてこの場合、それは |
| |
最後のデータ ポイントをより適切に適合させるために、前のデータと最後のデータ ポイントの間を詳細に調査する柔軟性が可能になります。 |
| |
そしてそれは過剰適合です。 それは方法です...それは、ノイズをフィッティングするのではなく、そのパラメータを使用しています。 |
| |
データ自体。 |
| |
そのため、大きなモデルがある場合には常に過剰適合が問題となります。 それで |
| |
ノイズではなく信号を適合させたいのです。 そうですね、大規模なモデルでは、予測により多くの変動が導入される傾向があります。なぜなら、予測は結局のところ、 |
| |
彼らが使用している y 変数の関数ですが、その y 変数は、その変数の体系的な部分と、その変数部分の場合はその変数のエラー部分を加えたものです。 |
| |
がランダムな場合、予測にはそのランダム性が含まれます。 柔軟性を高めすぎると、次のような結果になります。 |
| |
モデルにすべての変数を含めることで、さらに悪くなることが予測される過学習問題。 |
| |
したがって、これを解決するには、モデルを縮小するか、モデルのサイズを減らすか、モデル内の係数のサイズを減らすことです。 |
| |
そのため、モデルのランダム項からの変動が予測値に伝達されることが少なくなります。 など |
| |
小規模な DOE 問題では、データが小さく、目的のモデルに正確に適合するようにバランスが取れているため、これは問題になりません。 しかし、大規模なモデルの観測データの場合、過剰適合は大きな問題になります。 |
| |
そのため、JMP Pro に相互検証を導入するまで、ユーザーはそのことをよく理解していませんでした。 したがって、JMP Pro をお持ちの場合は、検証列をセットアップできます。 |
| |
これは、そのホールドバック データ セットの誤差を推定するために、データの一部をホールドバックします。 そして、これが私が持っている例です...具体的なプロパティを予測しようとしています |
| |
コンクリート中のこれらすべての成分に応じて、私はそれのための巨大なモデルを持っています。 そして、そのモデルを実行するだけですが、データの一部を保留して、そのモデルの R 平方を見ると、 |
| |
SLUMPの私にはぴったりです。 R 2 乗は 79 ですが、当てはめた検証セットでは R 2 乗が負になります。 |
| |
R 二乗が負である場合は、単に平均値を近似するよりも近似度が低いことを意味します。 したがって、平均値を当てはめると、R 二乗はゼロになります。 このモデル全体を当てはめると、R 平方はそれよりもはるかに悪くなります。 したがって、大規模なモデルでは、単に平均値を当てはめるよりも悪くなる可能性があります。 |
| |
モデルが非常に大きいのに、モデルのサイズを縮小する努力も何もしなかったので、これは一種の有益ではありません。 モデルは信号ではなくノイズによって支配されています。 したがって、これは注意を払う必要がある問題です。 |
| |
したがって、重要なのはモデルのサイズを縮小できることです。 |
| |
そして今、それを行うためのモデル ダイアログ コマンドを導入しました。 |
| |
withモデルと一緒に糖尿病について見ていきましょう。 |
| |
このモデルを実行できますが、これらの多くの重要ではないものを取り除きたいとします。 ご存知の通り、年齢です |
| |
モデルへの寄与はまったく重要ではないため、age を削除したいと考えています。 それなら、フィットモデルに戻って、 |
| |
それを思い出すか、それから年齢を排除してください。 または、ここでモデルのダイアログに直接戻って年齢を適合させて削除することもできますが、ここにはモデルの長いリストがあり、これらのことを行うために行ったり来たりするのはかなりの作業量です。 |
| |
それで、それをするよりも... |
| |
見てみましょう、私はここで何をしているのですか。 |
| |
数年前のリリースで、効果の概要と呼ばれる新しいレポートを導入しました。 |
| |
また、効果の概要を使用すると、モデルをサブセット化して予測を改善することが非常に簡単になります。 |
| |
柔軟性が低くなります。 |
| |
だから私は、「年齢、それを取り除くことができます」と言うことができます。 |
| |
あるいは、変数がたくさんあります。 さらに3つ削除しましょう。 |
| |
LDL、そうですね、それはより重要に思えます。 それで、そのモデルを保存することができます。 |
| |
それをデータテーブルに保存しましょう。 |
| |
そして、後で戻ってきて、「これを搭載したモデルを思い出させてください」と言います。 |
| |
実は前のことを元に戻すことができます。 そして、それを元に戻すことができ、元に戻すことができます |
| |
変数のうち 3 つを変更すると、それを元に戻すことができ、年齢が戻ります。 したがって、エフェクトの概要を使用してモデルを編集すると、これらすべてのメモリが実際に保存されます。 そしてそのスクリプトを見ると、 |
| |
この歴史のことがわかります。 したがって、エフェクトモデルを実行するたびに、履歴の節が保存されます。 そして、元に戻すと、その履歴まで元に戻されます。 |
| |
なので取り外しも簡単です。 物を追加することもできます。 この 2 つを差し引くと、元に戻すことができます。 たとえば、年齢を追加することもできます。 |
| |
良いことじゃないけど、やればできる。 モデルの小さいバージョンを持ち帰ってモデルを編集することもできます。 |
| |
モデルダイアログの追加や複合効果などを追加します。 |
| |
さて、大規模なモデルでは別のことが起こります。 |
| |
(これを元に戻します)。 |
| |
大型モデルでは、 |
| |
たくさんの仮説検証を行っています。 |
| |
したがって、多数の仮説テストがある場合は、考慮すべき調整がいくつかあり、そのうちの 1 つは誤検出率と呼ばれます。 したがって、これらすべての p 値を独立したテストであるかのように扱う代わりに、 |
| |
これらの p 値が複数のテストのバイアス、モデルのサブセット化に関係する選択バイアスに対して調整されるように調整を適用したいと考えています。 それで、誤検出率を適用することができます |
| |
それに対する修正。 したがって、通常の p 値の代わりに、誤検出で調整された p 値を使用します。 そして今、私はより現実的になっています。 これは、過剰適合の問題と仮説、つまり多数の多重テストを行う際の選択バイアスの問題を解決するのに役立ちます。 |
| |
もの。 |
| |
それで、 |
| |
今 |
| |
しましょう |
| |
次のトピックを実行すると、それが変換になります。 |
| |
仮定する |
| |
モデルをやりたいのですが、 |
| |
しかし |
| |
y の代わりに、y の対数を当てはめたいとします。 |
| |
さて、データセットに新しい列を作成する前に、 |
| |
ログy、 |
| |
そして Log y については、 |
| |
...を指定してください |
| |
式を実行します。 |
| |
そして私は取ることができます |
| |
それのログ。 |
| |
これで、モデルの仕様に戻ってログを実行できます。 |
| |
そして私は体調を整えました。 |
| |
ああ、足りない、どうしたの? |
| |
を入力するのを忘れた |
| |
目的、主張。 |
| |
そして今、私はできるのです |
| |
Y の対数を当てはめる |
| |
そしていま |
| |
やったよ。 しかし、プロファイラーを実行しましょう。 |
| |
私のプロファイラーは Y のログに関するものです。 予測値を保存しましょう。 私の予測式は y の対数に基づいています。 |
| |
そして今度はそれを手動で編集する必要があります... |
| |
その式を使ってその指数を計算します |
| |
元のスケールに戻すためです。 そのため、そのように変換を行うのは非常に面倒です。 |
| |
まあ、数年前のリリースですが、 |
| |
変換を導入しました。 |
| |
それで私はその変換を行うことができ、 |
| |
それをログに変換します |
| |
そして今度はそれを変換としてそこで直接使用し、データテーブルの一部ではありません。 これは数式を持つ仮想変数ですが、データ テーブルには追加されません。 |
| |
これで、モデルを Log y に適合させることができます。 しましょう |
| |
年齢を取り除くと、少しフィット感が良くなります。 |
| |
おっと。 |
| |
それも選択していたら。 |
| |
これで、応答 Log y が当てはめられました。 |
| |
それで、それをプロファイリングすると、何が得られるのでしょうか? |
| |
因子プロファイリング、プロファイラー。 y のログをプロファイリングする代わりに、y をプロファイリングします。 プロファイラーはそれを変換として見て、その変換を反転して元のスケールに戻せると言います。 そしてそれがそれです。 |
| |
それ |
| |
変換を解除し、y の対数を介して逆変換して予測を取得し、元のスケールに置きます。 |
| |
そして、巻き戻すことができるほとんどの変換に対してこれが行われます。 変換に複数の変数などが含まれる場合、変換は実行できず、変換のみが行われます。 それでオリジナルは |
| |
列を保存するときも同じです。 予測式を保存すると、 |
| |
y の対数ではなく、y のスケールで予測式を保存します。 |
| |
したがって、これらのことは信じられないほど時間を節約し、変換を使用する際の多くの労力を節約します。 |
| |
それで、そこには... |
| |
私にさせて |
| |
また糖尿病に行く |
| |
そして別のことを行います...別の変換を検討してください。 |
| |
変数をやっていると、 |
| |
ボックス-コックス変換が可能です。 |
| |
と |
| |
因子プロファイリングの中で、Box-Cox オプション |
| |
あらゆる範囲のべき乗関数を変換したかどうかを示します。 |
| |
どうするのが一番いいでしょうか? 変形しないだけでいいのでしょうか? これは Box-Cox ラムダ値 1 になります。 |
| |
ゼロを実行した場合、それはログを取ることと同じになります。 -1 を実行した場合、それはその逆数を取ることと同じになります。 |
| |
-1までのパワー。 0.5 程度を実行した場合、それはその平方根を取ることに相当します。 |
| |
そして、ラムダが 0.453 である平方根変換に沿ったものであれば、このモデルはその変換に合わせて調整された変換スケールによりよく適合することがわかります。 これは、Box-Cox 変換における最適値です。 |
| |
そして、これを拡大することができます |
| |
拡大鏡を使って取得します |
| |
より正確に取得するために。 |
| |
それで、 |
| |
これで変身できるようになりました、そして数回前のリリースで |
| |
できます...いくつかの列を追加しました。 1 つは、transform を使用して再調整され、変換応答を含む新しいウィンドウが作成されます。 |
| |
そしてもう 1 つは、transform を置き換えることです。これを実行するつもりです。 .453 ではなく、平方根変換 (.5) を実行し、その変換でモデルを適合させます。 |
| |
そして今、ラムダの最適値は 1 付近になっています。これは、Box-Cox 変換によってすでに一度に変換されているため、本来あるべき値です。 そして、その予測値を保存できるようになりました。 |
| |
プロフィールなど。 そして、それを元に戻すこともできます。 そのため、その変形が気に入らず、元に戻りたくなった場合は、元に戻って再調整することができます。 |
| |
それで、 |
| |
私たちは痛みを大幅に軽減しました |
| |
変化する反応において。 |
| |
それで今 |
| |
大量のデータがある場合には、特別な痛み、特別な場所が発生します。 |
| |
そして、私たちは大きな問題をより少ない苦痛で解決しようと多大な努力を払ってきました。 |
| |
たくさんの行、たくさんの列、たくさんのグループ、試したいモデルがたくさんある場合でも、 |
| |
今日の世界では、私たちは大きな問題を抱えたビッグデータの世界に住んでいます。 |
| |
したがって、もともと小さな問題を処理するように設計された分析がある場合、それは大きな問題には適切ではない可能性があります。また、大きな問題の中心的な問題は、出力が多すぎて分類できないことです。 |
| |
同じモデルを 1,000 個の変数に当てはめると、1,000 個のレポートを分類する必要があります。 1,000 列の中から外れ値を探している場合、列ごとに個別のレポートが作成されるなど、外れ値だけが存在します。 できるようになりたいです |
| |
大量の大規模なデータセットをより効率的に処理できます。 そこでスクリーニングメニューを開発しました。 |
| |
これは、これらの大きな種類の問題を解決することを目的としています。 さらに、JMP には、大きな問題をより適切に解決する場所がたくさんあります。 たとえば、時系列です。 新しい時系列予測プラットフォームは、1 つの時系列だけではなく、多数の時系列を予測します。 |
| |
したがって、スクリーニング プラットフォーム上のアイテムは、外れ値を調査し、欠損値を調査し、パターンを調査します。 これらは、データのチェックを行ってから、関連性の検索、応答のスクリーニング、 |
| |
プロセススクリーニング、予測変数スクリーニング。 もちろん、時系列予測も新しい項目です。 スクリーニングメニューにはありませんが、大きな問題に対応するためにまとめられています。 |
| |
これらすべては、結果を表現するためのよりコンパクトな方法を利用して、何千ものレポートを作成する必要がないだけでなく、計算効率も高めています。 マルチスレッドを使用するため、 |
| |
複数の |
| |
CPU にコアを追加して非常に高速にします。 |
| |
したがって、大量のプロセス データを取得したとします。 568 個の変数があります。 では、これらの変数のうち、どれが健全に見えるでしょうか? プロセス スクリーニングはそれに答えるように設計されています。 したがって、安定性で並べ替えたり、機能 (Ppk) で並べ替えたり、どれが不良か、または次の基準で並べ替えたりすることができます。 |
| |
管理図のメジャー、管理外のアカウントなど。 |
| |
しかしさらに...私がさらに気に入っているのは、すべてのプロセスを 1 つのグラフに表示するいくつかのツールです。 そして、その中に私が大好きな二人がいます。 1つは、 |
| |
を示す目標プロット |
| |
各プロセスが仕様制限に対してどのように動作するか、また、それが有効なプロセスである場合は、このグリーン ゾーンにあります。 |
| |
限界の場合は、黄色のゾーンにあります。 そうでない場合はレッドゾーンにあり、高い場合はばらつきが大きすぎます。 それがもう一方の側にある場合は、問題が発生します。 |
| |
と... |
| |
中心から外れています、目標から外れています。 |
| |
しかし、グリーン ゾーンにある場合は、それは良いプロセスであり、バージョン 15 では、 |
| |
グラフレット、ホバーヘルプ |
| |
各プロセスにマウスを置くと、各プロセスが表示されます。 そしてもう一つは |
| |
これらすべてを要約し、これらすべてのレポートに目を通す煩わしさを軽減するために私が気に入っているのが、このプロセス パフォーマンス グラフです。 したがって、縦軸は、能力 Ppk による仕様制限内にあるかどうかを示します。 |
| |
したがって、このラインである 1.33 を上回っている場合は、スペック制限に関する値の分布に関しては問題がないと考えられます。 スペック制限内に十分入っています。 |
| |
...の場合、安定性指数は x 軸上にあります。 したがって、それが非常に不安定なプロセスである場合は、たとえ有能であっても不安定である可能性があります。 したがって、そのプロセスを見ると、いくつかの点があるかもしれません |
| |
一部を徘徊する安定の物。 黄色のゾーンにいる場合は、 |
| |
有能だが不安定など。 レッドゾーンは、無能で不安定な悪いゾーンです。 そのため、数百、数千のプロセスを確認することは、以前は非常に困難でしたが、今では簡単になっています。 |
| |
質問は、何が最も変わったかということです。 ここにいくつかの調査データがあります。 |
| |
長年にわたり、あなたは彼らの活動について質問しました。 しましたか? |
| |
キャンプに行く? それともカジノでギャンブルしますか? それとも風邪をひいたのですか? ご存知のように、これらすべてのアクティビティがあり、これらすべてのアクティビティのうちどれがどれであるかを知りたいと考えています (そして、 |
| |
95 の異なるアクティビティのうちどれが最も大きな違いを生んだかと思います。 それで、あなたが探しているのは、ご存知のとおり...あなたができることの 1 つは、一度に 1 つずつ調べていくことです |
| |
そしてその活動を調査年ごとに当てはめます。 |
| |
一度に一つずつ見るのではなく。 回答スクリーニングを見ることができます |
| |
1 つのグラフを見て、何が最も変化したかを確認してください。 |
| |
これは、これら 95 個すべてのグラフを示しています。 まず、P 値の負の対数での有意性、 |
| |
これをログ価値と呼び、誤検出率に合わせて調整されます。 そして、それらすべての p 値を並べ替えるので、その選択バイアスの一部が処理されます。 |
| |
そして後ろを選択します...低いP値。 そして、ビデオテープのレンタルが最も大きな変化をもたらしたのは、ビデオカセットテープでしたが、もちろん、それらは時代遅れになりました。 それで、もちろん変わりました。 |
| |
またビデオカセットテープも大きく変わり、回収する物もリサイクルも大きく変わり、我が家の人々を楽しませるものも大きく変わりました。 |
| |
それほど重要ではありませんが、効果の大きさは次のとおりです。インターネットを使用していますか。 そしてもちろん、この調査はインターネットが存在する前に開始されました。 そして、それは大きく変わりました。 では、何が最も変わったかという質問は、 |
| |
以前は難しかったが、今では簡単です。 |
| |
ビッグデータに関してもう 1 つの質問がありましたが、欠損値はどこにあるのかということです。 それで、ここにあります |
| |
280 個の変数。 |
| |
欠損値はどこにあるのでしょうか? それらについて心配する必要はありますか? そして、欠損値の探索レポートを見ると、これらの変数のうち欠損値があるのは 5 つだけであることがわかります。 |
| |
それらの中には、変数と欠損値が 1 つしかないものもあれば、多数の変数があるものもあります。 したがって、分析、つまり多変量分析を行うときは、おそらく次のことを含めたくありません。 |
| |
452 個の変数のうち 376 個。 または、J を含めたい場合は、次のようにすることができます。 |
| |
そしてそれらの欠損値を代入します |
| |
そうすることで、わかりました。 |
| |
それで、 |
| |
次の質問は、データに外れ値があるかどうかです。 |
| |
そうですね、このプロセスでは 387 回の測定値があります。 そして、そこに異常値があるかどうかを知りたいのです。 そのため、現在はスクリーニングメニューにそれを行うための機能が用意されています。 できます |
| |
これを多かれ少なかれ敏感にします。 |
| |
もっとセンシティブにしましょう |
| |
そのため、外れ値が少なくなり、再スキャンが行われます。 |
| |
見ることができます |
| |
で |
| |
ナインズ。 欠損値を表すために 9 の文字列が使用されることがよくあり、それらの 9 は実際の 9 である可能性がありますが、欠損値を示す単なる指標である可能性があります。 それで、これらについて、これらの 9 を欠損値コードに追加すると、メモリが変更されたと言えます。 |
| |
そして今、できるようになりました |
| |
戻って (ここには変数がたくさんあります)、再スキャンすると、心配する欠損値が少なくなります。 |
| |
そのため、外れ値を探索するのはかつては苦痛でした。 |
| |
依然として大仕事になる可能性がありますが、以前に比べてはるかに簡単になりました。 |
| |
バージョン 15 では、別のスクリーニング プラットフォームを追加しました。 データに疑わしいパターンはありますか? ここに臨床試験の実験データがあります。 これはニカルジピンの検査パターン データです。 27 件の検査結果があり、調べてみたいと思います。 それで私は呼びます |
| |
新しいプラットフォームでは、欠落している値を探索します。 これでわかるのは、自分に一連の価値観があるかどうかということです。 したがって、値は .03536 ですが、連続して 7 つあります。 |
| |
2065。これらのセルに色を付けることができ、それらの値を確認できます。おそらく、それは最後に繰り越された値であり、疑わしいものではないかもしれません。 この場合、それは... |
| |
それは同じ人です。 したがって、最後の値を繰り越すのは合理的なことかもしれませんが、これらのものを配布した場合、それはまれな、まれな出来事です... |
| |
これらのものがランダムに分布すると仮定した場合。 |
| |
最長の重複シーケンスでもあります。 したがって、この変数では、行 2816 から開始し、行 3034 からも開始し、同じ値を持つ変数が 4 つ連続して存在します。 それで、それらに色を付けると、そこには 4 つ並んでいます。 そして、もし私が |
| |
次のシーケンスに進むと、同じ値が 4 つ連続しています。 したがって、これは、同じ値をある場所から別の場所に切り取って貼り付けるという症状である可能性があります。 |
| |
したがって、パターンの探索では、それらのものを探します。 これら 27 の変数それぞれの詳細を調べて、疑わしいものの兆候を探すことができるものは他にもたくさんあります。 |
| |
データの処理方法による悪影響など。 |
| |
それで、 |
| |
大きな問題の解決の一部としてパターンを探索します。 |
| |
それで、 |
| |
痛みの緩和。 私たちの開発の多くは、分析の流れをよりスムーズにし、負担を軽減し、時間と苦痛を軽減することに重点を置いています。 鎮痛剤。 |
| |
今、私たちは何が痛いのか必ずしもわかりません。 そのため、何に焦点を当てるべきかについてはフィードバックに依存しています。 プロンプトに何百回も返信しなければならなかったメールを受け取ったとき、 |
| |
私たちはそれを聞いて痛みを感じ、何千もの内容をグループごとにブロードキャストできるように修正しました。 |
| |
何度も対話するのではなく、1回の対話の結果を放送します。 それで、それを送信することで、他の人にとってはより良いものになりました。なぜなら、私たちは最初からそれをキャッチできなかったからです。 ぜひご意見をお聞かせください。 |
| |
これまでに行ったすべての改善により、データの準備と分析のプロセスはすでにはるかにスムーズになり、中断が少なくなり、より多くの流れができるようになったと考えています。 |
| |
それで、 |
| |
障害を乗り越えるのに時間を費やすのではなく、データから学習し、データを理解することに時間を費やします。 |
| |
分析。これらが同じ語源から来ているのではないかと疑問に思う人もいるでしょうが、もちろん、これら 2 つの単語を省略することは好みません。 |
| |
Analytics はギリシャ語の anayein から来ていますが、発音がわかりません。 |
| |
しかし、ギリシャ語では、別れ、解放、解放を意味します。 そして、それは何か複雑なものを、私たちが理解できるように細分化しています。 |
| |
そしてもちろん、それはまさに私たちがデータ分析、つまりデータサイエンスで行っていることです。 そして、鎮痛剤は「an-\!」という言葉の異なる組み合わせから来ています。なし、そして「代償、\!」という意味です。それが痛みの感覚です。 同じ接頭辞ですが、異なる...少し異なるルートです。 |
| |
そして、これらを省略しないでください。 |
| |
同化作用と媚薬。 私たちは権力を重視します。 |
| |
私たちが行っていることの多くは、データを分析するためのより強力なツールを提供することであり、その多くは JMP Pro および JMP にあります。 |
| |
そして、データによって、発見のスリルがわくわくするものになることを願っています。 |
| |
JMP の強力な機能の使用方法を学ぶことはスリルであり、私たちはそれがエキサイティングであると考えています。 ご存知の通り、媚薬です。 |
| |
したがって、パワーと興奮も私たちにとって価値があります。 痛みを和らげるだけではありません。 |
| |
それで、来年は何をするつもりですか? |
| |
さて、文字Bで始まる大きな言葉。 |
| |
Aから始めて、次はBですよね? |
| |
さて、来年は JMP 16 が開催されます。 それが私たちがこれから話すことです。 来年、私たちが何を話すことになるか誰にもわかりません。 それでは、よろしくお願いします。 データの分析にほとんど苦痛を感じないことを願っています。 |
| ジェフ・パーキンソン |
どうもありがとう、ジョン。 感謝しております。 素晴らしい講演でしたし、長年にわたって多くの痛みを目の当たりにしてきましたが、 |
| |
それは、あなたの言うことはすべて絶対に真実です。 痛みを和らげることは私たちにとって重要なことです。 |
| |
実際には、いくつかの質問の中から 1 つの質問がありました。いくつかはQ&Aで答えましたが、私があなたに伝えたかったことは |
| |
それは痛みを和らげることと、魅力を与え、JMPをより強力にすることの両方でした? |
| ジョン・サル |
そうですね、皆さんが一番喜んでいるのは Graph Builder だと思います。 |
| |
これらの変数をドラッグし、さらに数回クリックするだけで、必要なグラフが完成し、それを簡単に変更できるのは信じられないほど強力です。 |
| |
それはそうです、それはスリルです。 これは強力な機能であり、痛みを軽減します。以前はもっと難しかったです。 だから、それはみんなの好きなことだと思います。 |
| |
しかし、もちろん、そこには...JMP は豊富な製品であり、私たちはそのすべてに誇りを持っています。 実験計画、すべて |
| |
そこには大きな力が関係しており、私たちはそのプロセスも簡単にするよう努めてきました。 そして、たくさんのことが思い浮かびます。 |
| ジェフ・パーキンソン |
とても良い。 どうもありがとう、ジョン、感謝しています。 この講演を楽しんでいただけたなら、私から 2 つの提案があります。 一つ、これを投稿します |