最近では統計的に言えば機械学習と人工知能の謎解きについて、有名な著者、統計学者、教育者であるデビッド・ハンドの開会プレナリーは、専門家パネリストとの非常に興味深い議論の舞台を設定しました：キャメロン・ウィルデン、WLの統計学者 ゴア; Wildstats Consulting の創設者である Sam Gardner 氏。 JMP のシニア システム エンジニアである Jason Wiggins 氏は次のように述べています。
の中に前の投稿、私たちのパネリストは、ライブストリームイベント中に受けた専門知識とトレーニングに関する質問に答えました.この投稿では、データとモデリングに関する質問に対する考えを共有しています。最初の質問は、David Hand の最新の本の名前であるダーク データに関する適切なものです。ダークデータ: 知らないことが重要な理由（強くお勧めします）。
ダークデータの反対はブライトデータです。 珍しくないですか？
サム:多くの場合、組織のデータ サイエンス ジャーニーの初期段階で、多くのダーク データの問題があることに気付きます。解決すべき主な問題は、適切なデータを取得する方法です。 問題を本当に解決したい、そしてうまく解決したい組織は、「明るい」良いデータを生成および収集するためのアプローチ、戦略、およびシステムを備えています。
サポート ベクター マシンや GenReg などを使用して、欠落しているデータだけを JMP に「適合」させることはできますか? 欠落しているデータの構造を既存のデータと合わせて何らかの方法で使用するには、逆フィッティングのようなものでしょうか?これは「有益な欠落」とは異なります。
ジェイソン: Explore Missing Values ユーティリティで多変量 SVD 代入と自動データ代入を調べて、これらが期待どおりに機能するかどうかを確認します。
サム: JMPとJMPプロデータの相関構造に基づく多重代入を行うことができます。のオンライン ヘルプを参照してください。欠損データの代入と欠損値を調べる.
相互に排他的ではないマルチラベル データに取り組むために、どのような種類の機械学習モデルを使用できますか?
キャメロン:私があなたのことを正しく理解していれば、複数の回答を用意するだけでそれを達成できます。たとえば、モデルは処理および画像処理を行って、誰かを老若に分類し、男性と女性に分けて分類する場合があります。
プロセスデータの変動性が高いプロセス出力の予測モデリングにアプローチする最良の方法は何ですか?
キャメロン:高い変動性を克服する最善の方法は、大量のデータを使用することです。たとえば、平均の標準誤差は、分母にサンプル サイズの平方根があります。
ジェイソン:プロセス変動の原因を特定します。それらからのデータの継続的な測定と収集に投資します。 プロセスで測定された重要なプロセス入力の数は? 出力の変動を適切に説明するのに十分ですか? 私は、このような問題を理解することを目的としたプロジェクトに参加し、主導してきました。扱いにくいかもしれませんが、必要です。モデリングは魔法ではありません。 成功するには良い情報が必要です。 難解なモデルに飛び込む前に、まずここに投資します。
より早く報酬を得るために (お金を節約するために) 小さなデータセットで新しいモデルをトレーニングしたい場合、これを行うための優れた実用的なヒントは何ですか?十分です。」
キャメロン:ディープ ラーニングの領域では、転移学習により、より少ないリソースでより多くのことを行う方法が提供されます。設計された実験は、冗長な情報の量を最小限に抑えるような方法でポイントを計画するため、データ ポイントごとの関係についてより多くの情報を取得するもう 1 つの方法です。つまり、通常、因子間の相関関係はほとんどないため、分散インフレ因子は 1 に等しいか、または非常に近くなります。
ジェイソン:小さいデータ セットでモデルをトレーニングしてオーバー フィッティングを回避する場合は、「1 つを除外する」や k 分割交差検証などの戦略が役立つ場合があります。私は、両方のクロス検証戦略を使用して、小さなデータセットでペナルティ付き回帰モデルを成功させました。モデルを構築するとき、実際と予測をどのくらいの頻度でチェックインしますか? 予測がビジネス上の意思決定に適している場合、そのモデルは「十分に優れている」可能性があります。
あなたの経験では、問題を解決するために継続的/反復的な学習モデルとオフライン/1 回限りのモデルを適用する必要がある時間の割合はどれくらいですか?それぞれの長所と短所は何ですか？
キャメロン:それは、アプリケーションの分野によって大きく異なります。 先行指標に基づいて製品の需要をモデリングしている場合、それらの関係が時間の経過とともに進化することを絶対に期待する必要があります. 製品化されたモデルを時間の経過とともに進化させて適応させることは、非常に有利です。 一連の物理的特性に基づいて機械の出力をモデリングしている場合、その関係はおそらく長期にわたって安定したままであり、オンライン学習についてそれほど心配する必要はありません。 例外は、より多くのデータが入るにつれて、時間の経過とともにモデルのパラメーター推定値をより正確にしたい場合です。
プロセスを調査/監視するためにそこにいない場合、問題の原因を見逃す可能性があります。また、COVID はこれを複雑にします。 研究者/問題解決者/データ サイエンティストとして、データを収集するために「その場」にいることができない場合はどうすればよいでしょうか?
キャメロン:良い質問です。私が本当に言えることは、データを収集した人々をデータの分析にどのように関与させるかを考え出すことです。 分析の経験がなくても、グラフ分析を十分に理解して議論に参加し、直接の経験から洞察を引き出して議論と解釈に貢献できるでしょう。
ジェイソン:これは大変です！プロセスを確認するために使用できる仮想ツールはありますか? プロセスを実行しているのは誰ですか? データに現れる問題を説明できるプロセスについて観察するようにトレーニングできますか?仮想プロセスウォークはできますか?
データが豊富にあると、データに偏りがないという誤ったセキュリティにつながる可能性があります。新しい反事実データが到着している間に大量の偏ったデータを使用することを緩和する手順は何ですか?
サム:モデルをテストします。開発したモデルがまだ適切に予測しているかどうかを常に確認してください。モデルの「サポート」（モデルの構築に使用される予測変数の範囲）が十分に理解されていることを確認し、そのモデルを使用する新しい状況がその「サポート」範囲外で予測されているかどうかを確認します。十分な数の新しいデータを収集したら、モデルを再トレーニングできるため、古いモデルと新しいモデルを比較して、類似した予測を行っているか、異なる予測を行っているかを確認する必要があります。
AI / ML モデルの作業には、どのようなタイプのコンピューター / マシンが必要ですか? 十分なRAMを搭載したラップトップで実行できますか?
キャメロン:それは本当にあなたが何をしているかに依存します。 すべての ML が、何百万ものパラメーターを含む巨大なデータ セットとモデルで行われるわけではありません。 スマートフォンには、多くの AI/ML を実行するのに十分な処理能力があると思われます。 数十ギガバイトものサイズのデータセットを扱い始めると、データをバッチで処理していたとしても、PC でできることの限界に直面し始める可能性があります。 画像やビデオで深層学習を行う場合、並列処理と GPU コンピューティングが非常に重要になります。その時点で、おそらく組織内で共有コンピューティング リソースを使用しているか、クラウドベースのサービスを使用しています。 Google Colaboratory は、ディープ ラーニング用の GPU コンピューティングに無料で簡単にアクセスできる方法です。そのサービスでは、より上位の GPU コンピューティング パワーへのアクセスに対して料金を支払うこともできます。
ジェイソン:どのタイプの ML モデルを使用したいですか?どのくらいのデータを持っていますか? 私が行ったモデリング演習の多くは、クアッド コア プロセッサ、32 GB RAM などのラップトップ ワークステーションで行われました。 私が使用した欠陥検出プロジェクトに取り組みました畳み込みニューラル ネットワークプロセス中のカメラ フィードから製造上の欠陥を特定します。 私たちはこの問題に取り組むためにハイエンドのカスタム ゲーミング PC を構築し、プロジェクトを離れる前にサーバーの展開を検討していました。 私のラップトップ ワークステーションとゲーム マシンの最大の違いは、グラフィックス カードです。 画像解析や GPU コンピューティングを計画している場合、ラップトップのグラフィック カードでは不十分な場合があります。 速度とメモリが問題になる場合は、サーバーを使用するか、分散コンピューティングを調査することをお勧めします。
あなたのキャリア形成に最も役立ったツール/テクニック (クリーニング、結合、モデリングなど) は何ですか?
キャメロン:好奇心、困難なことに挑戦する意欲、障害を克服する方法を見つけ出すという断固たる決意、実践による学習は、特定のツールやテクニックよりもはるかに重要です。 途中で必要なものを拾います。
ジェイソン:前JMP Recode ユーティリティがありましたが、私を助けてくれたツールの 1 つは、データ クリーニングに配列と行列を活用することだったと思います。スクリプト内のちょっとした行列計算、行列操作、および/または論理インデックス付けによって、データの問題を見つけて修正できることは驚くべきことです。 正規表現は、テキスト データのクリーニング/変更に関して私のキャリアに大きな違いをもたらしたもう 1 つのツールです。 Recode ができたので、これは私のお気に入りのデータ クリーニング ツールです。テキストの正規表現をサポートしており、数値データの問題を簡単に見つけることができます。 結果を数式として保存できるので、recode は私が行っていたほとんどのスクリプトを自動的に実行します。Explore Outliers ユーティリティと Explore Patterns ユーティリティは、以前はデータ クリーニング用のスクリプトで処理していたことの多くも実行します。 すべてが大幅な時間の節約になります!何よりも、分析ワークフローのすべての段階でデータ Viz を利用して、データの背後にあるストーリーを解き明かしたことは、私のキャリアに最大の影響を与えたと言えます。
サム:正直なところ、データの優れたグラフを作成することは、おそらく私ができる最も効果的なことです。 写真に収めると、データと問題のストーリーが伝わってきます。 2 番目に重要なツールは書くことです。分析の結果を伝え、学んだことを要約し、さらに行動するための推奨事項を作成します。 書き留めておかないと、人々は何が起こったのか覚えていないか、知ることができません。
機械的モデルに基づいてプロセス (操作と制御) を行う化学産業または製薬産業に、ブラックボックスの代替案に飛び込むよう説得するにはどうすればよいでしょうか?ハイブリッドアプローチは最初のステップですか?
キャメロン:メカニズムモデルが何らかの形でそれらを妨げていますか? 私にとっては、手の届く範囲にある場合は常に機械的モデルが好まれます。 ボールを投げたときに何が起こるかを理解するのに物理学の教育が必要ないのと同じように、コンピューターは多くの例を見ることで何かがどのように機能するかを学習できます。 ただし、すべての物理計算とパラメーター値がわかっている場合、正確な予測を行うために必要なデータは、たとえあったとしてもほとんどありません。 状況を第一原理にうまく分解すればするほど、必要なデータは少なくなり、外挿について心配する必要も少なくなります。データ駆動型モデル (「ブラック ボックス」ではなくそれを使用します) は、知識のギャップを回避したり、複雑さを概算したりするのに非常に役立ちます。 100% の回答を得るには数か月かかるが、データ駆動型モデルを使用して 95% の回答を今すぐ得ることができるとしたら、何を選びますか? 最初のオプションの機会費用はいくらですか (余分な時間で何ができるか考えてみてください)。
Sam が使用したヘッドセット (Plantronics 655 DSP) と、彼の本の入手方法について質問がありました。電子書籍は から直接注文できます。 SASプレスハードコピーは次の場所で入手できます。アマゾン.第 2 版が進行中で、2021 年に利用可能になる予定です。
このエピソードのオンデマンド版を視聴できます統計的に言えばそして読む抜粋の科学の章からダークデータ。そこにあるすべてのダークデータを分類し、より適切に処理できるようになると、モデルがより便利になります。 このような良い質問をしてくれた視聴者に感謝します。キャメロン、サム、ジェイソンの専門知識を共有してくれたことに感謝します。
