強力な機械学習の時代においても、大規模なデータセットを扱うには依然として多くの課題が伴います。力任せにすべてを処理する、つまり処理できるからといってすべてを処理すると、非効率性、過学習、ノイズ、そして急速な収穫逓減につながることがあります。より賢い処理とは、必ずしも規模が大きいことを意味するわけではありません。データの代表的な部分のみを使用するインテリジェントなサブサンプリングは、より明確なパターンを明らかにし、より深い洞察をもたらすことがよくあります。
このテーマは10年近く私の興味を惹きつけ、この学会でも何度か取り上げてきました。しかし今年は大きな進歩を遂げました。約3万件の観測データというはるかに大規模なデータセットから得られた最新の結果が、スマートなサブサンプリング戦略の有効性を裏付け、さらにその可能性を広げています。材料科学から生物医学、環境モデリング、マーケティング、社会科学に至るまで、伝えたいメッセージは変わりません。力任せに分析するのではなく、スマートな手法を用いるべきではないでしょうか。
JMP Proの最新機能を活用した本研究では、インテリジェントなサブサンプリングと、古典的および現代的なモデリング手法(MLR、ブーステッドツリー、ニューラルネットワーク、SVM、GLMなど)を組み合わせることで、いかに堅牢な予測が可能になるかを示します。–そして、願わくば、皆様にとって楽しいデモンストレーションとなることを。
