高度な機械学習アルゴリズムが膨大な量の情報を処理できる時代においても、大規模データセットの取り扱いは依然として特有の課題を伴います。総当たり法的な手法に頼って膨大なデータセットを分析すると、非効率性、モデルの過剰適合、ノイズの蓄積、そしてデータ追加による収益の減少につながる可能性があります。
データの代表的な部分を選択するインテリジェントサブサンプリングは、多くの場合、よりターゲットを絞った洞察に富んだアプローチを提供します。データセットのサイズが縮小されることで変数間の関係が簡素化されるため、サブサンプリングはより解釈しやすいモデルの構築を促進します。これらの理由から、スマートサブサンプリングは、材料科学、生物医学研究、環境モデリング、マーケティング分析、社会科学など、幅広いアプリケーションにおいて推奨されるアプローチです。
しかし、スマートにできるのに、なぜ力ずくで分析するのでしょうか？このプレゼンテーションでは、複雑な材料配合の分野におけるJMP Proの最新機能を用いたインタラクティブなデモンストレーションを通して、適切に設計されたサブサンプリング手法と、従来のモデリング手法と高度なモデリング手法（重回帰、ニューラルネットワーク、SVM、一般化回帰）を組み合わせることで、堅牢な予測を導き出せることを示します。
こんにちは。2025年版ヨーロッパ・ディスカバリー・サミットのプレゼンテーションをご覧いただき、ありがとうございます。ダミアン・ペレットと申します。フランスのCEA（化学・エネルギー庁）の研究開発科学者です。本日は、Ippon Innovationの統計学者、キャロル・スーアル氏と共にプレゼンテーションを行います。キャロルと共に、本日この場にいられることを大変嬉しく思っております。このスマートサブサンプリング手法を予測モデリングに適用した研究についてお話しする機会を与えてくださった運営委員会の皆様に感謝申し上げます。
まず、CEAについて少しお話ししましょう。CEAは、低炭素エネルギー、デジタル技術、未来の医療技術、そして防衛と安全保障の4つの分野における研究開発とイノベーションを推進するフランス政府機関です。
CEAは9つの拠点に約21,000人の職員を擁しています。様々な共同研究ユニット、多数の特許、そして約60億ユーロの予算によるスタートアップの創出を通じて、大学との強固な関係を築いています。
一本イノベーションは、データサイエンティストを擁する企業であり、産業界に高度なアルゴリズムを提供することに尽力しています。製造コストと試験時間の最適化による複雑な製品の品質向上、そしてビッグデータにおける小さなシグナルの検出を目指しています。コンサルティング、トレーニング、そしてオンデマンドの高度な研究といったサービスをご提供しています。カスタマイズされた統計ソリューションや、特許取得済みの高度なツールなど、様々なプロジェクトに携わっています。
この研究の動機は、最新の機械学習アルゴリズムは膨大な量の情報を処理できるものの、大規模データセットの取り扱いには依然として課題が残るという事実にあります。大規模なデータセットに対して総当たり手法を用いると、様々な理由から予測精度が低下する可能性がありますが、インテリジェンスサブサンプリングを用いることで、より洞察力に富み、より解釈しやすいモデルを構築できると考えています。ここでは材料科学への応用例を示しますが、このアプローチは物理学や化学分野以外にも、新たな応用が期待できます。
皆様、2021年の発見会にご参加いただき、この研究のプレビューを発表し、そのアプローチについて説明しました。このアプローチは過去4年間で大きく改良され、その予測能力は飛躍的に向上しました。そのため、最新の結果をお見せしたいと考えました。
本研究における私たちの主な目的は、適切に設計されたサブサンプリング手法を開発することです。この手法は、後ほど説明するように、従来のモデリング手法とより高度なモデリング手法の両方を組み合わせて、堅牢な予測を実現します。そのために、アルゴリズムをJSLでコーディングし、JMP Pro 18に実装することにしました。
本日の例では、この手法をガラス溶融粘度の予測にどのように適用したかを示します。したがって、モデルの応答はガラス粘度です。因子はガラス酸化物の重量パーセントであり、データベースには市販のデータセットと独自のデータセットの両方が含まれています。
簡単に言うと、ガラスは急冷法によって得られる非結晶性材料であり、様々な酸化物の混合物です。酸化物の数は、非常に単純なガラスでは2～3個ですが、最も複雑な組成のガラスでは約30個、さらにそれ以上になります。
ガラスの粘度に関する重要な点は、その変動範囲が非常に広いため、この特性を予測することが非常に困難であるということです。ガラスの粘度は組成にも非常に敏感で、結晶化などのメカニズムが溶融物のレオロジーに大きな影響を与えることがよくあります。
地質学における溶岩の挙動は、結晶化と粘性の複雑な関係を説明する上で、非常に良い例えとなります。高温下では、溶岩は粘性が高く均質な流体であり、酸化物ガラスの融液に非常に似ています。溶岩の温度が低下すると、通常、急速かつ大規模な結晶化が誘発され、融液の粘性に大きな影響を与えます。
このグラフからわかるように、この結晶化によって引き起こされる粘度の増加は最大 8 桁に達する可能性があり、溶融物の実際の論理的な動作も変化するため、粘度の予測が非常に困難になります。
ここで示したかったのは、非常に単純なガラス組成であっても、粘度の予測は容易ではないということです。ここでは、3種類の酸化物のみを含む非常に単純なガラスであるSBNガラスの3つの組成を選択しました。文献で最もよく知られているモデルを適用して粘度を計算しました。そして、予測値と、グラフ上で赤く示されている独自の装置で測定した実験値を比較しました。非常に単純なガラスであっても、予測粘度の信頼できる値を1つ得ることは容易ではないことがわかります。
機械学習技術はガラス材料科学、特にガラスの粘度予測においてますます応用されていますが、予測精度には限界があります。私たちは過去にニューラルネットワークを用いてガラスの粘度を予測しようと試みましたが、得られた結果にはあまり満足できませんでした。
例えば、予期せぬパターンや、数桁もの偏差が観測されます。これは最近の論文でも同様で、ニューラルネットワークを用いた実験でも予測値と測定値の間に6桁もの差が見られました。
最終的に、グローバル データ セットに大きな差異があり、ガラス溶融物内で粘度に影響を与える物理的および化学的非線形メカニズムが非常に多く発生しているため、従来の機械学習をグローバル データベースで使用することは最善のアプローチではないという結論に達しました。
これは、データベースの概要を示す良い図です。各ドットは、組成領域の多次元ビューにおける1つのガラスを表しています。データは、異なる独立した研究から取得される場合もあれば、実験計画から取得される場合もあれば、一度に1つの成分を変化させるパラメトリックスタディから取得される場合もあります。これにより、最終的に非常に異質でありながら均一なデータを持つデータベースが実現します。
この戦略は、すべてのデータを使用するのではなく、類似したデータのみで予測モデルを学習させる方がよいという仮説に基づいています。例えば、ここを予測したい場合は、この地域のデータからモデルを作成します。ここの物件を予測したい場合は、異なるモデルを作成します。
このアプローチは動的であると述べました。予測モデルは構成に依存し、予測したい場所に自動的に適合するからです。手動で行う必要がないため、自動化されています。すべてのステップは、ツールに実装されたアルゴリズムによって実行されます。
トレーニングデータセットを作成するために適用した戦略は、実験計画法に基づいています。各予測について、対象となる組成を中心とした最適な実験計画（DOE）が生成され、その後、各実験計画の実行結果がデータベース内に存在する最も類似した実験データに置き換えられ、最終的なトレーニングデータセットが作成されます。
ツールの予測部分には、4つのアルゴリズムが実装されています。重線回帰から得られる古典的な多項式モデル、GENREGモデル、ニューラルネットモデル、そして新たに追加されたサポートベクター回帰モデルです。最終的に得られる予測値は1つではなく4つです。これら4つの予測値の中央値を取ることで、非常に堅牢な応答推定値が得られます。デモでご覧いただくように、複数の統計基準も計算・分析され、異なる予測アルゴリズムのパフォーマンスを比較します。
以下に主要なパラメータをいくつか示します。ガラスの専門家からの可能な限り多くの意見を考慮することが非常に重要でした。特に重要だったのは、データの出所と信頼性です。そのため、このプロジェクトでは、信頼性の高いデータベースの構築に多大な時間を費やしました。
また、酸化物と粘性の性質と役割を扱うための特別なアルゴリズムを作成する必要がありました。類似の組成間の距離を計算するための様々な方法を実装し、研究する必要がありました。これらすべてがツールアルゴリズムに実装されました。
デモに移る前に、ツールの概略図と、最近追加された機能についてご紹介します。サンプリング部分と予測モデルの両方で、多くのアルゴリズムが更新されました。前述の通り、SVRも実装されました。また、ガラス組成を1つだけ入力することも、複数の組成をリストとして入力することもできるようになりました。これにより、多数の組成を用いてツールの機能を評価できます。
計算時間に関しては、1つのプロダクションに1分もかかりません。これは問題ありませんが、現在、コードの効率を少し改善するために取り組んでいます。前述の通り、すべてJSLでコーディングされており、アドインが付属しています。
デモ、ありがとうございました、ダミアン。画面を共有します。JMPアドインは、CEAのMS [inaudible 00:13:28]ツール向けにJMP Proバージョン16から開発され、現在はJMP Proバージョン18に搭載されています。グラスの予測を実行する方法は2通りあります。JMPメニューの最初のボタンは、1つのグラスのみ、1つまたは複数の温度における粘度またはTGを予測するためのユーザーインターフェースです。2つ目のボタンは自動化バージョンで、1つの温度における複数のグラスのリストに対する予測値を表示します。
アドインフォルダを開くと、2つのボタンで実行される2つのメインスクリプトと、それらで使用される異なる関数や式を確認できます。このフォルダには、学習サンプルデータ、予測モデル、そして最終的に分析の出力を構築するためのデータの前処理手順を実行するスクリプトが含まれています。
最初のボタン、インタラクティブバージョンを実行してみましょう。ユーザーの最初のステップは、JMP形式のすべてのガラス粘度のグローバルデータベースを含むフォルダを選択することです。次に、粘度を予測したいガラスの構成要素、つまり酸化物を選択します。「OK」をクリックします。
ここでは、ガラス全体の組成における各元素の含有量をパーセンテージで入力する必要があります。例えば、粘度を予測したいガラスには6.5%のCaOが含まれています。最後のステップは温度を入力することです。ここで予測したいのは、1,100度と1,200度の2つの温度における粘度です。ダミアンが説明した4つのモデルはすべて、この2つの温度に対応しています。目的は、ガラスの粘度を予測することです。2つの温度の場合、結果が出るまで約1分かかります。
最後に、この出力ウィンドウが表示されます。予測をさらに分析するために、最も興味深い温度を選択できます。ここでは1,200度です。「Go」を選択すると、1,200度における粘度の拡大表示である最終出力ウィンドウが開きます。
まず、アウトラインには、予測したいガラスの組成と、モデルで実際に考慮される要素が記載されています。次に、モデルの品質を示すアウトラインがあり、例えば平均絶対誤差や決定係数などが示されています。適応型DOEの手法に関する詳細情報も提供されています。例えば、ここでは最適DOEと適応型DOEの相関率（2つのDOE間で相関する要素の80%）が示されています。これは非常に優れたプロジェクトです。
予測式と効果も示されています。例えば、BICの場合、SiO2がモデルにおいて最も重要な酸化物であることがわかります。最も重要な出力はここにあります。これは予測の要約であり、モデルの関数として予測された粘度値を示すグラフです。各ポイントの粘度予測値を確認できます。BIC Fでは61デシパスカル秒、GLMでは67、ニューラルネットでは49、SVRでは64です。
緑の破線で示された最も近いガラスの真の粘度は68デシパスカル秒です。この最も近いガラスはここにあります。予測したいガラスに非常に近いです。ちなみに、CaO含有量は6.5%でしたが、最も近いガラスのCaO含有量は6.4%です。予測するガラスの真の粘度は不明なので、予測値と最も近いガラスの真の粘度を比較します。
最後に、このガラスの予測値の中央値は62.5です。これは、最も近いガラスの粘度測定値と比較して非常に良好な結果です。GLMとSVR（こちらとこちら）は、粘度を予測するのに最適なモデルです。
ここで、Damien がこのツールの自動化バージョンの分析と出力を表形式で紹介します。
ツールの機能は、7,500件のデータを含むテストセットを用いて評価されました。評価対象となる指標は粘度の対数における絶対誤差であり、これは予測された粘度が報告された値からどの程度桁離れているかを表します。通常、粘度値の全範囲において、1桁の誤差でクラス粘度を予測することは非常に効果的であると考えられています。
これが得られた結果です。予測粘度は、4つのアルゴリズムから説明される予測値の中央値です。予測粘度の誤差が1桁未満であり、これは大部分のデータにおける目標値であったため、予測精度には非常に感銘を受けました。次に、誤差がこれよりも大きいサンプルはごくわずかである点です。最大誤差は3.3桁で、これは文献の粘度モデルよりもはるかに低い値です。
もう一つの重要な点は、粘度値が1～10から6デシパスカル秒までの全範囲において予測精度が良好であることです。さらに重要な点は、このアプリケーションで主に注力しているガラス組成において、予測精度がさらに優れていることです。
現在、予測誤差が最も高かったデータの原因を調査中です。組成の観点から見ると、予測誤差は、ガラスの粘度に非常に強い影響を与えることが知られている化学元素の存在と高い相関関係にあるようです。これらの元素は、データベース内の組成においてごく少数の元素にしか存在しません。また、これらの外れ値では、最近傍元素までの距離が著しく高いことも確認されました。
最後に、報告されたデータの年が影響しているかどうかも確認しました。60年か80年前のガラス粘度測定装置は、おそらく精度が低かったと考えられます。実際、これらのグラフは、最近のデータほど予測誤差が低い傾向を示しています。
最後に、4種類のモデルは絶対誤差の分位数に関して非常に近い予測値を示すことが分かりました。絶対誤差の最大値はニューラルネットワークでは大幅に小さく、SVRではさらに小さく、最終的に平均誤差が小さくなります。4つのモデルが効率的であることがわかったため、非常に堅牢な予測を保証するために、4つの予測値の中央値を維持することにしました。
結論として、データの動的サブサンプリングに基づく予測アプローチを提示しました。最適なDOEから生成された類似データのサブセットを用いて学習を行う4つの異なるモデルを実装しました。この手順は完全に自動化されており、すべてのステップはJSLでコーディングされ、JMP Pro 18のアドインとして実装されています。
このツールの予測能力は、約 7,500 種類のガラス組成を含むデータ セットで評価され、特に対象のガラス組成については非常に正確な結果が得られました。
次に、このアプリケーションに有望と思われる追加の予測手法を評価し、実装したいと考えています。また、このツールを、ガラス化処理に既に使用している他の有限要素シミュレーションコードと連携させるためのPythonインターフェースの開発も検討します。
ご清聴ありがとうございました。
ありがとう。
