皆さん、こんにちは。Christopher Pillsburyです。本日は皆様とご一緒できて大変嬉しく思います。AWS、Snowflake、JMPを統合することで、R&Dチームがアイデアから実用的なインサイトへと発展させるのに役立つフレームワークをどのように構築したかについてお話しします。
このセッションでは、実験データがどのようにリアルタイムで収集・分析されるのか、そしてこのアーキテクチャが科学者の意思決定をより迅速かつ確実にする上でどのように役立つのかを解説します。R&D、データサイエンス、運用など、役割を問わず、生データから洞察を得るまでの道のり、そしてスケーラブルな分析がチームのイノベーションとコラボレーションのあり方をどのように変革できるかをお見せします。
本日の議題は、まずJMP Liveインスタンスの導入における主要なマイルストーンを順にご紹介し、実験データから実用的な意思決定に至るまでのデータジャーニーを検証し、データ生成のスケール化による影響についてご説明します。IDEXXデータソリューションのアーキテクチャプロセスの概要を説明し、データ取り込み、データ整理、分析がどのように連携して研究開発部門のユーザーを支援しているかを示します。ダッシュボードとレポートの具体的な活用例と、それらが意思決定と効率性に及ぼした測定可能な影響についてご説明します。
最後に、R&Dにおけるスケーラブルなリアルタイム分析システムの構築から得られた重要なポイントと教訓についてまとめたいと思います。まずは、私の役割について少しご説明させてください。
データソリューションアーキテクトは単なる役割ではありません。データの有用性、信頼性、そして影響力を高めるために、複数の専門分野を融合させた役割です。ガバナンスとセキュリティは、コンプライアンス、プライバシー、アクセス制御を確保し、データの信頼性と安全性を維持します。データエンジニアは、データが適切な場所に確実に流れるようにし、パイプライン、統合、変換を構築することで、生データを利用可能な状態にします。
DevOpsは、インフラストラクチャ、クラウドプラットフォーム、自動化を担当し、あらゆるものを安全かつ回復力のある状態に保ちます。データアーキテクチャは、モデルの設計、構造の定義、基盤の拡張性確保を担当します。データアナリストは、データを洞察、ダッシュボード、可視化、そして意思決定を促すストーリーに変換します。ビジネスアナリストは、技術面とビジネス上の課題を結び付け、要件を収集し、コンテキストを理解し、適切な問題を解決します。
最後に、データベース管理者は、パフォーマンス、チューニング、信頼性、そして現代社会においてはコストにも重点を置いています。これらの視点を融合させることで、データソリューションアーキテクトの役割が生まれます。私の仕事は、それぞれの役割を担い、それらを統合し、人々とチームを結びつけ、ビジネスインサイトに至るデータパイプラインを構築するソリューションを提供することです。
私のプロフィールと役割について少しご理解いただけたところで、JMP Liveのこれまでの歩みについて少しお話ししたいと思います。優れたプロジェクトであれば必ずそうあるように、私たちはまずエンタープライズIT部門との話し合いから始め、クラウドファーストの導入パスとそれを実現するための手順を策定しました。彼らのガイダンスのおかげで、Azureサーバーと必要なサービスアカウントを設定し、自動化に必要な安全な基盤を構築することができました。
2024年7月31日、アレックスの協力を得てJMP Liveのインストールと稼働を開始しました。それから1週間余り後の8月9日には、Snowflakeビューから初めて完全自動化されたレポートを公開しました。パイロット運用開始から1年間は、700万件のレコードと20以上の列を含む自動SPCチャートを5分ごとに更新する負荷テストを実施し、JMP Liveインスタンスの限界に挑戦しました。ダッシュボードを展開することで、様々なビジネスニーズに対応し、このアーキテクチャを拡張しながら、日々活用するチームにリアルタイムのインサイトを提供しました。
理論上は、私たちの実装は非常にシンプルです。しかし、アイデアから意思決定、そしてデータへの道筋は、そう単純ではありません。実験、データ、レポート作成に携わったことがある人なら、その過程には多くの隠れたステップがあることをご存知でしょう。だからこそ、スケーラビリティとシステムについて触れる前に、私たち全員が共有するプロセスについて理解を深めておきたいと思います。R&D、データサイエンス、運用のいずれの分野であっても、アイデアから実行可能な意思決定に至るまでの道のりは、同じようなパターンを辿ります。
洞察への道筋とは、好奇心から意思決定へとどのように移行していくかを説明する、シンプルながらも力強い方法です。すべては疑問や仮説から始まります。R&D部門で新製品のコンセプトをテストしている方もいれば、大規模なデータセットをマイニングして分析している方もいるでしょう。ある時点で、テストする価値のあるアイデアが浮かびます。そこから実験が行われ、ロットが製造され、あるいはコードが開発されるのです。
ここから実際の作業が始まります。機器からの出力データ、手動で記録したデータ、あるいはコード生成したデータセットは、ローカルに保存されることもあれば、クラウドに保存されることもありますが、この段階ではまだ生データです。ここからが重要な部分、つまりデータの構造化、クリーニング、分析へと進みます。ここでは統計的手法を適用し、仮説を検証し、結果に隠されたパターンを明らかにしていきます。
最後に、洞察が共有されます。これは、プレゼンテーションの共有、ELNへの結果の記録、あるいは主要な開発マイルストーンの共有などを意味する場合があります。多くの場合、これらの洞察が次の一連の質問のきっかけとなり、サイクルが再開されます。
大まかに言うと、作業は完了です。実験を実行し、データを収集し、整理し、分析を行い、そしておめでとうございます。洞察に至りました。さて、当然のことながら、発見したことを共有したいと思うでしょう。次のステップは何でしょうか？頼りになるPowerPointの相棒を取り出し、グラフをコピーし、テキストボックスを1つか2つ追加して、会議で発表します。その瞬間、目標は達成されました。意思決定を裏付けるデータを生成することができたのです。
しかし、ここで一度立ち止まって考えるべき疑問があります。どれほどのコストがかかったのでしょうか？データを整備するのにどれだけの時間がかかったのでしょうか？手作業はいくつ必要だったのでしょうか？何かが変わった際に、何回再エクスポート、フォーマット変更、あるいは更新しなければならなかったのでしょうか？これが私が「インサイトへの隠れた税金」と呼んでいるものです。生データから意思決定に至るまでのオーバーヘッドです。
実際には、生成されたデータはJMPや他のシステムにそのまま流し込まれるわけではありません。多くの場合、データは生データで、断片化され、一貫性がありません。そのため、分析を始める前に、あなたやチームは手作業でデータの検索、クリーニング、構造化、調整を行うために何時間も費やすことになります。
ようやく使える表ができたら、次は何をするのでしょうか？計算を追加する必要があるかもしれません。あるいは、派生列をいくつか作成する必要があるかもしれません。JMPはそのための優れたツールです。しかし、Excelの方が簡単だと感じて、Excelに頼ってしまう人もいます。これは、特に分析をゼロから構築する場合、たとえ同じ結果になる実験であっても、かなりの時間を必要とします。
しかし、ここに落とし穴があります。標準化されたプロセスであっても、すべてが静的で、固定された状態です。作業は完了したのに、次の実験ではすべて最初からやり直さなければなりません。それが負担です。一度得られた洞察は、膨大な手作業を必要とし、それを更新したり再利用したりするのは容易ではありません。
成長しようとすると何が起こるでしょうか？こう考えてみてください。データエンジニアがデータを管理するために科学を理解することを期待しているわけではありません。科学者が科学を管理するためにデータエンジニアになることを期待すべきではないのは当然です。科学者の専門分野は実験、発見、そして解釈です。彼らの時間が最も貴重となるのはまさにそこです。スプレッドシートの整理やフォーマットの調整に時間を費やせば費やすほど、実際の科学研究に費やす時間は少なくなります。スケーラビリティとは、人員、データ、複雑さの増加にも耐えて成長し続けるシステムのことです。
洞察の道を辿り、それをデータを生成するチームに適用してみましょう。プロセスに人員を追加すると、全く新しい課題が生じます。それは「ばらつき」です。人によってデータ処理スキルのレベル、習慣、結果のフォーマットや構造化の方法が異なります。生データに近づくほど、ばらつきは大きくなります。
それだけではありません。この差異は分析からレポート作成までずっと続きます。その結果、データの共有は容易ではなく、分析結果も必ずしも一致しません。そしてプレゼンテーションはどうでしょうか？「このグラフはどういう意味？」「ああ、あれ？誰かのフォーマットが気に入ったから真似してみた」といった冒険に発展してしまうこともあります。
何が起こるでしょうか？チームは、保存場所、列定義、クリーンアップ、フォーマット、そして一貫性の確保といった、目に見えない作業に膨大な時間を費やしています。この見えない労力は、生成されるデータが増えるにつれて増大していきます。もしこれが単一のチームでの状況だとしたら、これを部門全体に拡大したと想像してみてください。
多数のチームがそれぞれ独自のアプローチでデータを生成しています。すると、そのデータを操作し、形を整えるだけで、膨大な時間が費やされることになります。しかし、より大きな問題は依然としてばらつきです。解釈の違い、分析の違い、計算の違い、出力形式の違い。こうした違いはすべて、効率を低下させてしまいます。
規模が大きくなるとどうなるでしょうか？これは個々のプロジェクトの進行を遅らせるだけでなく、全体の進捗を停滞させる可能性があります。これこそが組織にとっての真の負担です。すべてのチームが同じことを繰り返すと、洞察に一貫性がなくなり、連携に時間がかかり、勢いが失われます。課題であり、またチャンスでもあるのは、各グループがシームレスに連携しながら、それぞれの得意分野に集中できるシステムを構築することです。
IDEXXでは、この課題を認識し、社員とデータとの関係を再構築することに取り組んでいます。システム、チーム、そしてプロセスを刷新し、社員がデータと格闘するのではなく、データを活用することに集中できるようにしました。これは、業務を明確に定義し、有用な自動化を構築し、自社で導入しているビッグデータシステムへのノーコードまたはローコードアクセスを実現することを意味します。データドリブンな組織になるには、テクノロジーの問題だけではありません。課題や無駄がどこに潜んでいるかを理解すること、そして社員に現実的に何を教えられるのか、そしてテクノロジーで解決した方がよいのかを理解することが不可欠です。
当社の人材の強みと、AWS、Snowflake、JMP といった適切なツールの強みを組み合わせることで、洞察を得るための障壁を取り除き、チームが一貫性と自信を持ってより迅速に行動できるようにします。
肝心なのは、今日の研究開発環境において、スケーラブルなシステムはもはや必須だということです。科学の進歩はかつてないほど加速しており、生成されるデータの量も増加の一途を辿っています。システムが拡張できなければ、追いつくことができません。結果として、ボトルネック、矛盾、そして無駄な労力が生じてしまいます。スケーラビリティこそが、科学を迅速にソリューションへと変換することを可能にします。データの整理に数週間を費やすことと、リアルタイムで意思決定できることの違いです。だからこそ、データへのアプローチ方法を見直すことが非常に重要なのです。なぜなら、スピード、一貫性、そして洞察への信頼性は、研究開発の進歩に直接つながるからです。
これから数分間、データソリューションアーキテクチャプロセスの概要について見ていきます。このプロセスは主に2つのカテゴリーで構成されています。1つ目は「データルーティングと取り込み」で、ここでは生データが収集、移行、管理されます。2つ目は「データレイクハウスと分析」で、ここではデータと分析アーキテクチャが配置されます。
当社の研究開発環境では、データは複数のソースから発生します。科学者が手作業で収集するデータもあれば、実験中に機器や機械によって自動的に生成されるデータもあります。データが存在すると、当社のクラウド移行サービスが介入します。このサービスは、指定されたディレクトリに新しいファイルがないか継続的に監視し、新しいファイルを検出すると、自動的にデータをAWSストレージに移動します。これにより、すべての受信データが一元化された安全な場所に保管され、下流の処理と分析に備えることができます。
AWSに移行されたデータは、データアーキテクチャ層に入ります。ここですべてのファイルが収集・安全に保管され、スケーラブルで信頼性の高い生データストレージが提供されます。そこから、SNS通知とSnowpipesを使用してSnowflakeにデータが取り込まれ、AWSから当社のデータプラットフォームへのリアルタイムな移動が可能になります。
Snowflakeでは、自動化されたETLプロセスによって生データがクリーンアップ、正規化され、標準化されたモデルに変換されるため、分析にすぐに使用できます。また、ビューや動的テーブルといったSnowflakeの高度な機能も活用することで、アナリストやサイエンティストは複数のデータソースをシームレスにクエリして統合することができ、JMP Liveでの下流分析のための一貫性と効率性に優れた基盤を構築できます。
最後に、分析アーキテクチャ層に到達します。ここでは、Snowflakeの標準化されたデータモデルが、特定のビジネスおよび科学的なユースケースをサポートするために設計された実用的なデータビューに変換されます。さまざまなステークホルダーのニーズと分析ワークフローに合わせてカスタマイズされた、厳選されたアクセスポイントを提供することで、ユーザーはデータのラングリングではなく、インサイト獲得に集中できます。
このレイヤーは本質的に、生データと意思決定の間のギャップを埋め、データ構造をレポート、可視化、そして全体的なビジネス目標と整合させます。これは、JMP Liveにおいて構造化データを意味のあるリアルタイムの洞察へと変換するステップです。
大まかに言うと、すべてはデータ生成とデータパッケージの作成から始まります。データが存在すると、当社のクラウド移行サービスが関連ディレクトリを継続的に監視し、新しいファイルをAWSストレージに移動します。次に、データアーキテクチャ層が処理を引き継ぎます。ここから、SNS通知とSnowpipeを使用してAWSからSnowflakeにデータが取り込まれます。
分析アーキテクチャ層では、生データを標準化されたモデルに変換し、さらに特定の科学的ユースケースをサポートする実用的なデータ ビューに変換します。
最後に、レポートとデータをJMP Liveに公開することで、セルフサービス型の自動化が可能になります。つまり、データ生成からアーキテクチャ、分析までのこのフローにより、生の実験データが意思決定を導く洞察へと変換されるのです。
ここで少し立ち止まりたいと思います。これまで見てきたアーキテクチャ図やフローチャートはすべて重要です。それらはシステムが機能していることを示していますが、それ自体では価値を証明するものではありません。真の価値は、システムを使用する人々、つまり私たちの科学者が、意思決定に必要な洞察を即座に得られるときに生まれます。
科学者が「まさにこれだ」と言った時、システムが真のインパクトをもたらした瞬間です。まさにこれから、このアーキテクチャが研究開発の成果にどのように繋がるのかを示す具体的なユースケースと測定可能なインパクトについて見ていきます。
まず、マイクロタイタープレートリーダーを使って、ご覧のように2種類のログファイルを作成します。キャリブレーションとコントロールの実行中、機器はこれらのログファイルを生成します。ログファイルには、重要なキャリブレーションとコントロールの結果がファイル内のテーブルに直接埋め込まれています。
MPDチームはこのデータに強い関心を持ち、これらの実行結果に基づいて機器の健全性を追跡するレポートプロセスを作成しました。多くの場合と同様に、彼らは研究開発ラボからデータを収集するだけでなく、現場からもデータを収集し始めました。しかし、ここで問題がありました。これはすべて手作業で行われていたのです。単なる好奇心から始まったものが、徐々に反復的で時間のかかるプロセスへと変化していったのです。
チームは毎月何百ものログファイルを収集し、データをジャンクテーブルに手動でコピー＆ペーストしてレポートを作成していました。これは膨大な作業であり、毎月繰り返されていました。これは、価値の高いタスクが手作業によって停滞している典型的な例です。
このチームと緊密に連携し、プロセス全体を自動化するDSAデータパイプラインを構築しました。ファイルを手動で収集する代わりに、作成後すぐにプログラムでキャプチャし、AWSストレージに配信しました。Snowflakeに取り込まれたデータは、さらに処理、クリーニング、標準化されました。そこから、スクリーンショットに示すように、JMP Liveレポートへのアクセスポイントとなるビューを作成しました。その結果、整理された一元管理されたテーブルが完成し、以前は雑然としていた手作業によるデータが、科学者が分析や意思決定に即座に活用できる、構造化された信頼性の高いリソースへと変貌しました。
JMP Liveのレポートは、新しいキャリブレーションまたはコントロールの実行が完了するたびに自動的に更新されます。機器はIDと場所ごとにグループ化され、各キャリブレーションまたはコントロールイベントは日付ごとに明確に追跡されます。これにより、システムの健全性がリアルタイムで可視化され、研究開発部門やリファレンスラボは潜在的なメンテナンス問題を未然に防ぐことができます。つまり、手作業の繰り返しを削減しただけでなく、部門横断的なレポートも作成できたのです。誰もが信頼できる、正確で最新のデータを提供する、唯一の信頼できる情報源です。
かつては時間のかかる手作業だったプロセスが、今では完全に自動化されています。データ生成からレポート更新までのワークフローの各ステップは、イベント終了後約20分以内に完了します。この迅速な処理により、チームはデータをリアルタイムで可視化できるため、意思決定の迅速化、実験や機器の状態のより積極的な管理が可能になります。
しかし、このシステムは存在するだけで価値があるわけではありません。科学者がデータと関わる方法を変えるからこそ価値があるのです。科学者が「このデータはどうやってここに来たのか」という疑問を抱くのをやめ、「これは何を意味するのか」と問い始める時、それは私たちが真に実用的な価値を提供してきた証です。私たちは複数の分野において、時間のかかる手作業を自動化されたリアルタイムワークフローへと変革してきました。
校正および管理現場のモニタリングでは、かつては一人の科学者が数百台の機器からデータを収集していました。現在では、ネットワーク全体の自動収集により、システムの健全性をリアルタイムで可視化できます。市場データへのアクセスとプラットフォームNPDに関しては、以前は研究開発スタッフがマイクロタイタープレートアッセイデータを手作業で処理していました。自動化により、プレート読み取りから数分以内に分析可能なデータセットが提供され、意思決定が迅速化されます。
新しい機器や消耗品の開発では、自動取り込みを確立することで予想される手動データ収集の必要性をなくし、チームが実行後にほぼ瞬時に結果にアクセスできるようにします。
最後に、製造業の SPC データでは、反復的な時間のかかる分析が、JMP Live ダッシュボードを通じて 24 時間 365 日アクセスできるリアルタイムの SPC チャートに置き換えられ、チーム間でデータに基づく意思決定を迅速化できるようになりました。
この取り組みから得られる重要なポイントは何でしょうか？ラボからAWSとSnowflakeに機器の生データが自動的に取り込まれます。これにより遅延が削減され、科学者は最初から完全かつ正確なデータセットで作業できるようになります。Snowflakeは、すべての実験データを保存・構造化するための単一の安全なプラットフォームを提供します。サイロ化や断片化されたスプレッドシートは不要になり、チーム間でアクセス可能な、クエリ対応のクリーンなデータが得られます。JMPとJMP Liveを使用すると、科学者は新しいデータで自動的に更新される再利用可能なダッシュボードと分析を作成できるため、手作業にかかる時間を節約し、継続的なモニタリングをサポートできます。
ダッシュボードは実験の完了に合わせて更新され、意思決定者に進捗状況、成果、新たなトレンドに関するリアルタイムのインサイトを提供します。もう静的なレポートを待つ必要はありません。
結果はR&D部門、品質保証部門、製造部門、経営陣の間で容易に共有できるため、優先順位の調整と製品開発の加速に役立ちます。全体として、このシステムはチームがデータにアクセスし、分析し、それに基づいて行動する方法を変革し、生の実験結果をタイムリーで実用的な洞察に変換して、イノベーションを推進します。
本日ご覧いただいたように、生の実験データから実用的な洞察を得るまでの道のりは、必ずしも時間がかかったり、手作業で進めたりするものではありません。AWS、Snowflake、JMP Liveを組み合わせることで、データを自動的に取得、構造化、分析するシステムを構築し、かつては面倒だった作業を、リアルタイムで信頼性の高い洞察へと変換しました。
いくつかの重要な効果を実証しました。高品質なデータへの迅速なアクセス、スケーラブルで集中化されたアーキテクチャ、反復可能かつ自動化された分析、リアルタイムの意思決定支援、そしてコラボレーションを促進する部門横断的な可視性です。真の成功の尺度はユーザーエクスペリエンスにあります。科学者はもはや、データがどのようにそこにたどり着いたのかではなく、それが何を意味するのかを問うのです。
プロセスに関する質問からインサイトに関する質問への転換は、システムが価値を提供していることの究極の証明です。将来的には、このアプローチは継続的なイノベーションの基盤となります。チームはデータとの格闘に費やす時間を減らし、データを活用して問題解決、意思決定、そして製品開発の加速に多くの時間を費やすことができます。
本日はお時間をいただきありがとうございました。自動化されたスケーラブルな分析によって組織がどのように変革できるかについて、明確にご理解いただけたかと思います。
