データセットを日時で結合したいのはなぜですか?
科学者やエンジニアが直面する一般的なデータ準備の課題の 1 つは、日付、時刻、または日付時刻 (タイムスタンプとも呼ばれます) によって異なるデータ セットを照合することです (図 1)。
Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.図1。 日付、時刻、日時データの例。
科学者やエンジニアは、さまざまな測定システムや機器から指標を取得することがよくあります。 データを分析するには、すべてのメトリクス間の関係を確認できるように、すべてのメトリクスを 1 つのテーブルに結合する必要があります。
一意の識別子列または一連の列 (Batch_ID、Lot_ID、UPC、シリアル番号など) がある場合、結合は比較的簡単で、JMP の [テーブル] > [結合] 機能を使用するか、仮想結合機能JMPで。
データセット間で日付、時刻、日時を揃える必要がある場合は、より困難になります。 多くの場合、このタスクには、時間の経過とともに継続的にメトリクス (温度、圧力、pH、グルコースなど) を追跡するセンサーが含まれます。 これらの指標が製品エンドポイント (「重要な品質属性」と呼ばれることもあります) にどのような影響を与えるかを理解するには、適切な期間にわたるそれらの指標の概要* を作成する必要があります。 次に、サマリーは対応する製品エンドポイントと結合されます。
このタイプの結合を実現する方法を示すケーススタディを見てみましょう。
ケーススタディ
ビデオをご覧いただくか、ビデオの下にある事例紹介をお読みください。
私たちが理解して改善しようとしているプロセスにより、「Forever Young Elixir」と呼ばれる完成品が完成します。重要な品質特性は効力です。
製品は2つのステップで作られます。 まず、原料が機械に入れられ、原料に圧力がかかります。 次に、組み立てられた原材料は第 2 のプロセス ステップに移動し、そこで温度が適用されて最終製品が作成されます。
どちらのプロセスステップも制御できますが、現在ではかなりの量の変動があり、それが最終製品の重要な品質属性の効力に影響を与えていると考えられます。 私たちは、圧力と温度がこの製品の効力にどのような影響を与えるかを理解して、最終的に各プロセス段階で許容可能な動作範囲を特定できるようにすることに興味があります。 プロセスを継続的に監視する温度センサーと圧力センサーがあります。
圧力データを扱うプロセスは類似しているため、この例では温度に焦点を当てます。
各ロット、バッチが終了したときのタイムスタンプ (日時)、およびその効力を含むデータ テーブルがあります (図 2)。
Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.図2。 完成したバッチごとに収集された効力データとバッチ完了のタイムスタンプ。温度センサーからのデータもあります。 温度は 1 分間隔で記録されます (図 3)。
Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.図3. 完成したバッチごとに収集された効力データとバッチ完了のタイムスタンプ。
最終的に、効力と温度を相関させるには、各バッチの効力と、製品が製造された期間の平均* 温度を示す表が必要になります。
Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.図4. 温度データと効力データを組み合わせた最終分析表。 *他の要約統計を検討することもできます。また、単一の値に要約するのではなく、プロセスを理解するためにすべてのデータを使用する Functional Data Explorer プラットフォームの使用を検討することもできます。
ソフトウェアを使用する前に、温度ステップのどの時点が特定のバッチに適切に関連付けられるかを決定する必要があります。 言い換えれば、バッチが温度ステップで処理されたのはいつですか?
他のエンジニアと話し合った結果、バッチが温度ステップで処理される時間は 5 分であると判断しました。 したがって、バッチの効力と相関付けるには、バッチの終了タイムスタンプの 5 分前の期間の温度データを使用する必要があります。
これで、データ準備プロセスを開始するために必要な情報が揃いました。
ノート：この例は、正しいデータ型とモデリング型ですでに適切にコーディングされた日時から始まります。 結合を正しく機能させるには、これは非常に重要な手順です。 日付、時刻、および日付時刻の使用方法を再確認する必要がある場合は、このブログ投稿の付録にジャンプしてください。
ビデオデモンストレーション
参加してみよう！ 以下に添付されている 2 つのデータ セットをダウンロードして、手順に従ってください。 JMP をまだ持っていない場合は、次のことができます。 30 日間の試用版をダウンロードする。
手順の確認
- センサー データ読み取り値のどの範囲が製品に関連するかを決定します。
- 私のプロセスはエンドポイントのメトリクスにどのような影響を与えますか?
- 各プロセスで、最終製品に関連するセンサー読み取り値の時間範囲はどれくらいですか?
- 各プロセスで、最終製品に関連付けたいセンサー読み取り値の時間範囲はどれくらいですか?
- を定義するエンドポイントメトリックを含む列をデータセットに作成します。初め関連する各レコードのタイムスタンプ。
- これを行うには、完成品のタイムスタンプ (または、使用できない場合は他の参照タイムスタンプ) を使用する数式列を使用します。
- 関連する最後のタイムスタンプも定義する必要がある場合があります。
- [テーブル] > [JMP クエリ ビルダー] を使用して、エンドポイント メトリックを含むテーブルをセンサー データに結合します。
- 結合基準を編集して 2 つの条件を含める必要があります。1 つはセンサーのタイムスタンプと完成品テーブルのタイムスタンプを比較する条件、もう 1 つはセンサーのタイムスタンプと 2 番目のステップで計算された最初のタイムスタンプを比較する条件です。
- [テーブル] > [概要] を使用して、結合テーブル内のセンサー メトリックを要約 (つまり平均) します。
- センサー メトリックを選択し、必要な統計を選択します。
- 他のすべての列ごとにグループ化します。
- グラフ ビルダーまたは Y by X を使用して、効力と平均温度の関係を調べます。
- 効力が最も高いのはどこですか?
- このことから、温度の動作範囲をどこに設定するかについて何がわかりますか?
- 他のすべてのプロセス入力も同様に組み込めるように、モデリング手法の使用を検討してください。
このブログ投稿にコメントして、フォローしたことをお知らせください。 指示が明確であると感じたかどうか、そうでない場合は何を明確にできるかを知りたいのです。また、ここで取り上げられていない状況にはどのようなものがありますか?
付録
日付、時刻、日時の確認
データを正しく結合するには、すべてのデータ テーブルでデータ型とモデリング タイプを正しく取得することが重要であるため、このタイプのデータを簡単に確認してみましょう。 分析ソフトウェアは、日付、時刻、および日付時刻を基準日からの秒単位で保存します。 JMP は、日付、時刻、日時を 1904 年 1 月 1 日からの秒数として保存します。 他にも素晴らしいブログ投稿があります日付、時刻、日時および期間の使用このトピックについてさらに詳しく知りたい場合は、
このタイプのデータを使用する場合 (グラフ、日付の減算、日付による結合)、日付/時刻/日時がデータ タイプ = 数値、モデリング タイプ = 連続としてフォーマットされていることを確認する必要があります。 データをインポートするときは、必ずインポートしてください。 特殊なタイプの日付時刻形式の場合は、カスタムインポート形式これは JMP に日時であることを知らせるためです。
データを数値および連続としてフォーマットすると、データが秒単位で表されることがわかります。 奇妙に見えるかもしれませんが、それは正しいです。
フォーマットを適用すると、データが自分自身や他の人にとって理解しやすくなります。 [列情報] で日付、時刻、期間の形式を選択できます (列ヘッダーを右クリックして、[列情報] > [形式])。 日付時刻 (タイムスタンプ) は、[時刻] メニューにあります (図 5)。
Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.図5. 列の日付、時刻、期間の形式オプション。
余談
日時を介して 2 つのデータ テーブルを結合する場合は、両方のテーブルの日時列に、そのために必要な詳細レベルがあることを確認してください。 詳細レベルはソース データによって決まります。 この形式は、JMP によって認識されるデータの粒度を変更しません。セル内で目に見える粒度が変わるだけです。
2 つのシナリオを考えてみましょう。
- データの粒度が日付レベルのみである場合 (時刻がない場合)、タイムスタンプ形式 (例: m/d/yh:m:s) を適用すると、m/d/y が表示され、時刻として午前 12:00:00 が表示されます。すべての記録に。 ソース値には時間の詳細がないため、同じ日内の時間を比較することはできません。
- データに日時レベルの詳細がある場合、日付形式 (例: m/d/y のみ) を適用すると、各セルに m/d/y が表示されます。ただし、基本的な粒度は残ります (図 4)。
Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.図6. 形式は異なるが粒度は同じタイムスタンプ列。
図 7 の 2 つの列 (タイムスタンプと日付) を比較してください。 同じ形式が両方に適用されます。 ただし、タイムスタンプには日付にはない粒度があり、それはデータ テーブルのヘッダー グラフで確認できます。
Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.図7。 タイムスタンプと日付の形式は同じですが、粒度のレベルが異なります。
