날짜/시간별로 데이터 세트를 조인하려는 이유는 무엇입니까?
과학자와 엔지니어가 직면하는 일반적인 데이터 준비 문제 중 하나는 날짜, 시간 또는 날짜 시간(타임스탬프라고도 함)별로 서로 다른 데이터 세트를 일치시키는 것입니다(그림 1).
Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.Figure 1. Example of dates, time and datetime data.그림 1. 날짜, 시간 및 날짜/시간 데이터의 예.
과학자와 엔지니어는 종종 다양한 측정 시스템/장비에서 메트릭을 얻습니다. 데이터를 분석하려면 모든 메트릭 간의 관계를 볼 수 있도록 모든 메트릭을 단일 테이블에 결합해야 합니다.
고유 식별자 열 또는 열 집합(예: Batch_ID, Lot_ID, UPC, 일련 번호 등)이 있는 경우 조인은 비교적 간단하며 JMP의 테이블 > 조인 기능을 사용하거나 가상 조인 기능 JMP에서.
데이터 세트 간에 날짜, 시간 또는 날짜 시간을 정렬해야 하는 경우 더 어렵습니다. 작업에는 종종 시간이 지남에 따라 지표(예: 온도, 압력, pH, 포도당)를 지속적으로 추적하는 센서가 포함됩니다. 이러한 메트릭이 제품 엔드포인트("중요 품질 속성"이라고도 함)에 어떤 영향을 미칠 수 있는지 이해하려면 적절한 기간 동안 해당 메트릭의 요약*을 생성해야 합니다. 그런 다음 요약이 해당 제품 엔드포인트와 결합됩니다.
이러한 유형의 연결을 수행하는 방법을 보여주는 사례 연구를 살펴보겠습니다.
사례 연구
비디오를 보거나 비디오 아래에서 사례 연구에 대해 읽어보십시오.
우리가 이해하고 개선하려는 과정은 "Forever Young Elixir"라는 완제품을 만듭니다. 중요한 품질 속성은 효능입니다.
제품은 두 단계로 만들어집니다. 첫째, 원료는 원료에 압력을 가하는 기계로 들어갑니다. 그런 다음 조립된 원료는 최종 제품을 만들기 위해 온도가 적용되는 두 번째 공정 단계로 이동합니다.
두 공정 단계를 모두 제어할 수 있지만 현재 완제품의 중요한 품질 속성 효능에 영향을 미치고 있다고 생각되는 상당한 양의 변형이 있습니다. 우리는 압력과 온도가 이 제품의 효능에 어떤 영향을 미치는지 이해하여 궁극적으로 각 공정 단계에 대해 허용 가능한 작동 범위를 식별하는 데 관심이 있습니다. 프로세스를 지속적으로 모니터링하는 온도 및 압력 센서가 있습니다.
압력 데이터로 작업하는 프로세스가 유사하기 때문에 이 예에서는 온도에 중점을 둘 것입니다.
각 로트, 배치가 완료된 시간에 대한 타임스탬프(날짜 시간) 및 해당 효능이 있는 데이터 테이블이 있습니다(그림 2).
Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 2. Potency data collected for each finished batch along with the timestamp for batch completion.그림 2. 배치 완료를 위한 타임스탬프와 함께 완료된 각 배치에 대해 수집된 역가 데이터. 온도 센서의 데이터도 있습니다. 온도는 1분 간격으로 기록됩니다(그림 3).
Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.Figure 3. Potency data collected for each finished batch along with the timestamp for batch completion.그림 3. 배치 완료를 위한 타임스탬프와 함께 완료된 각 배치에 대해 수집된 역가 데이터.
궁극적으로 Potency와 온도의 상관 관계를 확인하려면 각 배치의 Potency와 제품이 만들어진 기간 동안의 평균* 온도가 포함된 표가 필요합니다.
Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.Figure 4. Final analysis table with temperature data combined with potency data. *Other summary statistics could be considered, or one could also explore using the Functional Data Explorer platform which uses all of the data to understand a process instead of summarizing to a single value.그림 4. 역가 데이터와 결합된 온도 데이터가 포함된 최종 분석 표. *다른 요약 통계를 고려하거나 단일 값으로 요약하는 대신 프로세스를 이해하기 위해 모든 데이터를 사용하는 Functional Data Explorer 플랫폼을 사용하여 탐색할 수도 있습니다.
소프트웨어를 시작하기 전에 온도 단계의 어느 시점이 특정 배치와 적절하게 연관되는지 결정해야 합니다. 즉, 온도 단계에서 배치가 언제 처리되었습니까?
다른 엔지니어와 논의하면서 온도 단계에서 배치가 처리되는 시간이 5분이라는 것을 확인했습니다. 따라서 배치의 종료 타임스탬프 이전 5분 동안의 온도 데이터를 사용하여 배치의 역가와 연관시켜야 합니다.
이제 데이터 준비 프로세스를 시작하는 데 필요한 정보가 있습니다.
메모: 이 예제는 올바른 데이터 유형 및 모델링 유형으로 이미 적절하게 코딩된 날짜/시간으로 시작합니다. 조인이 올바르게 작동하려면 매우 중요한 단계입니다. 날짜, 시간 및 날짜/시간 사용에 대한 복습이 필요한 경우 이 블로그 게시물의 부록으로 이동하십시오.
비디오 데모
가입에 참여하십시오! 아래에 첨부된 두 개의 데이터 세트를 다운로드하고 따라하세요. 아직 JMP가 없다면 다음을 수행할 수 있습니다. 30일 평가판 다운로드 .
단계 검토
- 제품과 관련된 센서 데이터 판독 범위를 결정합니다.
- 내 프로세스가 끝점 메트릭에 어떤 영향을 줍니까?
- 각 프로세스에서 최종 제품과 관련된 센서 판독값의 시간 범위는 어떻게 됩니까?
- 각 프로세스에 대해 최종 제품과 연관시키려는 센서 판독값의 시간 범위는 어떻게 됩니까?
- 다음을 정의하는 끝점 메트릭을 사용하여 데이터 세트에 열을 만듭니다. 첫 번째 관련된 각 레코드의 타임스탬프입니다.
- 완제품의 타임스탬프(또는 사용할 수 없는 경우 다른 참조 타임스탬프)를 사용하는 수식 열을 사용하여 이를 수행합니다.
- 마지막 관련 타임스탬프도 정의해야 할 수 있습니다.
- Tables > JMP Query Builder를 사용하여 끝점 지표가 있는 테이블을 센서 데이터에 조인합니다.
- 두 가지 조건을 포함하도록 조인 기준을 편집해야 합니다. 하나는 센서 타임스탬프를 완제품 테이블의 타임스탬프와 비교하고 다른 하나는 센서 타임스탬프를 두 번째 단계에서 계산된 첫 번째 타임스탬프와 비교하는 것입니다.
- 테이블 > 요약을 사용하여 조인된 테이블의 센서 메트릭을 요약(즉, 평균)합니다.
- 센서 메트릭을 선택한 다음 원하는 통계를 선택합니다.
- 다른 모든 열을 기준으로 그룹화합니다.
- Graph Builder 또는 Fit Y by X를 사용하여 역가와 평균 온도 사이의 관계를 살펴보십시오.
- 효능이 가장 높은 곳은 어디입니까?
- 이것은 온도에 대한 작동 범위를 어디에 설정해야 하는지에 대해 무엇을 알려줄 수 있습니까?
- 다른 모든 프로세스 입력도 통합할 수 있도록 모델링 기술을 사용하는 것을 고려하십시오.
이 블로그 게시물에 댓글을 달고 팔로우했는지 알려주세요. 지침이 명확했는지, 그렇지 않은 경우 무엇을 명확히 할 수 있는지 알고 싶습니다.또한 여기에서 다루지 않는 상황은 무엇입니까?
부록
날짜, 시간 및 날짜 시간 검토
데이터를 올바르게 조인하려면 모든 데이터 테이블에서 올바른 데이터 유형과 모델링 유형을 가져오는 것이 중요하므로 이 유형의 데이터를 빠르게 검토해 보겠습니다. 분석 소프트웨어는 참조 날짜로부터 날짜, 시간 및 날짜 시간을 초 단위로 저장합니다. JMP는 1904년 1월 1일부터 초 단위로 날짜, 시간 및 날짜/시간을 저장합니다. 에 또 다른 훌륭한 블로그 게시물이 있습니다. 날짜, 시간, 날짜 시간 및 기간 사용 이 주제에 대해 더 깊이 알고 싶다면.
이 유형의 데이터를 사용하려면(그래프, 날짜 빼기, 날짜를 통해 결합) 날짜/시간/날짜 시간이 데이터 유형 = 숫자 및 모델링 유형 = 연속으로 형식화되어 있는지 확인해야 합니다. 데이터를 가져올 때 그렇게 했는지 확인하십시오. 특별한 유형의 날짜 시간 형식의 경우 사용자 지정 가져오기 형식 JMP에 날짜/시간임을 알립니다.
데이터를 숫자 및 연속형으로 포맷하면 데이터가 초 단위로 표시되는 것을 볼 수 있습니다. 이상하게 보일 수 있지만 맞습니다.
형식을 적용하면 자신과 다른 사람이 데이터를 이해할 수 있게 보이게 됩니다. 열 정보에서 날짜, 시간 및 기간 형식 중에서 선택할 수 있습니다(열 머리글 > 열 정보 > 형식을 마우스 오른쪽 단추로 클릭). 날짜/시간(타임스탬프)은 시간 메뉴에 있습니다(그림 5).
Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.Figure 5. Format options for Dates, Times and Durations for a column.그림 5. 열의 날짜, 시간 및 기간에 대한 형식 옵션입니다.
곁에
datetimes를 통해 두 개의 데이터 테이블을 결합하려는 경우 두 테이블의 datetime 열에 필요한 세부 정보 수준이 있는지 확인하십시오. 세부 정보 수준은 소스 데이터에 의해 결정됩니다. 형식은 JMP에서 인식하는 데이터의 세분성을 변경하지 않습니다. 그것은 단순히 셀에서 우리에게 보이는 세분성을 변경합니다.
두 가지 시나리오를 고려해 보겠습니다.
- 데이터가 날짜 수준(시간 없음)에서만 세분성인 경우 타임스탬프 형식(예: m/d/yh:m:s)을 적용하면 m/d/y가 표시되고 해당 시간에 대해 오전 12:00:00가 표시됩니다. 모든 기록에 대해. 소스 값에 시간 세부 정보가 없으므로 같은 날의 시간을 비교할 수 없습니다.
- 데이터에 날짜/시간 수준의 세부 정보가 있는 경우 날짜 형식(예: m/d/y만)을 적용하면 각 셀에 m/d/y가 표시됩니다. 그러나 기본 세분성은 그대로 유지됩니다(그림 4).
Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.Figure 6. Timestamp columns with different formats but the same granularity.그림 6. 형식은 다르지만 세분성은 동일한 타임스탬프 열입니다.
그림 7의 두 열(타임스탬프 및 날짜)을 대조합니다. 동일한 형식이 둘 다에 적용됩니다. 그러나 타임스탬프에는 날짜에는 없는 세분성이 있으며 데이터 테이블의 헤더 그래프에서 이를 확인할 수 있습니다.
Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.Figure 7. Timestamp and Date have the same format but different levels of granularity.그림 7. 타임스탬프와 날짜는 형식은 같지만 세분성 수준이 다릅니다.
