날짜 시간별로 데이터 세트를 조인하려는 이유는 무엇입니까?
과학자와 엔지니어가 직면하는 일반적인 데이터 준비 문제 중 하나는 날짜, 시간 또는 날짜/시간(타임스탬프라고도 함)별로 서로 다른 데이터 세트를 일치시키는 것입니다(그림 1).
그림 1. 날짜, 시간 및 날짜/시간 데이터의 예.
과학자와 엔지니어는 종종 다양한 측정 시스템/장비에서 메트릭을 얻습니다. 데이터를 분석하려면 모든 메트릭을 단일 테이블에 결합하여 모든 메트릭 간의 관계를 볼 수 있어야 합니다.
고유 식별자 열 또는 열 집합(예: Batch_ID, Lot_ID, UPC, 일련 번호 등)이 있는 경우 조인은 비교적 간단하며 JMP의 테이블 > 조인 기능 또는 가상 조인 기능 JMP에서.
데이터 세트 간에 날짜, 시간 또는 날짜/시간을 정렬해야 하는 경우에는 더 어렵습니다. 종종 작업에는 시간 경과에 따라 메트릭을 지속적으로 추적하는 센서가 포함됩니다(예: 온도, 압력, pH, 포도당). 이러한 지표가 제품 엔드포인트(때로는 "중요 품질 속성"이라고도 함)에 어떤 영향을 미칠 수 있는지 이해하려면 적절한 기간 동안 해당 지표의 요약*을 작성해야 합니다. 그런 다음 요약이 해당 제품 엔드포인트와 결합됩니다.
이러한 유형의 조인을 수행하는 방법을 보여주는 사례 연구를 통해 작업해 보겠습니다.
사례 연구
비디오를 보거나 비디오 아래의 사례 연구에 대해 읽어보십시오.
우리가 이해하고 개선하려는 과정은 "Forever Young Elixir"라는 완제품을 만듭니다. 중요한 품질 속성은 효능입니다.
제품은 2단계로 만들어지고 있습니다. 첫째, 원료는 원료에 압력을 가하는 기계로 들어갑니다. 그런 다음 조립된 원료는 최종 제품을 만들기 위해 온도를 적용하는 두 번째 공정 단계로 이동합니다.
두 프로세스 단계를 모두 제어할 수 있지만 오늘날에는 완제품의 중요한 품질 속성 효능에 영향을 미치는 것으로 생각되는 상당한 양의 변동이 있습니다. 압력과 온도가 이 제품의 효능에 미치는 영향을 이해하여 궁극적으로 각 공정 단계에 대해 허용 가능한 작동 범위를 식별하는 데 관심이 있습니다. 공정을 지속적으로 모니터링하는 온도 및 압력 센서가 있습니다.
압력 데이터로 작업하는 프로세스가 유사하기 때문에 이 예에서는 온도에 중점을 둘 것입니다.
각 로트, 배치가 완료된 시간의 타임스탬프(날짜/시간) 및 그 효능이 있는 데이터 테이블이 있습니다(그림 2).
그림 2. 배치 완료에 대한 타임스탬프와 함께 완료된 각 배치에 대해 수집된 역가 데이터. 온도 센서의 데이터도 있습니다. 온도는 1분 간격으로 기록됩니다(그림 3).
그림 3. 배치 완료에 대한 타임스탬프와 함께 완료된 각 배치에 대해 수집된 역가 데이터.
궁극적으로 역가와 온도를 연관시키려면 각 배치의 역가와 제품이 만들어진 기간 동안의 평균* 온도가 포함된 표가 필요합니다.
그림 4. 역가 데이터와 결합된 온도 데이터가 있는 최종 분석 테이블. *다른 요약 통계를 고려할 수도 있고, 단일 값으로 요약하는 대신 모든 데이터를 사용하여 프로세스를 이해하는 Functional Data Explorer 플랫폼을 사용하여 탐색할 수도 있습니다.
소프트웨어를 시작하기 전에 온도 단계에서 특정 배치와 적절하게 연결된 시점을 결정해야 합니다. 즉, 온도 단계에서 배치가 언제 처리되고 있었습니까?
다른 엔지니어와 논의하면서 온도 단계에서 배치가 처리되는 시간이 5분이라고 결정했습니다. 따라서 배치 완료 타임스탬프 5분 전의 온도 데이터를 사용하여 배치의 효능과 상관 관계를 파악해야 합니다.
이제 데이터 준비 프로세스를 시작하는 데 필요한 정보가 있습니다.
메모: 이 예제는 올바른 데이터 유형 및 모델링 유형으로 이미 적절하게 코딩된 날짜/시간으로 시작합니다. 조인이 올바르게 작동하도록 하려면 매우 중요한 단계입니다. 날짜, 시간 및 날짜 시간 사용에 대한 복습이 필요한 경우 이 블로그 게시물의 부록으로 이동하십시오.
비디오 데모
가입에 동참하세요! 아래에 첨부된 두 개의 데이터 세트를 다운로드하고 따라해보세요. JMP가 아직 없으면 다음을 수행할 수 있습니다. 30일 평가판 다운로드 .
단계 검토
- 제품과 관련된 센서 데이터 판독값의 범위를 결정합니다.
- 내 프로세스가 엔드포인트 메트릭에 어떤 영향을 미칩니까?
- 각 프로세스에서 최종 제품과 관련된 센서 판독값의 시간 범위는 얼마입니까?
- 각 프로세스에 대해 최종 제품과 연관시키고자 하는 센서 판독값의 시간 범위는 얼마입니까?
- 정의하는 끝점 메트릭으로 데이터 세트에 열을 만듭니다. 첫 번째 관련된 각 레코드의 타임스탬프입니다.
- 완제품의 타임스탬프(또는 사용할 수 없는 경우 다른 참조 타임스탬프)를 사용하는 공식 열을 사용하여 이 작업을 수행합니다.
- 마지막 관련 타임스탬프도 정의해야 할 수 있습니다.
- 테이블 > JMP 쿼리 빌더를 사용하여 끝점 메트릭이 있는 테이블을 센서 데이터에 조인합니다.
- 두 가지 조건을 포함하도록 조인 기준을 편집해야 합니다. 하나는 센서 타임스탬프를 완제품 테이블의 타임스탬프와 비교하고 다른 하나는 센서 타임스탬프를 두 번째 단계에서 계산된 첫 번째 타임스탬프와 비교합니다.
- 테이블 > 요약을 사용하여 결합된 테이블에서 센서 메트릭을 요약(즉, 평균)합니다.
- 센서 메트릭을 선택한 다음 원하는 통계를 선택합니다.
- 다른 모든 열을 기준으로 그룹화합니다.
- 그래프 빌더 또는 Fit Y by X를 사용하여 효능과 평균 온도 사이의 관계를 살펴보십시오.
- 효능이 가장 높은 곳은 어디입니까?
- 온도에 대한 작동 범위를 설정하는 위치에 대해 무엇을 알 수 있습니까?
- 다른 모든 프로세스 입력도 통합할 수 있도록 모델링 기술을 사용하는 것이 좋습니다.
이 블로그 게시물에 댓글을 달고 팔로우했는지 알려주세요. 지침이 명확했는지 여부와 그렇지 않은 경우 내가 명확히 할 수 있는 내용을 알고 싶습니다.또한 여기에서 다루지 않는 상황은 무엇입니까?
부록
날짜, 시간 및 날짜 시간 검토
데이터를 올바르게 조인하려면 모든 데이터 테이블에서 데이터 유형과 모델링 유형을 올바르게 지정하는 것이 중요하기 때문에 이러한 유형의 데이터를 빠르게 검토해 보겠습니다. 분석 소프트웨어는 참조 날짜로부터 초 단위로 날짜, 시간 및 날짜/시간을 저장합니다. JMP는 날짜, 시간 및 날짜/시간을 1904년 1월 1일부터 초 단위로 저장합니다. 에 또 다른 훌륭한 블로그 게시물이 있습니다. 날짜, 시간, 날짜 시간 및 기간 사용 이 주제에 대해 더 자세히 알고 싶다면.
이 유형의 데이터(그래프, 날짜 빼기, 날짜를 통해 결합)를 사용하려면 날짜/시간/날짜/시간이 데이터 유형 = 숫자 및 모델링 유형 = 연속으로 형식이 지정되어 있는지 확인해야 합니다. 데이터를 가져올 때 반드시 그렇게 하십시오. 특별한 유형의 날짜 시간 형식의 경우 다음을 적용해야 할 수 있습니다. 사용자 정의 가져오기 형식 날짜 시간임을 JMP에 알립니다.
데이터를 숫자 및 연속 형식으로 지정하면 데이터가 초 단위로 표시되는 것을 볼 수 있습니다. 이상하게 보일 수 있지만 맞습니다.
형식을 적용하면 데이터가 자신과 다른 사람이 이해할 수 있게 보입니다. 열 정보에서 날짜, 시간 및 기간 형식을 선택할 수 있습니다(열 머리글 > 열 정보 > 형식을 마우스 오른쪽 버튼으로 클릭). 날짜/시간(타임스탬프)은 시간 메뉴에 있습니다(그림 5).
그림 5. 열의 날짜, 시간 및 기간에 대한 형식 옵션입니다.
곁에
날짜 시간을 통해 두 개의 데이터 테이블을 결합하려는 경우 두 테이블의 날짜 시간 열에 필요한 세부 정보 수준이 있는지 확인하십시오. 세부 수준은 소스 데이터에 의해 결정됩니다. 형식은 JMP에서 인식하는 데이터의 세분성을 변경하지 않습니다. 그것은 단순히 세포에서 우리에게 보이는 세분성을 변경합니다.
두 가지 시나리오를 고려해 보겠습니다.
- 데이터에 날짜 수준(시간 없음)의 세분성만 있는 경우 타임스탬프 형식(예: m/d/yh:m:s)을 적용하면 m/d/y가 표시되고 시간이 12:00:00 AM으로 표시됩니다. 모든 기록에 대해. 소스 값에 시간 세부 정보가 없으므로 같은 날의 시간을 비교할 수 없습니다.
- 데이터에 날짜/시간 수준의 세부 정보가 있는 경우 날짜 형식(예: m/d/y만)을 적용하면 각 셀에 m/d/y가 표시됩니다. 그러나 기본 세분성은 그대로 유지됩니다(그림 4).
그림 6. 형식은 다르지만 세분성은 동일한 타임스탬프 열입니다.
그림 7의 두 열(타임스탬프 및 날짜)을 대조합니다. 동일한 형식이 둘 다에 적용됩니다. 그러나 Timestamp는 Date에 없는 세분성을 가지며 데이터 테이블의 헤더 그래프에서 볼 수 있습니다.
그림 7. 타임스탬프와 날짜는 형식은 같지만 세부 수준이 다릅니다.
