레벨: 중급
Peter Hersh, SAS JMP 시스템 엔지니어
"함수 데이터"란 무엇이며, 정확히 어떻게 "탐색"할 수 있을까요? 함수 데이터는 어디에나 존재합니다. 센서 데이터, 트랜잭션 데이터, 화학 스펙트럼 등 그 형태는 무궁무진합니다. 하지만 공통적인 특징은 분석하기가 까다로울 수 있다는 것입니다. 게다가, 일반적으로 함수 데이터를 직접 분석하기보다는 관측된 데이터를 생성하는 함수라는 기본 정보를 활용하고자 합니다. 함수 데이터 탐색기(FDE)가 바로 이러한 작업을 지원합니다. 함수 데이터 탐색기는 탐색 분석과 차원 축소를 위한 도구로서, 함수 정보를 다른 모델링 기법에 활용할 수 있도록 도와줍니다. 이 프레젠테이션에서 허쉬는 산업, 계량화학, 농업 분야의 여러 사례 연구를 통해 JMP가 FDE를 사용하여 해결할 수 있는 새로운 분석 문제를 소개합니다. 또한, 이 강력한 새 플랫폼을 고객이 이해하도록 도우면서 얻은 FDE 활용 팁과 요령을 시연합니다.
기능 데이터 탐색기는 JMP Pro 버전 14에서 도입되었으며 버전 14.1에서 개선되었습니다.
이 논문에서는 Functional Data Explorer를 활용하여 JMP Pro 14.1에서 기능적 데이터 분석을 수행하는 방법을 설명합니다.
그림 1. 흡광도 데이터에 B-스플라인 모델을 적용하는 기능 데이터 탐색기의 스냅샷
역사
함수형 데이터 분석이라는 용어는 1982년 램지가 처음 사용했지만, 그 역사는 1950년 그레난더(Grenander)로 거슬러 올라갑니다. 함수형 데이터 분석의 핵심은 데이터를 이산적인 측정값이 아닌 연속체로 취급하는 것입니다. 이는 데이터를 설명하는 함수를 생성함으로써 가능합니다.
사용 방법
기능적 데이터 탐색기 실행
함수형 데이터 탐색기를 사용하려면 JMP 14 Pro 이상 버전이 필요합니다. 함수형 데이터 탐색기는 분석 메뉴의 특수 모델링에서 찾을 수 있습니다. 행 또는 열로 쌓인 데이터 형식에는 세 가지 옵션이 있습니다. 누적 데이터 형식은 함수 데이터가 단일 열에 포함되어 있고 별도의 ID 열을 갖는 경우입니다. 행 형식은 함수 데이터가 여러 열에 포함되어 있고 각 행이 별도의 ID를 나타내는 경우입니다. 열 형식은 각 열에 여러 행에 걸쳐 함수 데이터가 포함된 행 형식과 반대입니다. 데이터 처리 및 모델링의 유연성을 높이려면 누적 형식을 사용하는 것이 좋습니다.
그림 2. 기능적 데이터 탐색기 시작 창
기능적 데이터 탐색기에서의 데이터 처리
기능적 데이터 탐색기를 실행하면 데이터 처리 창이 나타나 다양한 데이터 정리 프로세스를 수행할 수 있습니다. 기능적 데이터 탐색기에는 정리, 변환, 정렬의 세 가지 데이터 처리 유형이 있습니다. 정리를 사용하면 연속된 점들을 정의하는 데 도움이 되지 않는 점(영점, 특정 값 또는 이상치)을 제거할 수 있습니다. 변환을 사용하면 반응형 y 변수를 중앙으로 빠르게 변환(평균을 0으로 설정), 표준화(표준 편차를 1로 설정) 또는 분산을 안정화할 수 있습니다. 정렬을 사용하면 최소값, 행, 최대값을 정렬하거나 동적 시간 왜곡을 사용하여 참조 함수에 정렬하여 x 변수를 정렬할 수 있습니다. 동적 시간 왜곡은 참조 스펙트럼을 사용하여 원본 스펙트럼의 y 잔차를 참조 스펙트럼으로 줄입니다. 이는 원본 데이터의 x 값을 가장 유사한 y 값을 갖는 참조 스펙트럼에 정렬하여 수행됩니다. 모든 데이터 처리 단계는 데이터 처리 단계에 기록되며 제거할 수 있습니다.
그림 3. 데이터 처리 창
처리가 완료되면 빨간색 삼각형으로 이동하여 '데이터 저장'을 선택하여 데이터를 저장할 수 있습니다. 이렇게 하면 정리된 새 데이터 테이블을 만들 수 있습니다.
모델 피팅
데이터가 정리되면 이제 데이터에 모델을 적용할 수 있습니다. 모델 적합은 빨간색 삼각형과 모델 아래에서 찾을 수 있습니다. JMP Pro 14.1에는 B-스플라인, P-스플라인 및 푸리에 기저의 3가지 모델 적합 옵션이 있습니다. B-스플라인은 조각별 다항식 모델로, 조각 수(매듭)와 다항식의 차수를 정의할 수 있습니다(차수 = 0, 1, 2 또는 3). P-스플라인은 B-스플라인의 페널티 버전입니다. 푸리에 기저 모델은 주기성이 증가하는 사인 및 코사인 함수를 사용하여 구축됩니다. 푸리에 기저 모델은 주기적 데이터에서 잘 작동합니다. 모델을 실행하면 JMP에서 자동으로 모델 그룹을 실행하고 지정된 정보 기준(BIC, AICc 또는 GCV)을 사용하여 데이터에 가장 적합한 모델을 선택합니다. 매듭의 수와 위치, 적합의 차수 다항식을 조정할 수 있습니다.
그림 4. BIC 기준에 의해 선택된 최상의 모델로 4노트 큐빅 적합을 보여주는 FDE에서 선택된 모델
이 예시에서는 매듭이 4개이므로 각 매듭 사이의 데이터에 맞는 5개의 개별 다항식 모델(이 경우 3차)이 있습니다. 조각별 다항식 모델이 완성되면 함수를 정의하는 함수 주성분(FPC)이 생성됩니다. JMP는 전체 분산의 최소 1%를 정의하는 모든 FPC를 생성합니다. 이러한 FPC는 평균으로부터의 형태 변화를 정의합니다. 각 배치에는 각 FPC에 대한 값이 할당됩니다. 데이터가 평균 함수를 정확히 추적하는 경우 모든 FPC는 0이 됩니다. 양수 FPC 값을 갖는 경우 함수의 형태는 해당 고유 함수와 유사한 형태로 평균에서 변합니다(음수 FPC는 반대 효과를 나타냄).
그림 5. 평균 함수의 예와 고유 함수라고 불리는 평균 함수의 변형입니다.
기능적 원리 구성 요소 저장
모델이 완성되고 데이터에 적합되면 기능 요약 표가 생성됩니다. 이 표에는 각 데이터 배치에 대한 기능적 주성분이 제공됩니다. 원하는 요약과 현금 FPC 생성 방식을 사용자 지정할 수 있습니다. 그런 다음 이 표를 저장하여 데이터 분석에 사용할 수 있습니다.
예제 1 밀링 공정에 대한 DoE 응답
DoE 응답에 기능적 데이터 탐색기를 사용합니다. 이 예시에서는 밀링 공정을 신속하게 사양에 포함하고, 조정 없이도 공정이 사양을 유지하도록 하려고 합니다.
그림 6. 밀링 프로파일 및 프로세스의 빠른 보기
예제 2 스펙트럼 데이터를 사용하여 지방 함량 식별
함수형 데이터 탐색기를 사용하여 스펙트럼 데이터를 분석합니다. 이 예시에서는 근적외선 복사를 사용하여 소고기의 지방 함량을 분석합니다. 이는 지방 함량을 측정하는 파괴적인 기법을 대체하는 것입니다.
그림 7. 쇠고기 연구에서 지방 함량으로부터 얻은 스펙트럼 정보
예시 3 발효 공정에서 얻은 효소 수율
수율 예측 모델을 만들기 위해 입력 변수 그룹의 형태를 살펴봅니다. 수율을 극대화하기 위해 각 입력 변수의 이상적인 형태를 파악합니다.
그림 8. 수확량 대시보드
요약
기능 데이터는 다양한 분야와 응용 분야의 다양한 곳에서 발견될 수 있습니다. 하지만 데이터를 요약하는 것만으로는 기능 데이터를 충분히 활용하지 못하는 경우가 많습니다. 이로 인해 수집된 데이터의 상당 부분이 누락되고 모든 잠재적 정보를 포착하지 못하게 됩니다. JMP 14 Pro의 기능 데이터 탐색기는 기능 원리 구성 요소를 사용하여 기능 데이터의 형태를 파악함으로써 모든 정보를 포착할 수 있도록 도와줍니다.
참고문헌
“Ramsay JO. 1982. 데이터가 함수일 때. Psychometrika 47:379–396”
Grenander U. 1950. 확률과정과 통계적 추론. Arkiv f¨or Matematik 1:195–277
