210389_ko-KR

liliconcom

대규모 데이터 세트에 커널 스무딩 적용

여러 센서에서 동시에 수집한 시계열 데이터로 자주 작업합니다. 예를 들어, 100개의 센서가 몇 달 동안 시간당 한 번씩 측정할 수 있습니다. 센서는 때때로 잘못된 값을 보고하고 보고하지 못하는 경우도 있습니다. 추가 사후 처리 및 분석을 위해 특정 시점에서 값을 추출하기 위해 데이터 세트에서 이상값을 제거하고 누락된 값을 대치하려고 합니다. 하나 이상의 견고성 패스가 있는 이변량 플랫폼의 커널 스무더는 피팅 작업을 훌륭하게 수행합니다. 그러나 대규모 데이터 세트(수백 개의 센서)에 효과적으로 적용할 수 없었습니다.

 

예를 들어 대표적인 데이터 테이블에는 센서 ID, 시간 및 측정의 3개 열이 있습니다. 측정 열의 값을 센서 ID별 측정 대 시간의 적합성을 기반으로 커널 평활화 값으로 대체하는 효과적인 방법이 있습니까?

 

설명된 솔루션 여기 누락된 값을 대치하는 우아한 방법이지만 스플라인 피팅은 이상값(작은 람다)의 영향을 너무 많이 받거나 데이터의 실제 곡률에 응답하기에는 너무 뻣뻣합니다(큰 람다). 스크립팅 인덱스의 커널 스무더 객체.익명화된 데이터 차트(왼쪽은 원시 데이터, 오른쪽은 스무더 적용)를 아래에 붙여넣고 차트를 생성한 데이터 테이블을 첨부합니다.

 

-할 것이다

Re: 대규모 데이터셋에 커널 스무딩 적용

좋은 예입니다!

Red triangle->Flexible->Kernel Smoother. The slider tightens the fit.Red triangle->Flexible->Kernel Smoother. The slider tightens the fit.빨간색 삼각형->유연한->커널 평활기. 슬라이더가 핏을 조입니다.

Re: 대규모 데이터셋에 커널 스무딩 적용

이변량 플랫폼에서 커널 스무스하게 접근하는 방법을 알아낼 수 있었습니다.일부 가짜 노이즈 데이터를 생성하고 커널을 데이터에 매끄럽게 맞추고(by 변수 사용) 데이터 테이블의 새 열에 적합을 저장하는 스크립트는 다음과 같습니다.

dt = New Table( "smoother example",
 Add Rows( 90 ),
 New Column( "X",
  Numeric,
  "Continuous",
  Format( "Best", 12 ),
  Set Values(
   [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20,
   21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10,
   11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28,
   29, 30, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18,
   19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30]
  )
 ),
 New Column( "Y",
  Numeric,
  "Continuous",
  Format( "Best", 12 ),
  Formula(
   Sine( :X / (Pi() * 2) ) + Random Normal( 0, 0.01 ) + (
   Floor( Random Uniform( 0, 10 ) ) == 1) * Random Uniform( -1, 1 )
  ),
  Set Display Width( 100 )
 ),
 New Column( "ByVar",
  Character,
  "Nominal",
  Set Values(
   {"A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A",
   "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A",
   "A", "A", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B",
   "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B",
   "B", "B", "B", "B", "C", "C", "C", "C", "C", "C", "C", "C", "C", "C",
   "C", "C", "C", "C", "C", "C", "C", "C", "C", "C", "C", "C", "C", "C",
   "C", "C", "C", "C", "C", "C"}
  )
 )
);

obj = dt << Bivariate( 
 Ignore Platform Preferences( 1 ),
 Y( :Y ), 
 X( :X ), 
 By( :ByVar ) 
 );

obj << Kernel Smoother( 2, 1, 0.5, 1  );

obj << (curve[1] << save predicteds);

Re: 대규모 데이터셋에 커널 스무딩 적용

스크립트와 조건부 예측 공식을 알려주셔서 감사합니다.

 

-할 것이다

Re: 대규모 데이터셋에 커널 스무딩 적용

Cleveland의 LOESS 추정기 옵션 대부분을 구현하는 (이전) 스크립트를 첨부했습니다. By groups은 지원하지 않지만 조정할 수 있습니다.

 

또한 FDE의 맞춤에서 요약을 저장하려고 했습니까? 한 가지 선택은 수식을 저장하는 것입니다. 조건부 예측 공식은 모든 시간 값에 대한 함수 예측을 제공합니다.

Re: 대규모 데이터셋에 커널 스무딩 적용

표시,

 

신속하게 응답해 주셔서 감사합니다.

 

저는 JMP Pro 14를 가지고 있고 데이터 정리 및 b 스플라인 피팅을 포함하여 기능적 데이터 탐색기로 일부 작업을 수행했습니다. 저는 데이터 수동 정리를 지원하는 도구를 사용했으며 어떤 경우에는 잘 작동하는 것으로 나타났습니다. 그러나 내가 설명한 사용 사례에는 해결 방법을 찾고 있는 3가지 항목이 있습니다.

 

1. FDE(수백 개의 개별 시계열)에서 대용량 데이터 세트를 정리하는 데 상당한 시간이 걸립니다. 각 시계열을 수동으로 확대하고 포인트를 선택하고 "제거"를 클릭합니다....

 

2. FDE의 적합 스플라인에서 출력되는 예측 시계열은 누락된 데이터를 대체하지 않습니다. 예를 들어 시간 = 1000에 대한 데이터가 원래 데이터 세트에서 누락된 경우 피팅에서 누락됩니다. FDE에서 직접 값을 대치하는 효과적인 방법이 있다면 찾지 못했습니다. 누락된 시간 값을 삽입하고 스플라인을 맞추고 계산된 스플라인 값을 사용하여 이에 대한 해결 방법을 찾을 수 있습니다. 추가 단계를 제거하고 싶습니다.

 

3. 저는 궁극적으로 각각 수백 개의 데이터 포인트가 있는 수백 개의 센서를 포함할 수 있는 데이터 테이블에서 원시 데이터를 스무딩된 데이터로 대체하는 스크립트를 사용하여 스무딩 "제자리"를 수행하고 싶습니다.

 

실제 신호와 이상 또는 편향을 구별하는 것은 생성 방법에 대한 지식이 있으면 데이터 세트에서 비교적 간단합니다. 단계 유형 변경은 실제로 발생하지만 가짜 단일 포인트는 잘못 계산된 값입니다. 이 분석(일주일에 여러 번 실행)의 전형적인 데이터 세트에 있는 가짜 데이터 포인트는 육안으로 매우 쉽게 감지됩니다. 또한 LOESS 스무더는 이를 안정적으로 식별합니다.

 

-할 것이다

Re: 대규모 데이터셋에 커널 스무딩 적용

JMP Pro 14가 있습니까? 그렇다면 분석 > 특수 모델링 > 기능 데이터 탐색기를 조사할 수 있습니다.

 

또한 귀하의 예에서 각 기능은 임의의 노이즈를 제외하고 부드러운 곡선이라고 가정합니다. 하지만 가짜 결과(이상치)와 새로운 기간에 대한 갑작스러운 변화도 나타냅니다. 실제 신호와 이상 또는 바이어스를 구분할 수 있습니까?