344739_ko-KR

liliconcom

누락 된 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

일관된 데이터 품질의 부족은 데이터 분석을 방해하고 많은 사람들이 기계 학습 여정을 시작하지 못하게합니다.

반도체 산업에서는 공정이 지속적으로 개선 될 것으로 예상됩니다. 불행히도 이러한 노력의 부작용 중 하나는 데이터 구조의 변화입니다. 이에 대한 한 가지 이유는 프로세스 단계의 이름 변경 때문일 수 있습니다.

 

단계 이름이 변경된 4 개의 공정 단계를 통해 20 개의 로트가 처리 된 경우를 아래에서 시뮬레이션했습니다.

근본 원인 분석을 위해서는 특정 단계와 관련된 장비의 프로브 결과를 비교해야합니다. 아래의 경우 데이터가 계층화되었음을 알 수 있습니다.

 

JMP (Cols \ Utilities \ Combine columns ...)에서 "열 결합"기능을 계속 사용할 수 있다는 것을 알고 있지만 실제로 확인하고 결합해야하는 수백 개의 열이 있습니다.

 

JMP에서 Tables \ Missing Data Pattern 기능을 사용하면 결합 할 데이터 구조와 잠재적 인 열을 쉽게 확인할 수 있습니다.

누락 된 데이터 패턴의 정보를 사용하여 열 결합 요구 사항을 스크립팅 할 수 있는지 궁금합니다.

 

프로세스를 자동화하기 전에 다음과 같은 몇 가지 검사가 필요합니다.
열이 프로세스의 동일한 단계를 나타내는가?
두 단계의 내용이 비슷합니까?
결측 데이터 패턴이 쌍을 이룬 열에 대해 역입니까?

 

 

손상된 데이터는 다음과 같습니다.

 

 

 

누락 된 데이터 패턴 :

 

 

 

재구성 된 데이터 :

 

 

-jpol

 

데이터 테이블스크립팅Re : 누락 된 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

누락되지 않은 패턴과 누락 된 패턴에 대해 교차가없는 데이터가있는 열을 식별하기 위해 누락 된 데이터 패턴을 사용할 수 있다고 생각합니다.이 스크립트는 JMP 샘플 데이터 테이블에서 약간 수정 된 누락 데이터 패턴 데이터 테이블을 사용하여 누락 패턴 플랫폼의 출력 테이블을 사용합니다.역으로 일치하는 패턴을 모두 찾아서 디스플레이 창에 표시합니다.

names default to here(1);
dt=New Table( "example",
 Add Rows( 4 ),
 New Column( "Count",
  Numeric,
  "Continuous",
  Format( "Fixed Dec", 10, 0 ),
  Preselect Role( Freq ),
  Set Values( [1, 3, 1, 2] )
 ),
 New Column( "Number of columns missing",
  Numeric,
  "Continuous",
  Format( "Fixed Dec", 10, 0 ),
  Set Values( [1, 2, 1, 2] )
 ),
 New Column( "Patterns",
  Character,
  "Ordinal",
  List Check( {"0010", "0011", "0100", "0101"} ),
  Set Values( {"0010", "0011", "0100", "0101"} )
 ),
 New Column( "Trial 1", Numeric( 1 ), "Nominal", Set Values( [0, 0, 0, 0] ) ),
 New Column( "Trial 2", Numeric( 1 ), "Nominal", Set Values( [0, 0, 1, 1] ) ),
 New Column( "Trial 3", Numeric( 1 ), "Nominal", Set Values( [1, 1, 0, 0] ) ),
 New Column( "Trial 4", Numeric( 1 ), "Nominal", Set Values( [0, 1, 0, 1] ) )
);
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);

 

Re : 누락 된 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

매우 빠른 응답과 해결책에 대해 Jim에게 감사드립니다.

 

여러분의 스크립트가 작동하는 모습을보고 싶은 사람들을 위해 제가 제공 한 예제의 데이터 구축 스크립트와 결합 가능한 열을보고하는 JSL을 포함하고 있습니다.

 

names default to here(1);
// Construct the initial data table
New Table( "Missing data initial",
 Add Rows( 20 ),
 New Column( "LOT_ID",
  Character,
  "Nominal",
  Set Values(
   {"AA_234_xx.1", "AA_234_xx.2", "AA_234_xx.3", "AA_234_xx.4",
   "AA_234_xx.5", "AA_234_xx.6", "AA_234_xx.7", "AA_234_xx.8",
   "AA_234_xx.9", "AA_234_xx.10", "AA_234_xx.11", "AA_234_xx.12",
   "AA_234_xx.13", "AA_234_xx.14", "AA_234_xx.15", "AA_234_xx.16",
   "AA_234_xx.17", "AA_234_xx.18", "AA_234_xx.19", "AA_234_xx.20"}
  ),
  Set Display Width( 81 )
 ),
 New Column( "Step1.v1",
  Character( 6 ),
  "Nominal",
  Set Values(
   {"SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02", "", "", "", "", "",
   "SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02", "", "", "", "", ""}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step1.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "", "", "", "SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02",
   "", "", "", "", "", "SRD_02", "SRD_02", "SRD_02", "SRD_02", "SRD_02"}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step2.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"COATER_02", "COATER_01", "", "", "COATER_02", "COATER_01", "COATER_02",
   "COATER_02", "COATER_02", "COATER_01", "COATER_02", "COATER_02",
   "COATER_01", "COATER_01", "COATER_01", "", "", "", "COATER_01",
   "COATER_01"}
  ),
  Set Display Width( 71 )
 ),
 New Column( "Step2.v3",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "COATER_01", "COATER_01", "", "", "", "", "", "", "", "", "",
   "", "", "COATER_02", "COATER_02", "COATER_02", "", ""}
  ),
  Set Display Width( 71 )
 ),
 New Column( "Step3.v5",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"DRIE_03", "DRIE_04", "DRIE_03", "", "", "", "", "", "", "DRIE_04",
   "DRIE_03", "DRIE_04", "DRIE_03", "DRIE_04", "", "", "", "", "", ""}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step3.v6",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "", "DRIE_04", "DRIE_03", "DRIE_04", "DRIE_03", "DRIE_04",
   "DRIE_03", "", "", "", "", "", "DRIE_03", "DRIE_04", "DRIE_03",
   "DRIE_04", "DRIE_03", "DRIE_04"}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step4.v1",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", ""}
  ),
  Set Display Width( 61 )
 ),
 New Column( "Step4.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07"}
  ),
  Set Display Width( 61 )
 )
);

// Check the Missings Data Patern
Data Table( "Missing data initial" ) <<
Missing Data Pattern(
 columns(
  :Step1.v1,
  :Step1.v2,
  :Step2.v2,
  :Step2.v3,
  :Step3.v5,
  :Step3.v6,
  :Step4.v1,
  :Step4.v2
 ),
 Output Table( "Missing Data Pattern" )
);

// Check for columns which could be combined
//  *** JSL written by txnelson ***
dt=Data Table( "Missing Data Pattern"); 
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);

 

-필립

Re : 누락 된 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

스크립팅이 너무 무거웠을지도 .. 2 개 이상의 유사한 열이있을 수 있으므로이 솔루션에서 누락 된 데이터 패턴을 사용하지 않았습니다 (여기에 해당하는지 확실하지 않음). 대부분의 경우 누락 된 데이터 패턴으로 감지 될 수 있지만 자체 솔루션을 만들었습니다.

 

결과 테이블 :

새 열이 생성되고 이전 열은 그대로 유지됩니다 (쉽게 삭제할 수 있음). 대괄호 사이에있는 새 열 이름의 값은 새 열을 만들기 위해 결합 된 열 수를 나타냅니다. Step5.v1 및 Step5.v2는 12 행의 값이 두 번 같으므로 결합되지 않습니다. 동일한 행에 일치하는 데이터가있는 열을 허용하도록 스크립트의 F_checkForInversePatterns 함수를 수정하여 쉽게 변경할 수 있어야합니다.

 

이 솔루션은 데이터가 열 내부에 얼마나 유사한 지 고려하지 않습니다 (한 번의 추가 확인이 필요함). 또한 열 이름 유사성은 단순히 기간 이전 단계 이름이 열간에 동일한 경우 확인됩니다.

 

스크립트가 첨부되었습니다.

Re : 누락 된 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

제조의 훨씬 더 큰 데이터 테이블에서 txnelson의 스크립트를 평가하는 동안 특정 행에 모든 대상 열에 데이터가 없으면 스크립트가 출력 목록을 제공하지 않는다는 것이 발견되었습니다 (Jim 발견). Jim은 친절하게 스크립트를 수정했습니다. 아래를 참조하십시오.

 

Names Default To Here( 1 );
dtRaw = Current Data Table();
colNamesList = dtRaw << get column names( string );
Remove From( colNamesList, 1, 1 );
dt = dtRaw << Missing Data Pattern(
 columns( Eval( colNamesList ) ),
 Output Table( "Missing Data Pattern" )
);

// Get rid of all missing and all present patterns
dt << lock data table( 0 );
dt << select where( Contains( :patterns, "0" ) & !Contains( :Patterns, "1" ) );
Try( dt << delete rows );
dt << select where( Contains( :patterns, "1" ) & !Contains( :Patterns, "0" ) );
Try( dt << delete rows );

// Check for columns which could be combined
//  *** JSL written by txnelson ***
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);

-필립

Re : 누락 된 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

안녕 jthi,

 

나는 또한 당신의 대체 솔루션을 좋아합니다. 특히 원래 열을 그대로두고 데이터 테이블에 새 열을 만드는 방식입니다. 해결해야 할 또 다른 문제는 필요한 경우 두 개 이상의 열에서 결합 할 수 있다는 것입니다. 나는 몇 번도 이런 필요가 있었다.

 

언급하신 다른 사전 결합 검사를 포함하도록 스크립트를 추가로 개발하고 싶습니다.

 

감사,

 

필립

 

 

Re : 누락 된 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

안녕하세요, 누락 된 데이터 패턴을 사용하여 데이터 품질을 개선하는 데 관심이있는 분들을 위해 여기에서 간단한 업데이트를 제공합니다.

 

나는 스크립트를 사용하고 있었다. 헉헉 더 나은 데이터 세트를 구축하기 위해 각각의 누락 된 데이터 패턴 (및 보완)이 일치하지 않음에도 불구하고 열을 결합하고 싶은 인스턴스가 있음을 깨달았습니다. 두 열 모두 동일한 행에 누락 된 데이터가있는 경우입니다.

 

다음은 원래 예제를 기반으로 한 예제입니다.

 

 

 

위와 같이 Step6과 관련된 열을 결합하고 싶습니다.

 

그런 다음 데이터 처리 전에 열 간의 일치율을 아는 것이 도움이 될 것이라고 생각했습니다. 이것은 결합 여부를 결정할 때 그러한 정보를 사용할 수있는 가능성을 제공합니다.

의사 소통 헉헉 그는 친절하게 대본을 개발했습니다.

 

첨부는 최종 버전입니다.

 

또한이 방법이 데이터 품질을 개선하는 데 사용 된 "실제"데이터를 사용하는 몇 가지 예를 아래에 포함합니다.

 

참고 : 파란색 셀은 누락 된 데이터를 나타냅니다.

 

사례 1 :

에서

...에

 

 

사례 2 :

에서

...에

 

열이 크게 감소하고 "빈"셀이 훨씬 적습니다.

 

상상할 수 있듯이이를 통해 근본 원인 분석을 개선하고 더 빠르고 효율적으로 수행 할 수 있습니다.

 

첨부 된 것은 시뮬레이트 된 누락 데이터 예제를 만드는 스크립트와 누락 된 데이터 패턴을 기반으로 "결합 가능한 백분율"및 "결합 가능한 열"을보고하는 최종 스크립트입니다.

 

 

 

-필립