344739_ko-KR

liliconcom

누락된 데이터 패턴을 사용하면 데이터 준비 속도를 높일 수 있을까요?

일관된 데이터 품질이 부족하면 데이터 분석이 어려워지고 많은 사람이 머신 러닝 여정을 시작하지 못합니다.

반도체 산업에서는 프로세스가 지속적으로 개선될 것으로 기대됩니다. 불행히도 이러한 노력의 부작용 중 하나는 데이터 구조의 변화입니다. 그 이유 중 하나는 프로세스 단계의 이름이 변경된 것일 수 있습니다.

아래에서는 20개의 로트가 단계 이름이 변경된 4개의 공정 단계를 거쳐 처리되는 사례를 시뮬레이션했습니다.

근본 원인 분석을 위해서는 특정 단계와 관련된 장비의 프로브 결과를 비교해야 합니다. 아래의 사례에서 데이터가 계층화되었음을 알 수 있습니다.

JMP의 "열 결합" 기능(Cols\Utilities\Combine columns...)을 계속 사용할 수 있다는 걸 알고 있지만 실제로는 검사하고 결합해야 할 열이 수백 개나 됩니다.

JMP의 Tables\Missing Data Pattern 기능을 사용하면 데이터 구조와 결합할 수 있는 잠재적인 열을 쉽게 확인할 수 있습니다.

누락된 데이터 패턴의 정보를 사용하여 열 결합 요구 사항을 스크립팅할 수 있을지 궁금합니다.

프로세스를 자동화하기 전에 다음과 같은 몇 가지 확인이 필요합니다.
열이 프로세스의 동일한 단계를 나타냅니까?
두 단계의 내용이 비슷한가요?
누락된 데이터 패턴은 쌍을 이룬 열에 대한 역패턴입니까?

손상된 데이터는 다음과 같습니다.

누락된 데이터 패턴:

재구성된 데이터:

- 제이폴

고급 통계 모델링콘텐츠 구성대량 맞춤형결과 공유 및 전달Re: 누락 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

안녕하세요, 누락 데이터 패턴을 사용하여 데이터 품질을 개선하는 데 관심이 있는 분들을 위해 여기에 간략한 업데이트를 제공합니다.

 

나는 스크립트를 사용하고 있었다 @txnelson 더 나은 데이터 세트를 구축하기 위해 각 열의 누락된 데이터 패턴(및 보완)이 일치하지 않음에도 불구하고 열을 결합하고 싶은 경우가 있음을 깨달았습니다. 두 열의 동일한 행에 누락된 데이터가 있는 경우입니다.

 

다음은 원래 예제를 기반으로 하는 예제입니다.

 

 

 

위와 같이 Step6과 관련된 열을 결합하고 싶습니다.

 

그런 다음 데이터를 처리하기 전에 열 간의 일치 비율을 아는 것이 도움이 될 것이라는 생각이 들었습니다. 이렇게 하면 결합 여부를 결정할 때 이러한 정보를 사용할 수 있습니다.

와 소통하면서 @txnelson 그는 친절하게 대본을 개발했습니다.

 

첨부파일은 최종본입니다.

 

또한 이 방법이 데이터 품질을 개선하는 데 사용된 "실제" 데이터를 사용하는 몇 가지 예를 아래에 포함하고 있습니다.

 

참고: 파란색으로 표시된 셀은 누락된 데이터를 나타냅니다.

 

사례 1:

에서

에게

 

 

사례 2:

에서

에게

 

열이 크게 감소하고 "빈" 셀이 훨씬 적습니다.

 

상상할 수 있듯이 이를 통해 개선되고 빠르고 효율적인 근본 원인 분석이 가능합니다.

 

시뮬레이션된 결측 데이터 예제를 만들기 위한 스크립트와 결측 데이터 패턴을 기반으로 "결합 가능 비율" 및 "결합 가능 열"을 보고하는 최종 스크립트가 첨부되어 있습니다.

 

 

 

- 필립

Re: 누락 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

안녕하세요,

 

나는 당신의 대체 솔루션도 좋아합니다. 특히 원래 열을 그대로 두고 데이터 테이블에 새 열을 만드는 방식입니다. 해결해야 할 또 다른 문제는 필요에 따라 2개 이상의 열에서 결합할 수 있다는 것입니다. 나는 또한 몇 차례 이러한 필요를 겪었습니다.

 

귀하가 언급한 다른 사전 결합 검사를 포함하도록 귀하의 스크립트를 추가로 개발하는 데 관심이 있습니다.

 

감사,

 

필립

 

 

Re: 누락 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

훨씬 더 큰 제조 데이터 테이블에서 txnelson의 스크립트를 평가하는 동안 특정 행의 모든 대상 열에 데이터가 없으면 스크립트가 출력 목록을 제공하지 않는다는 것이 발견되었습니다(Jim 발견). Jim이 친절하게 스크립트를 수정했습니다. 아래를 참조하십시오.

 

Names Default To Here( 1 );
dtRaw = Current Data Table();
colNamesList = dtRaw << get column names( string );
Remove From( colNamesList, 1, 1 );
dt = dtRaw << Missing Data Pattern(
 columns( Eval( colNamesList ) ),
 Output Table( "Missing Data Pattern" )
);

// Get rid of all missing and all present patterns
dt << lock data table( 0 );
dt << select where( Contains( :patterns, "0" ) & !Contains( :Patterns, "1" ) );
Try( dt << delete rows );
dt << select where( Contains( :patterns, "1" ) & !Contains( :Patterns, "0" ) );
Try( dt << delete rows );

// Check for columns which could be combined
//  *** JSL written by txnelson ***
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);

- 필립

Re: 누락 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

스크립팅에 너무 무거웠을 수도 있습니다 .. 2개 이상의 유사한 열이 있을 가능성으로 인해 이 솔루션에서 누락된 데이터 패턴을 사용하지 않았습니다(여기에 해당하는지 확실하지 않음). 누락된 데이터 패턴으로도 감지할 수 있지만 나만의 솔루션을 만들었습니다.

 

결과 테이블:

새 열이 생성되고 이전 열은 그대로 남습니다(쉽게 삭제할 수 있음). 대괄호 사이의 새 열 이름에 있는 값은 새 열을 만들기 위해 결합된 열 수를 나타냅니다. Step5.v1과 Step5.v2는 동일한 값을 두 번 갖는 행 12로 인해 결합되지 않습니다. 동일한 행에 일치하는 데이터가 있는 열을 허용하도록 스크립트의 F_checkForInversePatterns 함수를 수정하여 변경하기 쉬워야 합니다.

 

이 솔루션은 열 내부의 데이터가 얼마나 유사한지 고려하지 않습니다(한 번의 추가 확인이 필요함). 또한 컬럼명 유사도는 단순히 기간 앞의 단계 이름이 컬럼 간에 동일한지 확인합니다.

 

스크립트가 첨부되었습니다.

Re: 누락 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

매우 빠른 응답과 솔루션에 대해 Jim에게 감사드립니다.

 

귀하의 스크립트가 작동하는 것을 보고자 하는 분들을 위해 제가 제공한 예제의 데이터 작성 스크립트와 결합할 수 있는 열을 보고하는 JSL을 포함하고 있습니다.

 

names default to here(1);
// Construct the initial data table
New Table( "Missing data initial",
 Add Rows( 20 ),
 New Column( "LOT_ID",
  Character,
  "Nominal",
  Set Values(
   {"AA_234_xx.1", "AA_234_xx.2", "AA_234_xx.3", "AA_234_xx.4",
   "AA_234_xx.5", "AA_234_xx.6", "AA_234_xx.7", "AA_234_xx.8",
   "AA_234_xx.9", "AA_234_xx.10", "AA_234_xx.11", "AA_234_xx.12",
   "AA_234_xx.13", "AA_234_xx.14", "AA_234_xx.15", "AA_234_xx.16",
   "AA_234_xx.17", "AA_234_xx.18", "AA_234_xx.19", "AA_234_xx.20"}
  ),
  Set Display Width( 81 )
 ),
 New Column( "Step1.v1",
  Character( 6 ),
  "Nominal",
  Set Values(
   {"SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02", "", "", "", "", "",
   "SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02", "", "", "", "", ""}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step1.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "", "", "", "SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02",
   "", "", "", "", "", "SRD_02", "SRD_02", "SRD_02", "SRD_02", "SRD_02"}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step2.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"COATER_02", "COATER_01", "", "", "COATER_02", "COATER_01", "COATER_02",
   "COATER_02", "COATER_02", "COATER_01", "COATER_02", "COATER_02",
   "COATER_01", "COATER_01", "COATER_01", "", "", "", "COATER_01",
   "COATER_01"}
  ),
  Set Display Width( 71 )
 ),
 New Column( "Step2.v3",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "COATER_01", "COATER_01", "", "", "", "", "", "", "", "", "",
   "", "", "COATER_02", "COATER_02", "COATER_02", "", ""}
  ),
  Set Display Width( 71 )
 ),
 New Column( "Step3.v5",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"DRIE_03", "DRIE_04", "DRIE_03", "", "", "", "", "", "", "DRIE_04",
   "DRIE_03", "DRIE_04", "DRIE_03", "DRIE_04", "", "", "", "", "", ""}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step3.v6",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "", "DRIE_04", "DRIE_03", "DRIE_04", "DRIE_03", "DRIE_04",
   "DRIE_03", "", "", "", "", "", "DRIE_03", "DRIE_04", "DRIE_03",
   "DRIE_04", "DRIE_03", "DRIE_04"}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step4.v1",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", ""}
  ),
  Set Display Width( 61 )
 ),
 New Column( "Step4.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07"}
  ),
  Set Display Width( 61 )
 )
);

// Check the Missings Data Patern
Data Table( "Missing data initial" ) <<
Missing Data Pattern(
 columns(
  :Step1.v1,
  :Step1.v2,
  :Step2.v2,
  :Step2.v3,
  :Step3.v5,
  :Step3.v6,
  :Step4.v1,
  :Step4.v2
 ),
 Output Table( "Missing Data Pattern" )
);

// Check for columns which could be combined
//  *** JSL written by txnelson ***
dt=Data Table( "Missing Data Pattern"); 
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);

 

- 필립

Re: 누락 데이터 패턴을 사용하여 데이터 준비 속도를 높일 수 있습니까?

누락된 데이터 패턴을 사용하여 누락되지 않은 패턴과 누락된 패턴에 대해 교차가 없는 데이터가 있는 열을 식별할 수 있다고 생각합니다.이 스크립트는 JMP 샘플 데이터 테이블에서 약간 수정된 누락 데이터 패턴 데이터 테이블을 사용하여 누락 패턴 플랫폼의 출력 테이블을 사용합니다.역으로 일치하는 패턴을 모두 찾아 디스플레이 창에 표시합니다.

names default to here(1);
dt=New Table( "example",
 Add Rows( 4 ),
 New Column( "Count",
  Numeric,
  "Continuous",
  Format( "Fixed Dec", 10, 0 ),
  Preselect Role( Freq ),
  Set Values( [1, 3, 1, 2] )
 ),
 New Column( "Number of columns missing",
  Numeric,
  "Continuous",
  Format( "Fixed Dec", 10, 0 ),
  Set Values( [1, 2, 1, 2] )
 ),
 New Column( "Patterns",
  Character,
  "Ordinal",
  List Check( {"0010", "0011", "0100", "0101"} ),
  Set Values( {"0010", "0011", "0100", "0101"} )
 ),
 New Column( "Trial 1", Numeric( 1 ), "Nominal", Set Values( [0, 0, 0, 0] ) ),
 New Column( "Trial 2", Numeric( 1 ), "Nominal", Set Values( [0, 0, 1, 1] ) ),
 New Column( "Trial 3", Numeric( 1 ), "Nominal", Set Values( [1, 1, 0, 0] ) ),
 New Column( "Trial 4", Numeric( 1 ), "Nominal", Set Values( [0, 1, 0, 1] ) )
);
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);