344739_ja-JP

liliconcom

欠測データパターンを使用してデータ準備を高速化することは可能ですか？

一貫したデータ品質の欠如は、データ分析を妨げ、多くの人が機械学習の旅に出るのを思いとどまらせます。

半導体業界では、プロセスの継続的な改善が期待されています。 残念ながら、このような取り組みの副作用の1つは、データ構造の変更です。 この理由の1つは、プロセスステップの名前変更である可能性があります。

 

以下では、ステップ名を変更した4つのプロセスステップで20ロットが処理された場合をシミュレートしました。

根本原因分析では、特定のステップに関連する機器からのプローブ結果を比較する必要があります。 以下のケースでは、データが階層化されていることがわかります。

 

JMPの「列の結合」機能（Cols \ Utilities \ Combinecolumns ...）を引き続き使用できることは知っていますが、実際には、チェックして結合する必要のある数百の列があります。

 

JMPでTables \ Missing Data Pattern機能を使用すると、結合されるデータ構造と潜在的な列を簡単に確認できます。

欠測データパターンからの情報を使用して、列の結合要件をスクリプト化できるかどうか疑問に思っていましたか？

 

プロセスを自動化する前に、次のようないくつかのチェックが必要になります。
列はプロセスの同じステップを表していますか？
両方のステップの内容は似ていますか？
欠測データのパターンとペアの列の逆はありますか？

 

 

壊れたデータは次のようになります。

 

 

 

欠測データパターン：

 

 

 

再構築されたデータ：

 

 

--jpol

 

データ表スクリプティングRe：欠測データパターンを使用してデータ準備をスピードアップすることは可能ですか？

欠測データパターンを使用して、欠測されていないパターンと欠測されているパターンのどちらにも交差のないデータがある列を特定できると思います。このスクリプトは、JMPサンプルデータテーブルからわずかに変更された欠測データパターンデータテーブルを使用して、欠測パターンプラットフォームからの出力テーブルを使用します。逆に一致するパターンをすべて見つけて、表示ウィンドウに表示します

names default to here(1);
dt=New Table( "example",
 Add Rows( 4 ),
 New Column( "Count",
  Numeric,
  "Continuous",
  Format( "Fixed Dec", 10, 0 ),
  Preselect Role( Freq ),
  Set Values( [1, 3, 1, 2] )
 ),
 New Column( "Number of columns missing",
  Numeric,
  "Continuous",
  Format( "Fixed Dec", 10, 0 ),
  Set Values( [1, 2, 1, 2] )
 ),
 New Column( "Patterns",
  Character,
  "Ordinal",
  List Check( {"0010", "0011", "0100", "0101"} ),
  Set Values( {"0010", "0011", "0100", "0101"} )
 ),
 New Column( "Trial 1", Numeric( 1 ), "Nominal", Set Values( [0, 0, 0, 0] ) ),
 New Column( "Trial 2", Numeric( 1 ), "Nominal", Set Values( [0, 0, 1, 1] ) ),
 New Column( "Trial 3", Numeric( 1 ), "Nominal", Set Values( [1, 1, 0, 0] ) ),
 New Column( "Trial 4", Numeric( 1 ), "Nominal", Set Values( [0, 1, 0, 1] ) )
);
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);

 

Re：欠測データパターンを使用してデータ準備をスピードアップすることは可能ですか？

非常に高速な応答と解決策を提供してくれたジムに感謝します。

 

スクリプトの動作を確認したい場合は、提供した例のデータ構築スクリプトと、組み合わせることができる列を報告するためのJSLを含めます。

 

names default to here(1);
// Construct the initial data table
New Table( "Missing data initial",
 Add Rows( 20 ),
 New Column( "LOT_ID",
  Character,
  "Nominal",
  Set Values(
   {"AA_234_xx.1", "AA_234_xx.2", "AA_234_xx.3", "AA_234_xx.4",
   "AA_234_xx.5", "AA_234_xx.6", "AA_234_xx.7", "AA_234_xx.8",
   "AA_234_xx.9", "AA_234_xx.10", "AA_234_xx.11", "AA_234_xx.12",
   "AA_234_xx.13", "AA_234_xx.14", "AA_234_xx.15", "AA_234_xx.16",
   "AA_234_xx.17", "AA_234_xx.18", "AA_234_xx.19", "AA_234_xx.20"}
  ),
  Set Display Width( 81 )
 ),
 New Column( "Step1.v1",
  Character( 6 ),
  "Nominal",
  Set Values(
   {"SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02", "", "", "", "", "",
   "SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02", "", "", "", "", ""}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step1.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "", "", "", "SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02",
   "", "", "", "", "", "SRD_02", "SRD_02", "SRD_02", "SRD_02", "SRD_02"}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step2.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"COATER_02", "COATER_01", "", "", "COATER_02", "COATER_01", "COATER_02",
   "COATER_02", "COATER_02", "COATER_01", "COATER_02", "COATER_02",
   "COATER_01", "COATER_01", "COATER_01", "", "", "", "COATER_01",
   "COATER_01"}
  ),
  Set Display Width( 71 )
 ),
 New Column( "Step2.v3",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "COATER_01", "COATER_01", "", "", "", "", "", "", "", "", "",
   "", "", "COATER_02", "COATER_02", "COATER_02", "", ""}
  ),
  Set Display Width( 71 )
 ),
 New Column( "Step3.v5",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"DRIE_03", "DRIE_04", "DRIE_03", "", "", "", "", "", "", "DRIE_04",
   "DRIE_03", "DRIE_04", "DRIE_03", "DRIE_04", "", "", "", "", "", ""}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step3.v6",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "", "DRIE_04", "DRIE_03", "DRIE_04", "DRIE_03", "DRIE_04",
   "DRIE_03", "", "", "", "", "", "DRIE_03", "DRIE_04", "DRIE_03",
   "DRIE_04", "DRIE_03", "DRIE_04"}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step4.v1",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", ""}
  ),
  Set Display Width( 61 )
 ),
 New Column( "Step4.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07"}
  ),
  Set Display Width( 61 )
 )
);

// Check the Missings Data Patern
Data Table( "Missing data initial" ) <<
Missing Data Pattern(
 columns(
  :Step1.v1,
  :Step1.v2,
  :Step2.v2,
  :Step2.v3,
  :Step3.v5,
  :Step3.v6,
  :Step4.v1,
  :Step4.v2
 ),
 Output Table( "Missing Data Pattern" )
);

// Check for columns which could be combined
//  *** JSL written by txnelson ***
dt=Data Table( "Missing Data Pattern"); 
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);

 

-フィリップ

Re：欠測データパターンを使用してデータ準備をスピードアップすることは可能ですか？

スクリプト作成に少し重すぎたかもしれません。 2つ以上の同様の列がある可能性があるため、このソリューションでは欠測データパターンを使用しませんでした（ここに当てはまるかどうかはわかりません）。 ほとんどの場合、これらは欠測データパターンでも検出できますが、私は独自の解決策を作成しました。

 

結果表：

新しい列が作成され、古い列はそのままになります（簡単に削除できます）。 括弧内の新しい列名の値は、新しい列を作成するために結合された列の数を示します。 行12の値が2回同じであるため、Step5.v1とStep5.v2は結合されません。 スクリプト内の関数F_checkForInversePatternsを変更して、同じ行に一致するデータを持つ列を許可することで、簡単に変更できるはずです。

 

このソリューションでは、データが列内でどの程度類似しているかは考慮されていません（1つの追加チェックが必要になります）。 また、ピリオドの前のステップ名が列間で同じである場合、列名の類似性が単純にチェックされます。

 

スクリプトが添付されています。

Re：欠測データパターンを使用してデータ準備をスピードアップすることは可能ですか？

製造からのはるかに大きなデータテーブルでtxnelsonのスクリプトを評価しているときに、特定の行のすべての対象列にデータがない場合、スクリプトは出力リストを提供しないことがわかりました（Jimが見つかりました）。 ジムは親切にもスクリプトの修正を提供してくれました。 下記参照：

 

Names Default To Here( 1 );
dtRaw = Current Data Table();
colNamesList = dtRaw << get column names( string );
Remove From( colNamesList, 1, 1 );
dt = dtRaw << Missing Data Pattern(
 columns( Eval( colNamesList ) ),
 Output Table( "Missing Data Pattern" )
);

// Get rid of all missing and all present patterns
dt << lock data table( 0 );
dt << select where( Contains( :patterns, "0" ) & !Contains( :Patterns, "1" ) );
Try( dt << delete rows );
dt << select where( Contains( :patterns, "1" ) & !Contains( :Patterns, "0" ) );
Try( dt << delete rows );

// Check for columns which could be combined
//  *** JSL written by txnelson ***
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);

-フィリップ

Re：欠測データパターンを使用してデータ準備をスピードアップすることは可能ですか？

こんにちはjthi、

 

私はあなたの代替ソリューションも好きです。 特に、元の列をそのままにして、データテーブルに新しい列を作成する方法。 あなたが取り組むもう一つの問題は、必要が生じた場合に3つ以上の列から組み合わせる可能性です。 私はこの必要性を何度か経験しました。

 

あなたが言及している他の事前結合チェックを含めるために、スクリプトをさらに開発することに興味があります。

 

ありがとう、

 

フィリップ

 

 

Re：欠測データパターンを使用してデータ準備をスピードアップすることは可能ですか？

こんにちは。欠測データパターンを使用してデータ品質を向上させることに関心のある方のために、ここで簡単な更新を行います。

 

私はスクリプトを使用していました@txnelsonより良いデータセットを構築するために、しかしその後、それぞれの欠落したデータパターン（および補数）が一致しないにもかかわらず、列を結合したい場合があることに気付きました。 これは、両方の列の同じ行にデータが欠落している場合です。

 

これは、元の例に基づいた例です。

 

 

 

上記のように、Step6に関連する列を結合したいと思います。

 

次に、データを処理する前に、列間の一致率を知ることが役立つと思いました。 これにより、組み合わせるかどうかを決定する際にそのような情報を使用できるようになります。

と通信した@txnelson彼は親切にもスクリプトを開発しました。

 

添付されているのは最終バージョンです。

 

また、この方法を使用してデータ品質を向上させた「実際の」データを使用したいくつかの例を以下に示します。

 

注：青色のセルはデータが欠落していることを示します

 

ケース1：

から

に

 

 

ケース2：

から

に

 

列が大幅に削減され、「空の」セルがはるかに少なくなります

 

ご想像のとおり、これにより、根本原因分析が改善され、より速く、より効率的になります。

 

添付されているのは、シミュレートされた欠測データの例を作成するためのスクリプトと、欠測データパターンに基づいて「結合可能な割合」と「結合可能な列」を報告する最終的なスクリプトです。

 

 

 

-フィリップ