344739_zh-CN

liliconcom

是否可以使用“丢失数据模式”来加快数据准备？

缺乏一致的数据质量会阻碍数据分析，并阻止许多人踏上机器学习之旅。

在半导体工业中，预期工艺会不断改进。 不幸的是，这种努力的副作用之一是数据结构的改变。 原因之一可能是过程步骤的重命名。

 

我在下面模拟了这样一种情况，其中通过更改步骤名称的4个处理步骤处理了20个批次。

对于根本原因分析，有必要比较与特定步骤相关的设备的探测结果。 在下面的情况下，我们可以看到数据已经分层。

 

我知道我可以继续使用JMP中的“合并列”功能（Cols \ Utilities \ Combine列...），但实际上我有数百个列需要检查和合并。

 

在JMP中使用“表\缺少数据模式”功能时，我可以很容易地看到要组合的数据结构和潜在列。

我想知道是否可以将“缺失数据模式”中的信息用于编写合并列要求的脚本？

 

在使过程自动化之前，需要进行多项检查，例如：
列是否代表流程中的同一步骤？
两个步骤的内容是否相似？
配对列是否缺少数据模式和逆数据？

 

 

损坏的数据如下所示：

 

 

 

缺少数据模式：

 

 

 

重建数据：

 

 

-jpol

 

数据表脚本编写回复：是否可以使用“丢失数据模式”来加快数据准备？

我认为您可以使用缺失数据模式来标识具有无交集的数据的列，无论这些缺失模式还是缺失模式。该脚本使用Missing Pattern平台的输出表，并使用JMP Sample数据表中经过略微修改的Missing Data Pattern数据表。它找到所有反向匹配的模式，然后在显示窗口中显示它们

names default to here(1);
dt=New Table( "example",
 Add Rows( 4 ),
 New Column( "Count",
  Numeric,
  "Continuous",
  Format( "Fixed Dec", 10, 0 ),
  Preselect Role( Freq ),
  Set Values( [1, 3, 1, 2] )
 ),
 New Column( "Number of columns missing",
  Numeric,
  "Continuous",
  Format( "Fixed Dec", 10, 0 ),
  Set Values( [1, 2, 1, 2] )
 ),
 New Column( "Patterns",
  Character,
  "Ordinal",
  List Check( {"0010", "0011", "0100", "0101"} ),
  Set Values( {"0010", "0011", "0100", "0101"} )
 ),
 New Column( "Trial 1", Numeric( 1 ), "Nominal", Set Values( [0, 0, 0, 0] ) ),
 New Column( "Trial 2", Numeric( 1 ), "Nominal", Set Values( [0, 0, 1, 1] ) ),
 New Column( "Trial 3", Numeric( 1 ), "Nominal", Set Values( [1, 1, 0, 0] ) ),
 New Column( "Trial 4", Numeric( 1 ), "Nominal", Set Values( [0, 1, 0, 1] ) )
);
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);

 

回复：是否可以使用“丢失数据模式”来加快数据准备？

感谢Jim的快速响应和解决方案。

 

对于那些希望看到您的脚本起作用的人，我将提供我提供的示例中的数据构建脚本以及您的JSL，以报告可以合并的列。

 

names default to here(1);
// Construct the initial data table
New Table( "Missing data initial",
 Add Rows( 20 ),
 New Column( "LOT_ID",
  Character,
  "Nominal",
  Set Values(
   {"AA_234_xx.1", "AA_234_xx.2", "AA_234_xx.3", "AA_234_xx.4",
   "AA_234_xx.5", "AA_234_xx.6", "AA_234_xx.7", "AA_234_xx.8",
   "AA_234_xx.9", "AA_234_xx.10", "AA_234_xx.11", "AA_234_xx.12",
   "AA_234_xx.13", "AA_234_xx.14", "AA_234_xx.15", "AA_234_xx.16",
   "AA_234_xx.17", "AA_234_xx.18", "AA_234_xx.19", "AA_234_xx.20"}
  ),
  Set Display Width( 81 )
 ),
 New Column( "Step1.v1",
  Character( 6 ),
  "Nominal",
  Set Values(
   {"SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02", "", "", "", "", "",
   "SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02", "", "", "", "", ""}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step1.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "", "", "", "SRD_01", "SRD_02", "SRD_01", "SRD_04", "SRD_02",
   "", "", "", "", "", "SRD_02", "SRD_02", "SRD_02", "SRD_02", "SRD_02"}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step2.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"COATER_02", "COATER_01", "", "", "COATER_02", "COATER_01", "COATER_02",
   "COATER_02", "COATER_02", "COATER_01", "COATER_02", "COATER_02",
   "COATER_01", "COATER_01", "COATER_01", "", "", "", "COATER_01",
   "COATER_01"}
  ),
  Set Display Width( 71 )
 ),
 New Column( "Step2.v3",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "COATER_01", "COATER_01", "", "", "", "", "", "", "", "", "",
   "", "", "COATER_02", "COATER_02", "COATER_02", "", ""}
  ),
  Set Display Width( 71 )
 ),
 New Column( "Step3.v5",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"DRIE_03", "DRIE_04", "DRIE_03", "", "", "", "", "", "", "DRIE_04",
   "DRIE_03", "DRIE_04", "DRIE_03", "DRIE_04", "", "", "", "", "", ""}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step3.v6",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "", "", "DRIE_04", "DRIE_03", "DRIE_04", "DRIE_03", "DRIE_04",
   "DRIE_03", "", "", "", "", "", "DRIE_03", "DRIE_04", "DRIE_03",
   "DRIE_04", "DRIE_03", "DRIE_04"}
  ),
  Set Display Width( 58 )
 ),
 New Column( "Step4.v1",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", ""}
  ),
  Set Display Width( 61 )
 ),
 New Column( "Step4.v2",
  Character( 16 ),
  "Nominal",
  Set Values(
   {"", "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07", "", "PRIME_06", "", "PRIME_07", "",
   "PRIME_06", "", "PRIME_07"}
  ),
  Set Display Width( 61 )
 )
);

// Check the Missings Data Patern
Data Table( "Missing data initial" ) <<
Missing Data Pattern(
 columns(
  :Step1.v1,
  :Step1.v2,
  :Step2.v2,
  :Step2.v3,
  :Step3.v5,
  :Step3.v6,
  :Step4.v1,
  :Step4.v2
 ),
 Output Table( "Missing Data Pattern" )
);

// Check for columns which could be combined
//  *** JSL written by txnelson ***
dt=Data Table( "Missing Data Pattern"); 
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);

 

-菲利普

回复：是否可以使用“丢失数据模式”来加快数据准备？

在脚本编写方面可能有点过于沉重。 由于可能有超过2个相似的列（在这种情况下不确定），因此我在此解决方案中未使用“丢失数据模式”。 很可能也可以通过“丢失数据模式”检测到这些，但是我制定了自己的解决方案。

 

结果表：

创建新列，将旧列保留下来（可以轻松删除）。 方括号之间的新列名称中的值表明要合并多少个列才能创建新列。 由于第12行两次具有相同的值，因此未合并Step5.v1和Step5.v2。 通过修改脚本中的F_checkForInversePatterns函数以允许同一行上具有匹配数据的列，应易于更改。

 

该解决方案未考虑数据在列内的相似程度（将需要进行另一次检查）。 另外，如果列之间的句点之前的步骤名称相同，则只需检查列名称相似性即可。

 

附加脚本。

回复：是否可以使用“丢失数据模式”来加快数据准备？

在评估来自制造的更大数据表上的txnelson脚本时，发现（吉姆发现）如果某些行在所有目标列中均没有数据，则该脚本将不会给出输出清单。 Jim为该脚本提供了修复程序。 见下文：

 

Names Default To Here( 1 );
dtRaw = Current Data Table();
colNamesList = dtRaw << get column names( string );
Remove From( colNamesList, 1, 1 );
dt = dtRaw << Missing Data Pattern(
 columns( Eval( colNamesList ) ),
 Output Table( "Missing Data Pattern" )
);

// Get rid of all missing and all present patterns
dt << lock data table( 0 );
dt << select where( Contains( :patterns, "0" ) & !Contains( :Patterns, "1" ) );
Try( dt << delete rows );
dt << select where( Contains( :patterns, "1" ) & !Contains( :Patterns, "0" ) );
Try( dt << delete rows );

// Check for columns which could be combined
//  *** JSL written by txnelson ***
cols1List = {};
cols2List = {};
For( i = 4, i <= N Cols( dt ), i++,
 comp = Associative Array( dt << get rows where( As Column( dt, i ) == 1 ) );
 compMissing = Associative Array( dt << get rows where( As Column( dt, i ) == 0 ) );
 If( N Items( comp ) > 0,
  For( k = i + 1, k <= N Cols( dt ), k++,
   comp2 = Associative Array( dt << get rows where( As Column( dt, k ) == 1 ) );
   comp2Missing = Associative Array( dt << get rows where( As Column( dt, k ) == 0 ) );
   comp2 << intersect( comp );
   comp2Missing << intersect( compMissing );
   If( N Items( comp2 << get keys ) == 0 & N Items( comp2Missing << get keys ) == 0,
    Insert Into( cols1List, Column( dt, i ) << get name );
    Insert Into( cols2List, Column( dt, k ) << get name );
   );
  )
 );
);
nw = New Window( "Results",
 Outline Box( "Columns that can be combined",
  Table Box( String Col Box( "Column", cols1List ), String Col Box( "With", cols2List ) )
 )
);

-菲利普

回复：是否可以使用“丢失数据模式”来加快数据准备？

嗨jthi，

 

我也喜欢您的替代解决方案。 尤其是保持原始列不变并为数据表创建新列的方式。 您要解决的另一个问题是，如有需要，可以从两列以上进行合并。 我也有几次有这种需要。

 

我希望进一步开发您的脚本以包括您提到的其他预组合检查。

 

谢谢，

 

菲利普

 

 

回复：是否可以使用“丢失数据模式”来加快数据准备？

嗨，对于那些有兴趣使用“丢失的数据模式”来改善数据质量的人，我在这里进行简短的更新：

 

我一直在使用脚本@txnelson为了建立更好的数据集，但后来我意识到，有一个我想合并列的实例，尽管它们各自缺少的数据模式（和补码）不匹配。 当两列在同一行中都缺少数据时。

 

这是一个以原始示例为基础的示例：

 

 

 

我想结合与Step6相关的列，如上所示。

 

然后我想到，这将有助于在进行任何数据处理之前了解各列之间的匹配百分比。 这将使在决定是否合并时使用此类信息成为可能。

与沟通@txnelson他很好地开发了自己的剧本。

 

随附的是最终版本。

 

我还将在下面提供一些使用“真实”数据的示例，其中已使用此方法来改善数据质量：

 

注意：蓝色单元格表示缺少数据

 

情况1：

从

至

 

 

情况2：

从

至

 

列数大大减少，“空”单元数减少了

 

可以想象，这可以进行改进，更快，更有效的根本原因分析。

 

随附的脚本用于制作模拟的缺失数据示例，最后的脚本根据缺失的数据模式报告“可组合百分比”和“可组合的列”。

 

 

 

-菲利普