612450_zh-CN

liliconcom

有没有更快的循环方法？

JMP 社区您好，

 

我正在分析大量数据，通常为 350k 行。

对于每一行，代码运行一个循环来计算平均偏移量“晶圆ID ”。 我正在寻找一种更快的方法来做到这一点。

有没有办法让处理速度更快？ 当前脚本需要〜1小时r 完成循环。

 

Names Default To Here( 1 );

dt1 = Data Table( "Reference Data Table.jmp" );
dt2 = Data Table("Data table");
     
         
Col_List1 = dt2 << Get Column Names( "String" );
     
Summation(
 c = 1,
 N Col( dt2 ) - 1,  
 values = [];
 name = Column( dt2, c ) << Get Name;
 If( Contains( name, "Currents" ) | Contains( name, "Voltage" ) | Contains( name, "Resistance" ),
  rows = dt1 << Get Rows Where( :tests == name );  
  col = Column( dt2, c );
  col mean = Col Mean( col );
  For Each Row(
   dt2,
   mean = dt1:Mean[rows];
   measure = mean - Col Mean( As Column( dt2, c ), :Wafer ID );
   values |/= col[] + measure
   ;
  );
  col << Set Values( values );
 );
 0 
 
);

高级统计建模自动化和脚本编写数据存取回复: 有没有更快的循环方式？

这是我的尝试，底部的两个表“stacked_table”和“summary_table_delta_by_wafer”可能是正确的形状。

 

整个过程不到1秒，速度很快

(生命值时间() - 开始) / 1000000 = 0.664238;

Names Default To Here(1);
dt_ref = Open("$DOWNLOADS/Reference data table.jmp", invisible);
dt_dt = Open("$DOWNLOADS/Data table.jmp", invisible);
dt_dt << clear select;
dt_ref << clear select;

start = Hp Time();

curr_col_names_list = dt_dt << Get Column Names("string");


obj = dt_dt << Tabulate(
  Show Control Panel( 0 ),
  Add Table(
   Column Table(
    Analysis Columns(
     eval list(curr_col_names_list)
    ),
    Statistics( Mean )
   ),
   Row Table( Grouping Columns( :Wafer ID ) )
  )
 );
 my_new_table = obj << Make Into Data Table;


curr_col_names_list = my_new_table << Get Column Names("string");

transposed_table = my_new_table << Transpose(
 columns(
 eval list(curr_col_names_list)
 ),
 Label( :Wafer ID ),
 Output Table( "transposed_table" )
);

transposed_table << new column ("join_key"
 ,char
 ,formula(
  regex(:Label,"\(([^\)]+)\)", "\1")  
 ) 
);


transposed_table_join = (
 transposed_table << Join(
 With( dt_ref )
 ,Match Columns( :join_key = :Tests),
 ,Merge same name columns
 ,output table("transposed_table_join")
 )
 );
 
// clean up
close(transposed_table,nosave);
close(my_new_table,nosave);
transposed_table_join << delete columns(:"Match Flag", :"Label","join_key");
transposed_table_join:"Mean" << Set Name( "Ref_Value" );

 
curr_col_names_list = transposed_table_join << Get Column Names("string");
matches_i_dont_want_to_stack = {"Tests","Ref_Value"};
clean_col_list = Associative Array(curr_col_names_list) << Remove(Associative Array(matches_i_dont_want_to_stack)) << get keys;


stacked_table = transposed_table_join << Stack(
 columns( clean_col_list ),
 Source Label Column( "Wafer_ID" ),
 Stacked Data Column( "Measured_Value" ),
 Output Table( "stacked_table" )
);


//Is this the formula you wanted on each value? A-B?
stacked_table << new column ("delta"
 ,numeric
 ,continuous
 ,formula(
  (:Ref_Value -:Measured_Value) 
 ) 
);
//stacked table and final summary_table_delta_by_wafer seems like the useful combo here.

close(transposed_table_join,nosave);

//final output?
summary_table_delta_by_wafer = stacked_table << Transpose(
 columns( :delta ),
 By( :Wafer_ID ),
 Label( :Tests ),
 Output Table( "summary_table_delta_by_wafer" )
);
show((Hp Time() - start)/1e6);

 

 

 

 

回复: 有没有更快的循环方式？

谢谢贾莫！<3

回复: 有没有更快的循环方式？

希望这个计算正确。 它不是最简单的脚本，但它对速度进行了一定程度的优化（在我的笔记本电脑上，一列的计算需要 200 毫秒，因此总共大约需要 6 秒）。

Names Default To Here(1);

dt_ref = Open("$DOWNLOADS/Reference data table.jmp", invisible);
dt_dt = Open("$DOWNLOADS/Data table.jmp", invisible);
dt_dt << clear select;
dt_ref << clear select;

aa_means = Associative Array(Column(dt_ref, "Tests"), Column(dt_ref, "Mean"));

col_list = Filter Each({col_name}, dt_dt << Get Column Names("String"),
 Contains({"Currents", "Voltage", "Resistance"}, Word(1, col_name));
);

dt_dt << Add Row(1, At Start); 
dt_dt << Begin Data Update;
For Each({col_name, idx}, col_list,
 start = Hp Time();
 Eval(Eval Expr(
  Column(dt_dt, col_name) << Set Each Value(
   //AsColumn(col_name) + aa_means[col_name] - Col Mean(AsColumn(col_name), :Wafer ID);
   //Col Mean(Expr(Name Expr(AsColumn(col_name))), :Wafer ID);
   //Col Mean(:Currents A17, :Wafer ID);
   Expr(Name Expr(AsColumn(col_name)))+ Expr(aa_means[col_name]) - Col Mean(Expr(Name Expr(AsColumn(col_name))), :Wafer ID);
  );
 ));
 show((Hp Time() - start)/1e6);
);
dt_dt << Delete Row(1);
dt_dt << End Data Update;

//Summarize(dt_dt, b = by(:WAFER ID), m = Mean(:Currents A17));
//show(b,m, Col Mean(:Currents A17));

我必须在开头添加 1 行，然后在稍后将其删除，以避免使用 << Set Each Value （可能只是我的表达式）时出现一些奇怪的计算问题，这就是为什么它在代码中有一些奇怪的注释行。 当我有时间时，我会联系 JMP 支持人员

 

编辑：创建的票证 TS-00036082。 根据我收到的回复，我将单独发布有关 Col Mean 的帖子

回复: 有没有更快的循环方式？

啊..错过了你脚本中的 col[] 。 我很快就会写新版本

回复: 有没有更快的循环方式？

....

回复: 有没有更快的循环方式？

使用摘要（如果不需要数据表，则使用摘要）应该相当快（如果需要，您可以将摘要表连接/更新回大数据）

Names Default To Here(1);

dt_ref = Open("$DOWNLOADS/Reference data table.jmp", invisible);
dt_dt = Open("$DOWNLOADS/Data table.jmp", invisible);
dt_dt << clear select;
dt_ref << clear select;

aa_means = Associative Array(Column(dt_ref, "Tests"), Column(dt_ref, "Mean"));

col_list = Filter Each({col_name}, dt_dt << Get Column Names("String"),
 Contains({"Currents", "Voltage", "Resistance"}, Word(1, col_name));
);

dt_summary = dt_dt << Summary(
 Group(:Wafer ID),
 Mean(Eval(col_list)),
 Freq("None"),
 Weight("None"),
 statistics column name format("column"), // this is important here
 Link to original data table(0)
);

For Each({col_name}, col_list,
 Eval(EvalExpr(
  Column(dt_summary, col_name) << Set Each Value(
   aa_means[col_name] - AsColumn(col_name)
  );
 ));
);

请记住检查这些值是否正确

回复: 有没有更快的循环方式？

是的，纠正每个晶圆的一个平均值。 是的，我想一次处理所有内容，因为我正在开发一个脚本，该脚本可以作为我的团队的多功能工具。 任何建议将不胜感激

回复: 有没有更快的循环方式？

如果最终每列有 4 个值（如果我正确理解了代码），即每列每个晶圆有一个值，是否有特定需要拥有所有 350k 行？ 您可以使用 Summary 来制作更小的表。