435681_de-DE

liliconcom

JMP > JSL > Skriptbeschleunigung für Multiple Call to Fit Model (N > 2000)?

Hallo JMP-Community,

Die Größe meiner Datensätze wird immer größer und die grundlegenden Skripte, die ich vor einiger Zeit erstellt habe (siehe unten), können in puncto Geschwindigkeit nicht mithalten.

Ich würde mich sehr über Ideen zur Optimierung dieser Art von Skripten für eine höhere Geschwindigkeit freuen. Ich vermute zum Beispiel, dass Operationen wie „Verketten“ relativ langsam sind und es sinnvoll sein könnte, für diese Art von Operation mit Matrizen zu arbeiten.

Names Default to Here (1);

dt = Current Data Table ();

CList = dt << Get Column Names (string);

dtoutl = New Table ("LSM OUTPUT", "invisible");
dtoutp = New Table ("PVal OUTPUT", "invisible");


For (i = 1, i<= 2000, i++,  

 fm = dt << Fit Model(
     Y( Column (i) ),
     Effects( :VISIT, :TREATMENT, :VISIT * :TREATMENT, Column (i+2000) ),
     Personality( "Standard Least Squares" ),
     Emphasis( "Minimal Report" ),
     Run(
      Column (i) << {Summary of Fit( 1 ), Analysis of Variance( 1 ),
      Parameter Estimates( 1 ), Scaled Estimates( 0 ),
      Plot Actual by Predicted( 0 ), Plot Regression( 0 ),
      Plot Residual by Predicted( 0 ), Plot Studentized Residuals( 0 ),
      Plot Effect Leverage( 0 ), Plot Residual by Normal Quantiles( 0 ),
      Box Cox Y Transformation( 0 ), {:VISIT * :TRT01A <<
      {LSMeans Contrast( [0 0 1 -1 0 0, 0 0 0 0 1 -1] )}}}
     )
     
    );
 fmr = report (fm);
 
 table_list = fmr << xpath ("//OutlineBox [text() = 'VISIT*TREATMENT']//TableBox");
 
 temp_lsm = table_list [1];
 temp_pval = table_list [2];
 
 temp_tbl_lsm = temp_lsm << Make into Data Table (invisible (1));
 temp_tbl_pval = temp_pval << Make into Data Table (invisible (1));
 
 temp_tbl_lsm << New column ("ID", character, nominal, << set each value (CList [i]));
 temp_tbl_pval << New column ("ID", character, nominal, << set each value (CList [i]));
 
 fmr << close window;
 
 dtoutl << Concatenate (Data table (temp_tbl_lsm), "Append to First Table");
 Wait (0);
 dtoutp << Concatenate (Data table (temp_tbl_pval), "Append to First Table");
 
 Close (temp_tbl_lsm, NoSave); 
 Close (temp_tbl_pval, NoSave); 
  
 
);


dtoutl << Bring Window to Front;
dtoutp << Bring Window to Front;

Jedes Feedback ist willkommen.

Am besten,

TS

Automatisierung und SkripterstellungBetreff: JMP > JSL > Skriptbeschleunigung für Multiple Call to Fit Model (N > 2000)?

Hallo jthi,

 

Durch die Unsichtbarkeit des Fit-Modells wurden weitere 8 Sekunden eingespart (von 61 Sekunden auf 53 Sekunden), und durch das Ersetzen von „Für jede Zeile“ durch direkte Zuweisungen wurden weitere 5 Sekunden gekürzt (53 Sekunden auf 48 Sekunden).

 

Brillant!

Am besten,

TS

Betreff: JMP > JSL > Skriptbeschleunigung für Multiple Call to Fit Model (N > 2000)?

Dies könnte zu weiteren (höchstwahrscheinlich recht kleinen) Geschwindigkeitssteigerungen führen:

 

Sie können höchstwahrscheinlich Unsichtbarkeit hinzufügen, um das Modell anzupassen

fm = dt << Fit Model(
 Y( Column (i) ),
 Effects( :VISIT, :TRT01A, :VISIT * :TRT01A, Column (i-1933) ),
 Personality( "Standard Least Squares" ),
 Emphasis( "Minimal Report" ),
 Run(
  Column (i) << {Summary of Fit( 1 ), Analysis of Variance( 1 ),
  Parameter Estimates( 1 ), Scaled Estimates( 0 ),
  Plot Actual by Predicted( 0 ), Plot Regression( 0 ),
  Plot Residual by Predicted( 0 ), Plot Studentized Residuals( 0 ),
  Plot Effect Leverage( 0 ), Plot Residual by Normal Quantiles( 0 ),
  Box Cox Y Transformation( 0 ), {:VISIT * :TRT01A <<
  {LSMeans Contrast( [0 0 1 -1 0 0, 0 0 0 0 1 -1] )}}}
 ),
 invisible
);

 

Auch wenn Sie Spalten mit Formeln erstellen und diese dann sofort entfernen, können Sie << Jeden Wert festlegen anstelle von Formel und Formel löschen verwenden

dtoutl << New Column("METAB_ID", Character, Nominal, << Set Each Value(Substitute(:MET_ID, "LOG10 FC ", "")));

 

Möglicherweise können Sie For Each Row auch durch << Set Each Value ersetzen (ich bin mir bei diesem nicht sicher und auch nicht sicher, ob dies zu einer Geschwindigkeitssteigerung führt):

Column(dtoutp, "LABEL") << Set Each Value(annot_pv[Sequence( 1, N Items (annot_pv), 1, 1 )]);

 

Sie können auch versuchen, Datentabellen privat (zumindest unsichtbar) zu halten, bis Sie sie benötigen. Mit << Neue Datenansicht können Sie private Tabellen sichtbar machen (wusste das bis heute nicht).

 

Schließen Sie Datentabellen/Berichte/Fenster sofort, wenn Sie sie nicht mehr benötigen.

Betreff: JMP > JSL > Skriptbeschleunigung für Multiple Call to Fit Model (N > 2000)?

Hallo JMP-Community,

Nachfolgend finden Sie die kommentierte Version des am meisten verbesserten Skripts zum Ausführen und Erfassen der Ausgabe einer großen Anzahl von Fit-Model-Analysen.

Die beiden wichtigsten Schritte zur Verbesserung der Laufzeit sind:

1. Verwendung von Matrizen anstelle von Datentabellen zur Aggregation der Analyseausgabe
2. Ersetzen statt Einfügen der Analyseausgabedaten in Mastermatrizen, die vor der Hauptschleife erstellt wurden.

Names Default to Here (1);

st = Today();

dt = Current Data Table ();

lc_path = dt << GetPath;

// START: CAPTURING OUTPUT ANNOTATION TO REBUILD ANNOTATION // 
dts = dt << Summary( Group( :VISIT, :TRT01A ), Freq( "None" ), Weight( "None" ), invisible );
annot_lsm = {};
met_l = {};
annot_pv = {};

CList = dt << Get Column Names (string);

For (j = 1, j <= N Rows (dts), j++,
 insert into (annot_lsm, dts:VISIT [j] || ", " || dts:TRT01A [j]);
);

annot_pv = annot_lsm;

annot_pv = Concat To(annot_pv, {"Estimate","Std Error", "t Ratio", "Prob>|t|", "SS", "Lower 95%", "Upper 95%"});

Close (dts, NoSave);
// END: CAPTURING OUTPUT ANNOTATION TO REBUILD ANNOTATION // 

// START: CREATING EMPTY NASTER MATRICES TO HOLD TTHE OUTPUT OF THE FIT MODEL//
nro_l = 1933*6;
nco_l = 4;

nro_p = 1933 * 13;
nco_p = 2;

mtx_lsm = J(nro_l, nco_l);
mtx_pval = J(nro_p, nco_p);
// END: CREATING EMPTY MASTER MATRICES TO HOLD TTHE OUTPUT OF THE FIT MODEL//

//START MAIN LOOP//
For (i = 3921, i<= 5853, i++,  //5853
 
 //START LINEAR MODEL WITH CUSTGOMIZED CONTRASTS //
 
 fm = dt << Fit Model(
     Y( Column (i) ),
     Effects( :VISIT, :TRT01A, :VISIT * :TRT01A, Column (i-1933) ),
     Personality( "Standard Least Squares" ),
     Emphasis( "Minimal Report" ),
     Run(
      Column (i) << {Summary of Fit( 1 ), Analysis of Variance( 1 ),
      Parameter Estimates( 1 ), Scaled Estimates( 0 ),
      Plot Actual by Predicted( 0 ), Plot Regression( 0 ),
      Plot Residual by Predicted( 0 ), Plot Studentized Residuals( 0 ),
      Plot Effect Leverage( 0 ), Plot Residual by Normal Quantiles( 0 ),
      Box Cox Y Transformation( 0 ), {:VISIT * :TRT01A <<
      {LSMeans Contrast( [0 0 1 -1 0 0, 0 0 0 0 1 -1] )}}}
     )
     
    );
 //END LINEAR MODEL WITH CUSTGOMIZED CONTRASTS //
 
 //START CAPTURE ANALYSIS OUTPUTS FOR EACH RUN//
 fmr = report (fm);
 
 insert into (met_l, CList [i]); //COLLATING THE NAME OF THE COLUMN FOR EACH RUN//
 
 table_list = fmr << xpath ("//OutlineBox [text() = 'VISIT*TRT01A']//TableBox");
 
 temp_lsm = table_list [1]; //POINTER TO LSMEAN + STDERR TABLE//
 temp_pval = table_list [2]; // POINTER TO CONTRAST TABLE //
 
 temp_mtx_lsm = temp_lsm << Get as Matrix; // EXTRACT LSMEAN + STDERR OUTPUT AS A MATRIX //
 temp_mtx_pval = temp_pval << Get as Matrix; // EXTRACT CONTRAST OUTPUT AS A MATRIX //
 
 locr1_l = ((i-3921)*6) + 1; //GENERATE THE TOP ROW BLOCK FOR INSERTION OF LSMEAN + STDERR IN TO THE MASTER MATRIX //
 locr2_l = ((i-3921)*6) + 6; //GENERATE THE BOTTOM ROW BLOCK FOR INSERTION OF LSMEAN + STDERR IN TO THE MASTER MATRIX //
 
 mtx_lsm [locr1_l::locr2_l, 0] = temp_mtx_lsm [0,0]; //REPLACE PLACEHOLDER VALUES IN MASTER MATRIX WITH LOCAL LSMEAN + STDERR OUTPUT DATA FROM EACH RUN //
 
 locr1_p = ((i-3921)*13) + 1; //GENERATE THE TOP ROW BLOCK FOR INSERTION OF CONTRAST IN TO THE MASTER MATRIX //
 locr2_p = ((i-3921)*13) + 13; //GENERATE THE BOTTOM ROW BLOCK FOR INSERTION OF CONTRAST IN TO THE MASTER MATRIX //
 
 mtx_pval [locr1_p::locr2_p, 0] = temp_mtx_pval [0,0]; //REPLACE PLACEHOLDER VALUES IN MASTER MATRIX WITH LOCAL CONTRAST OUTPUT DATA FROM EACH RUN //
 
 fmr << close window; 
);
// START CONVERT MASTER MATRICES INTO TABLES//
dtoutl = as Table (mtx_lsm); 
dtoutp = as Table (mtx_pval);
// END CONVERT MASTER MATRICES INTO TABLES//

//START REBUILD ANNOTATIONS AND REFORMAT FOR LSMEAN + STDERR TABLE//
dtoutl << new column ("COMP", Character, Nominal);
dtoutl << new column ("MET_ID", Character, Nominal);
dtoutl:Col1 << set name ("LSMEAN");
dtoutl:Col2 << set name ("STDERR");
dtoutl:Col3 << set name ("UPPER CI");
dtoutl:Col4 << set name ("LOWER CI");

dtoutl << Begin Data Update;
 For Each Row( dtoutl, :COMP = annot_lsm[Sequence( 1, N Items (annot_lsm), 1, 1 )] );
 For each row( dtoutl, :MET_ID = met_l[Sequence (1,N Items (met_l), 1, 6)] );
dtoutl << End Data Update;

dtoutl << New Column ("METAB_ID", Character, Nominal, Formula (Substitute (:MET_ID, "LOG10 FC ", ""))) ;
dtoutl << New Column ("VISIT", Character, Nominal, Formula (Word (1,:COMP, ",")));
dtoutl << New Column ("ARM", Character, Ordinal, Formula (Word (-1, :COMP, ",")));

dtoutl:METAB_ID << Delete Formula;
dtoutl:ARM << Delete Formula;
dtoutl:VISIT << Delete Formula;
//END REBUILD ANNOTATIONS AND REFORMAT FOR LSMEAN + STDERR TABLE//

//START REBUILD ANNOTATIONS AND REFORMAT FOR CONTRAST TABLE//
dtoutp << new column ("LABEL", Character, Nominal);
dtoutp << new column ("MET_ID", Character, Nominal);

dtoutp << Begin Data Update;
 For Each Row( dtoutp, :LABEL = annot_pv[Sequence( 1, N Items (annot_pv), 1, 1 )] );
 For each row( dtoutp, :MET_ID = met_l[Sequence (1,N items (met_l), 1, 13)] );
dtoutp << End Data Update;

CNAME1 = Column (dtoutp, 3) [3];
CNAME2 = Column (dtoutp, 3) [5];

dtoutp << Select Where (:LABEL == "Prob>|t|");

dtoutp_s = dtoutp << subset (Selected Rows, Output Table Name ("P VAL"));

Close (dtoutp, NoSave);

dtoutp_s << New Column ("METAB_ID", Character, Nominal, Formula (Substitute (:MET_ID, "LOG10 FC ", "")));

dtoutp_s:Col1 << Set Name (CNAME1);
dtoutp_s:Col2 << Set Name (CNAME2);

dtoutp_s_s = dtoutp_s << Stack (Columns (as name(CNAME1), as name (CNAME2)), Output Table Name ("STACK P VAL"));

Close (dtoutp_s, NoSave);

dtoutp_s_s << New Column ("VISIT", Character, Nominal, Formula (Word (1,:Label, ",")));
dtoutp_s_s << New Column ("xARM", Character, Ordinal, Formula (Word (-1, :Label, ",")));
dtoutp_s_s:Data << Set name ("NOM P VAL");

dtoutl << Update(
 With( dtoutp_s_s ),
 Match Columns( :METAB_ID = :METAB_ID, :VISIT = :VISIT ),
 Add Columns from Update Table( :NOM P VAL ),
 Replace Columns in Main Table( None )
);

Close (dtoutp_s_s, NoSave);
//END REBUILD ANNOTATIONS AND REFORMAT FOR CONTRAST TABLE//
dtoutl << Save (substitute (lc_path, dt << get name||".jmp", "LINMOD_OUT_")||char(today())); //

et = Today ();

show (Date Difference (st, et, "second"));

Am besten,

TS

Betreff: JMP > JSL > Skriptbeschleunigung für Multiple Call to Fit Model (N > 2000)?

Cool! Ich denke, die Community würde gerne sehen, was Sie getan haben, um dorthin zu gelangen, oder vielleicht zusammenfassen, wie wichtig die verschiedenen Änderungen waren.

@DonMcCormack

Betreff: JMP > JSL > Skriptbeschleunigung für Multiple Call to Fit Model (N > 2000)?

Hallo @Craige_Hales ,

Danke für den Vorschlag. Dank der von Ihnen empfohlenen Methode habe ich die Geschwindigkeit um weitere 33 % verbessert.

Es gibt noch einige Optimierungen, die ich perfektionieren muss, aber ich habe mit einer Gesamtlaufzeit von etwa 450 Sekunden begonnen, bin mit meinen ersten Änderungen auf 91 Sekunden gesunken und jetzt auf 61 Sekunden.

Am besten

TS

 

Betreff: JMP > JSL > Skriptbeschleunigung für Multiple Call to Fit Model (N > 2000)?

5X klingt großartig!

 

Möglicherweise gibt es auch eine unsichtbare Option für die Plattform, die hilfreich sein könnte.

 

(Probieren Sie den JSL-Profiler aus. Der nächste Vorschlag ist möglicherweise völlig daneben. Es macht keinen Sinn, etwas schneller zu machen, das weniger als 1 % der Zeit benötigt ...)

 

Wenn dies immer noch nicht ausreicht, sollten Sie als Nächstes nach den letzten beiden Anweisungen in der Schleife suchen. Ich denke, Ihre JSL ordnet die Arrays 2000-mal bei immer größeren Größen neu zu. Wenn Sie die Arrays vorab zuweisen können (mithilfe der Funktion J(nr,nc,initvalue)) und in ihnen mit etwas wie mtx_lsm[a::b,0] = temp_mtx_lsm[0,0] speichern können, sparen Sie etwas Zeit .

 

Bearbeiten: Dies ist möglicherweise ein N^2-Problem, da die Daten nicht nur neu zugewiesen, sondern auch kopiert werden. Wenn Sie von einer Auflage von 1000 auf eine Auflage von 2000 umsteigen, wird die Datenmenge um das Vierfache (nicht um das Zweifache) kopiert.

 

Betreff: JMP > JSL > Skriptbeschleunigung für Multiple Call to Fit Model (N > 2000)?

Hallo JMP-Community,

 

Ich habe mit Matrizen als Behälter für die Aggregation langer Sammlungen von Analyseausgabetabellen experimentiert und konnte meine Ausführungszeit bisher um das etwa Fünffache beschleunigen (siehe unten). Die einzige kleine Unannehmlichkeit besteht darin, dass ich die Anmerkungen für die erfassten Ausgabetabellen neu erstellen musste, da Matrizen (offensichtlich) keinen Text enthalten.

Names Default to Here (1);

st = Today();

dt = Current Data Table ();
dts = dt << Summary( Group( :VISIT, :TRT01A ), Freq( "None" ), Weight( "None" ), invisible );
annot_lsm = {};
met_l = {};
annot_pv = {};

CList = dt << Get Column Names (string);

For (j = 1, j <= N Rows (dts), j++,
 insert into (annot_lsm, dts:VISIT [j] || ", " || dts:TRT01A [j]);
);

annot_pv = annot_lsm;

annot_pv = Concat To(annot_pv, {"Estimate","Std Error", "t Ratio", "Prob>|t|", "SS", "Lower 95%", "Upper 95%"});

Close (dts, NoSave);

mtx_lsm = [];
mtx_pval = [];

For (i = 1, i<= 2000, i++,  //2000

 fm = dt << Fit Model(
     Y( Column (i) ),
     Effects( :VISIT, :TRT01A, :VISIT * :TRT01A, Column (i+2000) ),
     Personality( "Standard Least Squares" ),
     Emphasis( "Minimal Report" ),
     Run(
      Column (i) << {Summary of Fit( 1 ), Analysis of Variance( 1 ),
      Parameter Estimates( 1 ), Scaled Estimates( 0 ),
      Plot Actual by Predicted( 0 ), Plot Regression( 0 ),
      Plot Residual by Predicted( 0 ), Plot Studentized Residuals( 0 ),
      Plot Effect Leverage( 0 ), Plot Residual by Normal Quantiles( 0 ),
      Box Cox Y Transformation( 0 ), {:VISIT * :TRT01A <<
      {LSMeans Contrast( [0 0 1 -1 0 0, 0 0 0 0 1 -1] )}}}
     )
     
    );
 
 fmr = report (fm);
 
 insert into (met_l, CList [i]);
 
 table_list = fmr << xpath ("//OutlineBox [text() = 'VISIT*TRT01A']//TableBox");
 
 temp_lsm = table_list [1];
 temp_pval = table_list [2];
 
 temp_mtx_lsm = temp_lsm << Get as Matrix;
 temp_mtx_pval = temp_pval << Get as Matrix;
 
 fmr << close window;
 
 mtx_lsm = mtx_lsm |/ temp_mtx_lsm;
 mtx_pval = mtx_pval |/ temp_mtx_pval ;
  
);
dtoutl = as Table (mtx_lsm);
dtoutp = as Table (mtx_pval);

dtoutl << new column ("COMP", Character, Nominal);
dtoutl << new column ("MET_ID", Character, Nominal);
dtoutl:Col1 << set name ("LSMEAN");
dtoutl:Col2 << set name ("STDERR");
dtoutl:Col3 << set name ("UPPER CI");
dtoutl:Col4 << set name ("LOWER CI");

dtoutl << Begin Data Update;
 For Each Row( dtoutl, :COMP = annot_lsm[Sequence( 1, N Items (annot_lsm), 1, 1 )] );
 For each row( dtoutl, :MET_ID = met_l[Sequence (1,N Items (met_l), 1, 6)] );
dtoutl << End Data Update;

dtoutp << new column ("LABEL", Character, Nominal);
dtoutp << new column ("MET_ID", Character, Nominal);

dtoutp << Begin Data Update;
 For Each Row( dtoutp, :LABEL = annot_pv[Sequence( 1, N Items (annot_pv), 1, 1 )] );
 For each row( dtoutp, :MET_ID = met_l[Sequence (1,N items (met_l), 1, 13)] );
dtoutp << End Data Update;