460883_ko-KR

liliconcom

스크립팅 및 매우 큰 파일

많은 파일을 가져와 연결하는 스크립트가 있습니다.

이 파일은 4,100만 개 이상의 행이 될 수 있고 10개의 기가비트가 될 수 있습니다(저는 100GB의 여유 공간과 128GB 메모리가 있습니다: JMP16.2 사용)

 

그런 다음 행과 열 등을 선택하는 스크립트가 있습니다.내 질문은 실제로 스크립팅 자체에 관한 것이 아니라 모든 스크립트를 포함하는 스크립트를 사용하는 것과 비교하여 각 스크립트를 순서대로 실행하면 JMP가 "중단"되는 이유입니다.

 

예, 각 JSL을 순서대로 실행하면 모든 것이 작동하는 것으로 보입니다.

1. Concat_files.JSL

2. 변경_테스트_인스턴스_이름.JSL

3. Summarize_Test_Instance.JSL

대

나를 위해 위의 각각을 실행하는 스크립트 ...

예,

Run_all_scripts.JSL

include("ADDIN_HOME(my_scripts)\Concat_files.jsl");

include(("ADDIN_HOME(my_scripts)\Change_Test_Instance_Name.JSL");

include("ADDIN_HOME(my_scripts)\Summarize_Test_Instance.JSL.jsl");

 

이것은 내 시스템을 중단시킵니다....로그가 열려 있고 다음 스크립트에서 멈췄음을 알 수 있습니다(Log는 show("Entering Change_Test_Instance name");

나는 wait(); 각 포함(및 각 스크립트 내) 사이의 명령문은 여전히 작동하지 않습니다.내가 시도해야 할 다른 것이 있습니까?

 

 

 

데이터 테이블다른스크립팅Re: 스크립팅 및 매우 큰 파일

보고서 창(100초 또는 1000초)을 열고 닫고 있습니까? 창문을 전혀 열지 않는 것이 많은 도움이 될 수 있습니다. (아마도 OS는 무언가를 정리할 기회를 얻지 못하고 있습니다.)

JMP 16 로그에 1000줄을 인쇄하고 있습니까? 도움이 될 수 있는 이전 로그 형식을 사용하는 기본 설정이 있습니다.

작업 관리자가 통찰력을 제공할 수 있습니다. 명백한 메모리 및 디스크 범인은 물론 핸들과 GDI 개체를 살펴보십시오.

또는 컴퓨터 전면에 있는 디스크 표시등이 있는 경우 이를 확인합니다. 그것은 당신이 호출해야 할 것처럼 들리지 않습니다, 그것은 좋은 컴퓨터입니다!

 

답변을 받았을 때 무슨 일이 일어났는지 알고 싶습니다. 위의 항목이 도움이 되지 않으면 기술 지원도 도움이 될 수 있습니다.

Re: 스크립팅 및 매우 큰 파일

스크립트가 멈추었는지 확인하기 위해 스크립트를 실행했습니다(실행 중인 것으로 보이지만 스크립트 내에서 실행할 때는 몇 분이 아니라 몇 시간이 걸립니다).

로그에는 show 문만 있습니다.

 

다음은 스크립트 내에서 스크립트를 실행하기 위한 로그 출력입니다.("하나의 테스트 인스턴스로 변경"은 3.65시간이 소요되지만 동일한 파일에서 동일한 스크립트를 직접 실행하면 3.65분이 소요됩니다.)CPU는 3.65시간 동안 12개의 코어(CPU0 ~ CPU11)를 약 20% 실행했습니다.

 

다음은 아래 JSL의 로그 및 스니펫입니다.

 

N Items(files_open) = 12;
"Files are Concatenated ";
As Date(Today()) = 14Feb2022:13:00:32;
start_time - As Date(Today()) = -492;
"Saving Digital_shmoo_all";
As Date(Today()) = 14Feb2022:13:00:54;
"Done Saving Digital_shmoo_all";
As Date(Today()) = 14Feb2022:13:01:24;
"Changing to one test instance";
N Rows(dt) = 41929065;
"In Reduce_Test_Instance";
As Date(Today()) = 14Feb2022:13:01:39;
"Reducing Test Instances Ended";
As Date(Today()) = 14Feb2022:16:41:13;
start_time - As Date(Today()) = -13174;
"Transposing";
"File has been transposed";
As Date(Today()) = 14Feb2022:16:42:23;
start_time - As Date(Today()) = -69;

동일한 대용량 파일로 reduce 테스트 인스턴스 스크립트를 단독으로 실행하면 다음과 같은 로그가 있습니다.

As Date(Today()) = 14Feb2022:13:01:24;
"Changing to one test instance";
N Rows(dt) = 41929065;
"In Reduce_Test_Instance";
As Date(Today()) = 14Feb2022:13:01:39;
"Reducing Test Instances Ended";
As Date(Today()) = 14Feb2022:16:41:13;
start_time - As Date(Today()) = -13174;
"Transposing";
"File has been transposed";
As Date(Today()) = 14Feb2022:16:42:23;
start_time - As Date(Today()) = -69;

 

이 스크립트의 기본은 "Char_Char"로 시작하는 이름을 찾고 "Char_Char"가 없도록 변경하는 것입니다. 요약 테이블을 만들고 "Char_Char"가 있는 요약 테이블의 행을 선택하고 선택된 기본 테이블의 행을 가져온 다음 기본 테이블의 이름을 변경하면 됩니다.다음은 느린 스크립트의 스니핑입니다.  

One_Test_Instance.JSL

dt = Current Data Table();

Names Default To Here( 1 );
Show( N Rows( dt ), "In Reduce_Test_Instance" );
Show( As Date( Today() ) );
start_time = As Date( Today() );
dt << clear select;
dt << clear column selection;
Wait();

Test_names = {};

dt << Summary(
 Group( :Test_Instance ),
 Freq( "None" ),
 Weight( "None" ),
 output table name( "Summary_of_Table" )
);
dt_summary = Current Data Table();
Wait();


For Each Row( Insert Into( Test_names, dt_summary:Test_Instance ) );
Wait();
For( i = N Items( Test_names ), i > 0, i--,
 If( (!Contains( Test_names[i], "CHAR_char" )),
  Remove From( Test_names, i )
 )
);
dt_summary << select where( Contains( Test_names, :Test_Instance ) );
Wait();
aa = dt << get selected rows;&nbsp; //Get selected rows in main table
Wait();
Close( dt_summary, nosave );

If( N Rows( aa ) > 0,
 (dt:Test_instance[aa]) = "CHAR_char_meas_TI";
 (dt:Setup[aa]) = "meas_TI";&nbsp; //Change name in main table

);


dt << clear select;
dt << clear column selection;
Wait();

Re: 스크립팅 및 매우 큰 파일

같은 로그를 붙여넣은듯....  

 

여기 혼자 런닝...200초 또는 약 3.33분

N Rows(dt) = 41929065;
"In Reduce_Test_Instance";
As Date(Today()) = 15Feb2022:10:11:57;
"Reducing Test Instances Ended";
As Date(Today()) = 15Feb2022:10:15:17;
start_time - As Date(Today()) = -200;

 

 

Re: 스크립팅 및 매우 큰 파일

JSL 디버거/프로파일러를 사용하여 코드를 실행하거나 현재 하고 있는 것처럼 더 세분화된 time_start..time_end로 계측할 수 있습니다. 내 생각에 코드에는 포함과 함께 어떤 이유로 N^2 동작(데이터를 두 배로 늘리는 데 4배)이 있습니다. 데이터 테이블의 이름과 충돌하는 이름의 네임스페이스 문제일 수 있습니다.

나쁠 수 있는 한 곳은

dt_summary << select where( Contains( Test_names, :Test_Instance ) );

그러나 타이밍 없이는 알기가 어렵습니다. Test_names에 1e6개의 항목이 있고 dt_summary에 1e6개의 행이 있는 경우 평균 500,000개의 test_names가 각 1e6 행에서 검사됩니다. 아니면 10개 정도만 있어도 문제가 되지 않습니다. 대략 다음과 같이 다시 작성하고 싶을 수도 있습니다.

// untested. combine two loops and use an aa rather than a list for lookup
Test_names = AssociativeArray();
For Each Row( 
 If( ( Contains( dt_summary:Test_Instance, "CHAR_char" )),
  Test_names[ dt_summary:Test_Instance ] = 1 
 )
);
dt_summary << select where(  Test_names<<CONTAINS></CONTAINS>

목록에 수백 개의 항목이 있는 경우 연관 배열이 훨씬 더 빠릅니다.

 

JSL 프로파일러를 사용하려면 첫 번째 프로파일링 경험을 위해 3시간 동안 실행하지 마십시오. 포함을 사용하여 작은 프로그램을 시도하고 다음 버튼을 사용하여 플레이하는지 확인하십시오.

 

도구 상자에 있는 것

새 창이 열리고 시계는 JSL 타이밍을 위한 것입니다.

아이콘의 툴팁에는 "프로파일러 실행"이 표시됩니다.

파란색 일시 중지 버튼을 사용하거나 종료될 때까지 기다린 다음 핫스팟을 검사할 수 있습니다.

소스용 탭 소스용 탭