매우 큰 데이터 세트의 경우, 많은 'By' 변수가 있는 Fit Model은 성능이 제한적입니다. 모델 실행에 메모리가 부족하지 않다고 가정하면 처리 시간이 매우 느립니다. 예를 들어, 모델 효과로 X 및 Y 좌표를 사용하고, 1000개의 고유한 'By' 변수로 Fit할 Y 변수로 Z 좌표를 사용하는 5,000만 행의 데이터 파일은 256GB RAM과 여러 프로세서가 있는 시스템에서 실패합니다. (여기서는 메모리가 문제를 일으키지만 무한한 RAM이 있다고 가정하면 단일 스레드이기 때문에 계산 시간이 여전히 매우 느립니다.)
바라는 것은 Fit Model Platform이 모델 계산을 더 작고 관리하기 쉬운 'By' 변수 배치로 묶고 멀티스레딩을 활용하여 모든 'By' 변수에 대한 응답이 생성될 때까지 작업 부하를 처리하는 것입니다. 제가 작업하는 특정 사례에서 성격은 '표준 최소 제곱법'이고 강조점은 '최소 보고서'입니다. 응답이 생성되면 잔여 값과 예측 값을 캡처하는데, 데이터 테이블에 업데이트하는 데도 시간이 걸립니다.
대규모 데이터 세트에 대한 Fit Model 작업 부하를 더욱 효율적으로 관리할 수 있는 방법이 있을까요?
감사합니다,
라이언
