매우 큰 데이터 세트의 경우 '기준' 변수가 많은 모델 맞춤은 성능이 제한됩니다.모델 실행에 메모리가 부족하지 않다고 가정하면 처리 시간이 상당히 느립니다.예: 모델 효과로 X 및 Y 좌표가 있고 1000개의 고유한 'By' 변수에 맞게 Y 변수로 Z 좌표가 있는 5천만 개의 행 데이터 파일은 256GB RAM 및 다중 프로세서가 있는 시스템에서 실패합니다. (메모리는 여기서 그것을 죽이는 것이지만 무한한 RAM이 있다고 가정하면 단일 스레드이기 때문에 계산 시간은 여전히 매우 느립니다)
Fit Model Platform은 모델 계산을 더 작고 관리하기 쉬운 'By' 변수 배치로 묶고 멀티스레딩을 활용하여 모든 'By' 변수에 응답이 생성될 때까지 작업 부하를 처리하기를 바랍니다. 내가 작업하고 있는 특정 사례에서 성격은 '표준 최소 제곱'이고 강조는 '최소 보고서'입니다. 응답이 생성되면 데이터 테이블에 업데이트하는 데도 시간이 걸리는 잔차 값과 예측 값을 캡처합니다.
대규모 데이터 세트에 대해 모델 맞춤 작업 부하를 보다 효율적으로 관리할 수 있는 기회가 있습니까?
감사합니다,
라이언
