반복되는 측정에서 어떤 데이터를 무작위로 위협해야 하는지 결정하는 데 도움이 필요합니다.안녕.
누군가 이 문제를 도와주거나 내가 여기에서 좋은 길을 가고 있는지 확인할 수 있습니까?
월(1월부터 3월까지), 요일(1부터 31까지), 교대조(1에서 3까지), 교대조 내 총 에너지 소비(종속 변수) 및 작업 시간이 포함된 긴 형식의 데이터가 있습니다. 교대조 내에서 12개의 다른 시스템(기계)의 시간(0시간에서 8시간까지).
각 시스템의 에너지 소비량을 파악하고 각 시스템의 예상 근무 시간을 기반으로 미래의 예상 에너지 소비량을 예측할 수 있기를 원합니다.
반복 측정이 있기 때문에 혼합 모델이 나에게 적합한 것 같습니다. 이제 고정되고 무작위이며 반복되는 측정으로 취급해야 하는 문제가 있습니다.
1년 내 모든 월의 샘플(3개월)만 포함하므로 월을 무작위로 생각하고 있습니다. 또한 관찰은 무작위가 아니라 순차적입니다. 이것이 문제가 될 수 있습니까?
나는 요일과 교대를 고정된 것으로 보고 있습니다. 한 달 안에 모든 요일과 교대를 다룹니다. 이것이 적절한 접근입니까?
반복구조에 대해서 그날은 반복측정이 되어야 한다고 생각하는데 어떤 구조가 적절한가?
또한 무엇을 어떻게 중첩해야하는지 설명해주십시오. 나는 중첩이 며칠로 바뀌고 몇 달 안에 며칠이 걸린다고 생각합니다. 이것이 가능합니까? 어떻게 해야 하나요?
이것은 제 직관적인 생각이며 피드백과 도움을 보내주시면 감사하겠습니다. 또한 중첩 방법에 대한 튜토리얼을 공유하는 것은 JMP에 대한 나의 첫 경험이기 때문에 높이 평가될 것입니다.
모두 감사합니다
해석학다른창Re: 반복 측정에서 임의의 데이터로 위협해야 하는 데이터를 결정하는 데 도움이 필요합니다.안녕 @MachineHippo109 ,
흥미로운 문제 같습니다. JMP 파일의 데이터를 공유할 수 있습니까? 데이터 테이블의 구조는 스스로 무언가를 구성하고 올바른 데이터 구조를 갖도록 하기에는 다소 복잡하게 들립니다.
서로 다른 교대조에 대해 0~8시간 동안 작동하는 12개의 서로 다른 기계에 대한 시계열 데이터 수집이 있는 것처럼 들립니다. 이것은 다양한 접근 방식을 사용하여 모델링할 수 있습니다. 한 가지 접근 방식은 시계열 예측을 수행하는 것입니다. 다른 하나는 NN 또는 Boosted Trees일 수 있으며 GenReg 모델도 데이터에 적합할 수 있습니다. 그런데 총 가동 시간을 기준으로 미래의 각 기계의 소비 전력을 예측하는 것 같죠?
시도해 보고 어떤 모델링 방법이 가장 효과적인지 보고 싶습니다. 한 가지 확실히 해야 할 일은 데이터를 훈련/검증/테스트 세트로 분할하여 가능한 최고의 모델을 확보하는 것입니다. 그렇지 않으면 시뮬레이션된 데이터를 사용하여 모델을 훈련하고 실제 데이터에서 테스트할 수 있도록 유사한 상관 관계 구조로 데이터를 시뮬레이션해야 합니다.
데이터를 공유할 수 있다면 몇 가지를 시도해 보고 찾은 것을 알려 드리겠습니다.
재미 있겠다!,
DS
Re: 반복 측정에서 임의의 데이터로 위협해야 하는 데이터를 결정하는 데 도움이 필요합니다.안녕하세요 SDF1이며 빠른 답변에 감사드립니다.
유감스럽게도 제가 인턴십을 한 회사의 실제 데이터이므로 데이터를 공유할 수 없습니다. 데이터가 다음과 같이 표시됩니다.
월 일 교대 소비(MWh) 시스템1(시간) 시스템2(시간) 시스템3(시간) .......
1 1 1 3.8 8 2 5 .......
1 1 2 3.2 8 6 6 .......
각 시스템이 소비하는 에너지의 양에 더 관심이 있으며 계획된 생산/작업 시간을 기반으로 미래 소비를 예측합니다.
Re: 반복 측정에서 임의의 데이터로 위협해야 하는 데이터를 결정하는 데 도움이 필요합니다.몇 년 전에 저는 자원 계획 모델로 고객을 도왔습니다. 그들은 프로젝트 리더가 복잡성이나 혁신 수준과 같은 항목에 들어갈 수 있는 프로젝트 계획을 가지고 있었고 프로젝트를 완료하는 데 필요한 리소스와 시간에 대한 가정을 원했습니다. 그들이 프로젝트 리드의 경험에 의해 그것을 하기 전에는 거의 모든 경우에 새로운 모델이 훨씬 더 나은 성능을 보였습니다.
그들은 프로젝트의 여러 단계에 대한 시간과 이전 데이터 및 실제 기간에서 각 단계에 관련된 자원(사람)을 가졌습니다.
성공의 열쇠는 전체 모델이 제대로 작동하지 않았기 때문에 다양한 시나리오에 대한 좋은 예측 변수를 찾기 위한 클러스터링 단계(여기서는 잠재 클래스 분석)였습니다.
그런 다음 각 클러스터 시나리오 모델에 대해 생성하고 검증 및 테스트 세트를 사용하여 최상의 모델을 찾고 보이지 않는 데이터에 대해 테스트했습니다.
모델링 프로세스를 위해 Bootstrap Forest, 다양한 방법(lasso, elastic net, ...)을 사용한 Generalized Regression, Neural Nets 등과 같은 JMP Pro의 다양한 전략을 비교했습니다. 이를 비교하는 것은 한 모델이 더 잘 수행되는(그리고 왜) 가능한 결함이나 상황을 이해하는 데 중요했습니다. 전체 성능이 조금 더 낮았다면).
마지막으로 그들은 클러스터된 시나리오에 대한 모델을 갖고 적절한 모델을 사용하여 프로젝트 설정을 기반으로 시간 규모와 리소스 계획을 예측했습니다.
귀하의 상황으로 이전하는 것이 그렇게 어렵지 않을 것이라고 생각합니다. 제가 강조하고 싶은 것은 모델링 프로세스에 직접 들어가기 전에 먼저 데이터를 이해해야 한다는 것입니다. 해당 잠복 변수로 인해 동일한 매개변수 설정에 대해 다른 출력을 생성하는 시나리오(라인 또는 테스트 장비와 같이 아직 데이터에 없을 수 있음)가 있을 수 있습니다. 모든 데이터를 하나의 큰 바구니에 담는 것은 아마도 잘못된 예측으로 이어질 것입니다.
Re: 반복 측정에서 임의의 데이터로 위협해야 하는 데이터를 결정하는 데 도움이 필요합니다.안녕 @MachineHippo109 ,
문제는 매우 간단해 보이지만 JMP 내에서 다양한 플랫폼을 사용하여 데이터를 탐색해야 합니다. 예를 들어 GenReg, 의사 결정 트리, SVM, NN, KNN, PLS 및 표준 최소 제곱과 같은 항목을 평가합니다. 귀하의 데이터 구조가 시계열 분석/예측을 위한 올바른 형식이라고 생각하지 않습니다. 시계열 플랫폼에는 각 관찰(행)에 대해 고유한 시간 식별자가 필요합니다. 따라서 1일차(등)에 1, 2, 3 교대조를 모두 갖는 것은 작동하지 않습니다.
공유해 주신 구조에 따르면 각 시스템(1-12)은 주어진 요일에 주어진 교대조 동안 0-8시간 동안 작동하며 소비 전력은 모든 시스템의 총 소비 전력입니다.
모델을 개발할 때 표준 Fit Model 플랫폼을 사용하는 경우 모델에 교차(혼합) 항을 포함해야 하는 이유가 있는지 동료와 함께 생각/협의할 수 있습니다. 예를 들어, 아마도 SystemX 시간과 교대조 사이에 교차 용어가 있다는 것을 알고 있을 것입니다. 예를 들어 System5는 교대 3 동안 항상 최소 6시간 동안 실행되지만 다른 두 교대조의 경우 4시간 미만입니다. 이것은 교대 근무 시간과 시스템 사용 시간이 혼합되어 있는 효과를 가져올 것입니다. 그러한 상호 작용이 존재한다는 사전 증거가 없는 한 그것을 던지지 않는 것이 좋습니다.
이전에 언급했듯이 데이터(MWh 단위 전력)를 최소한 훈련 및 검증 세트로 분할하고, 훈련 및 검증 세트가 전체에 걸쳐 동일하게 표현되도록 전력 및 시프트로 계층화하기를 원할 것입니다. 시스템 시간 사용량에 대해 동일한 분포를 유지합니다. 1월과 2월의 것과 동일한 구조의 모의 데이터 테이블을 첨부했습니다. 내가 만든 유효성 검사 열은 Power 및 Shift로 계층화되었으며 분포를 탐색하고 데이터가 어떻게 분할되는지 확인할 수 있습니다(75% 교육 및 25% 유효성 검사). 60/20/20 분할 60% 교육, 20% 검증 및 20% 테스트를 수행한 다음 다른 모델을 비교하기 위해 테스트 데이터를 분할(하위 집합으로 만들기)하는 것을 고려할 수도 있습니다.
궁극적으로 여러 플랫폼에서 모델을 탐색하고 각 모델에 맞게 최적화해야 합니다. 여러 모델을 생성한 후에는 보류된 "테스트" 세트에서 각 모델을 평가하여 어떤 모델이 가장 성능이 좋은지 확인하고 싶을 것입니다. 이는 모델 학습 또는 검증에 사용되지 않는 데이터입니다. 가장 성능이 좋은 모델은 회사에 배포하려는 모델입니다.
스레드 제목으로 돌아가려면 모델에 무작위 효과를 포함할 필요가 없는 것 같습니다. 데이터를 무작위로 취급할 필요는 없다고 생각합니다.
도움이 되었기를 바랍니다!,
DS
