모델 구축을 위한 더 큰 데이터 세트를 생성하기 위한 데이터 시뮬레이션친애하는 JMP 커뮤니티 여러분,
저는 제가 만들고 있는 모델을 더 잘 훈련시키기 위해 시뮬레이션된 데이터를 생성하는 방법을 찾으려고 노력하고 있습니다.
저는 적당한 크기의 데이터 세트(수천 개의 데이터 포인트)를 가지고 있지만 모델을 개선하기 위해 원본 데이터와 유사한 구조를 유지하는 시뮬레이션된 데이터를 생성하고 싶습니다. 예측 모델을 훈련, 검증 및 테스트하기 위해 더 큰 세트를 갖기 위해 유사한 구조를 가진 약 20K-50K 데이터 포인트를 갖고 싶습니다.
시각적인 목적으로 데이터는 다음과 같습니다.
Profiler 플랫폼의 "시뮬레이터" 기능을 사용해 작업하려고 했지만 거기에서 생성된 데이터가 원본 데이터와 유사한 구조(변형)를 유지하지 않습니다. 표준에서는 너무 "흐려집니다". 입력 및 응답의 편차. 이 세트에서 모델을 구축하고 소스 데이터의 원래 모델과 비교하려고 하면 해당 모델이 예측에서 데이터 구조를 유지하기 때문에 원래 모델이 더 높은 점수를 얻습니다. 시뮬레이션된 데이터 세트에서 생성된 모델은 모든 구조가 본질적으로 손실되므로 그렇지 않습니다.
또한 "시뮬레이트" 기능(보고서 창에서 열을 마우스 오른쪽 버튼으로 클릭)으로도 내가 원하는 위치로 이동할 수 없습니다.
저는 사람들이 JMP를 사용하여 수행한 작업에 대해 약간의 조사를 수행하고 몇 가지 잠재적인 단서를 찾았지만 지금까지 그 중 누구도 제가 찾고 있는 것을 실제로 따르지 않았습니다.누구든지 이에 대한 해결책을 가지고 있거나 코딩 방법에 대한 올바른 방향을 알려줄 수 있다면 감사하겠습니다.
감사해요
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션안녕 @마크_베일리 그리고 @Peter_Bartell ,
피드백을 제공하고 이 주제에 대한 토론을 계속하기 위해 ARIMA 플랫폼을 사용하여 합리적인 모델 데이터를 얻을 수 있었습니다. 예측에는 좋지 않지만 유사한 데이터 세트를 다시 생성하는 데는 효과적이지만 괜찮습니다. 이 모델의 예측 공식을 적용하면 실제 데이터 세트와 상당히 잘 작동하므로 앞으로 잠재적으로 유용한 경로를 제공합니다.
이것이 궁극적으로 제가 원하는 방식인지 확신할 수 없으므로 JMP 내의 다른 시뮬레이션 옵션과 비교해 보겠습니다. 프로파일러의 확률론적 시뮬레이션은 이전에 논의한 이유로 도움이 되지 않는다는 것을 알고 있습니다. 또한 이는 제가 원하는 개선된 피팅을 위해 모델을 조정하는 최선의 접근 방식이 아닙니다.
특정 모델링의 경우 부트스트랩 포리스트 모델을 사용하고 있으며 모델을 조정하여 이를 개선하고 싶습니다. 나는 튜닝 테이블을 사용하여 부분적으로 그렇게 했습니다. 하지만 이와 관련하여 몇 가지 제한 사항이 있습니다. 특히 튜닝 테이블에서 감당할 수 있는(메모리 측면에서) 실행 횟수에 따라 더욱 그렇습니다. 나는 일반적으로 감당할 수 있는 튜닝 테이블에서 최대한 많은 실행을 통해 모델링을 실행합니다. 이는 포리스트의 트리 수, 분할당 샘플링된 용어 수, 부트스트랩 샘플, 트리당 최소 분할 및 최소 크기 분할로 범위를 좁힙니다. 이는 솔루션을 찾기 위해 모델 플랫폼의 매개변수를 최적화하는 데 도움이 될 수 있지만 반드시 내가 보유한 데이터를 기반으로 최적화된 모델을 의미하는 것은 아닙니다.
모델을 구축할 때 훈련 및 테스트 세트로 구분되는 검증 열을 생성하고 응답 열을 기준으로 계층화합니다. 그런 다음 모델 검증을 위해 특정 %를 보류한 훈련 데이터만으로 모델을 구축합니다. 모델 출력은 내가 선택한 유효성 검사 열에 따라 달라집니다(여러 개를 만들었습니다). 일반적인 출력은 아래에 나와 있습니다(죄송하지만 반응 또는 요인 열에 대한 정보가 무엇인지 공유할 수 없습니다). 부스트랩 포리스트 사양의 세부 사항은 원래 훈련 및 검증 데이터가 어떻게 계층화되었는지에 따라 변경됩니다.
지금 내가 관심을 갖고 있는 것은 모델 통계에 대한 시뮬레이션 옵션을 사용하여 향상된 적합성을 위해 모델을 조정하는 것입니다. 훈련 및 검증 세트의 N을 변경하거나 개별 트리의 RMSE 등을 통해 이를 수행할 수 있습니다. 부트스트랩 포리스트의 사양을 변경하기 위해 이 접근 방식을 사용할 수 없다는 것을 알고 있지만(튜닝 테이블이 그렇게 함) 모델을 튜닝할 수 있는 방식(예: 숫자)에 사용하고 싶습니다. r^2를 최대화하기 위해 훈련 및 검증에 사용되는 샘플 수 또는 분할 수입니다.
요약하자면: 데이터 학습에 도움이 되는 시뮬레이션 방법을 사용하고 싶습니다. 프로파일러의 시뮬레이션 플랫폼이 작동하지 않는다는 것을 알고 있습니다. 이로 인해 모델 통계에 대한 ARIMA(가능) 또는 부트스트랩 시뮬레이션 옵션이 남게 됩니다. 모델 튜닝을 위해 후자의 시뮬레이션 방법을 가장 잘 사용하는 방법을 잘 모르겠습니다.
시뮬레이션을 통해 모델을 튜닝하는 데 대한 의견이나 피드백을 주시면 감사하겠습니다.
시간을 내주셔서 미리 감사드립니다!
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션안녕 @GM ,
의견과 제안에 감사드립니다. 다변량 데이터의 의도된 목표와 설명이 정확합니다. 데이터가 생성되는 순서는 좋은 예측 변수가 아닌 것 같습니다. 집합적으로 사용될 때 모델링/예측하려는 "y"에 대한 합리적인 예측을 제공하는 측정되는 다른 속성이 있습니다. 모델을 더 잘 적합하도록 훈련하려고 할 때 어려움이 발생합니다. 데이터를 시뮬레이션하여 이를 수행하고 싶지만 이는 예상했던 것보다 더 어려운 일입니다.
MVN 접근 방식은 확실히 프로파일러의 시뮬레이션 옵션보다 데이터의 다변량 상관 관계를 보존하는 데 더 나은 작업을 수행합니다. 해당 옵션은 주어진 표준 편차로 평균을 구합니다.
불행하게도 MVN 스크립트와 생성된 데이터를 사용하여 모델을 구축하려고 하면 원본 데이터만으로 구축된 유사한 모델보다 성능이 훨씬 나쁩니다.
지금까지는 ARIMA 모델이 데이터의 단기 변동뿐 아니라 일부 장기 변동 구조를 더 잘 포착하는 것으로 나타났습니다. 또한 데이터의 예측을 제대로 예측하지 못하지만 제가 생각하는 것은 이를 사용하여 원본 데이터에 추가되는 새 데이터를 생성하여 더 큰 데이터 세트를 구축한 다음 더 큰 데이터 세트로 모델을 교육하는 것입니다.
지금 시도할 생각은 ARIMA 보고서에서 "열 저장"을 수행하고 예측 값을 추출한 다음 이를 원래 데이터 테이블과 연결하는 것입니다. 그런 다음 새 데이터 테이블의 행을 무작위로 선택하고 더 큰 데이터 세트로 모델을 구축하고 싶습니다. 또 다른 옵션은 여러 검증 열을 생성하고, 서로 다른 교차 검증 행을 사용하여 동일한 모델을 실행하고, 결과 모델의 평균을 구하는 것일 수도 있습니다.
이 토론에 기여한 모든 분들께 감사드립니다. 아직 적절한 해결책을 찾지는 못했지만, 많은 것을 배우고 새로운 아이디어를 시도해보고 있습니다.
감사해요!
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션논의에 따르면 다른 예측 변수를 사용하여 모델링하려는 결과 변수가 있는 것처럼 들립니다. 여기서 시간이나 데이터가 생성되는 순서는 예측 변수가 아닙니다.다변량 정규 분포를 사용하여 NxP(N= 행, P = 변수(y 및 x)) 행렬을 시뮬레이션할 수 있습니다.이 링크는 다변량 정규 분포를 시뮬레이션하는 JSL을 제공합니다. http://www.jmp.com/support/notes/36/140.html 추정된 공분산 행렬을 기반으로 이를 수정해야 하지만 데이터가 다변량 정규 분포를 따르는 경우에는 작동합니다.
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션안녕 @마크_베일리 ,
적절한 예측변수에는 분명히 일부 결함이 있을 수 있습니다. 그러나 우리가 수행한 다른 분석에 따르면 우리가 조사한 다른 많은 세트보다 확실히 더 적합한 것으로 보입니다.
복잡성과 교차 검증과 관련하여 저는 이를 확실히 고려합니다. 과적합 위험을 방지하기 위해 학습/검증/테스트 열을 생성합니다. 부트스트랩 포레스트 모델링은 일반화된 회귀 모델이나 신경망 모델링보다 훨씬 더 광범위한 다소 복잡한 의사결정 트리 예측 공식을 생성합니다. 모델을 서로 비교할 때 성능도 더 좋습니다. 일반적으로 튜닝 매트릭스를 사용하여 부트스트랩 포리스트 플랫폼을 실행한 후 분할당 샘플링된 용어가 ~4개인 트리가 대략 60개 이상 있다는 것을 발견했습니다. 기간당 분할 횟수는 다양할 수 있지만 대개 1,000~3,000개 범위입니다.
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션우선, ARIMA 및 기타 시계열 모델은 단기적인 섭동과 일부 주기적 추세를 가정하므로 장기 예측에는 적합하지 않습니다.
현재 모델의 '적합성 부족' 문제(예측에는 관찰된 반응의 극단적인 편위가 부족함)는 더 많은 데이터에 의해 도움이 되지 않을 수 있습니다. 예측 변수가 충분하지 않을 수 있습니다. 편향을 줄이는 한 가지 방향은 현재 기능 세트를 사용하여 기본 확장에 더 많은 용어를 포함하는 것입니다. 몇 가지 모델링 기술을 언급했지만 탐색한 모델의 복잡성에 대해서는 아무 말도 하지 않았습니다. 교차 검증으로 해결되는 과적합 위험과 함께 복잡성이 높아지면 편향 문제가 해결될 수 있습니다. 편향을 줄이는 또 다른 방향은 관찰된 응답에서 벗어난 부분을 최종적으로 설명할 수 있는 누락된 특징을 검색하는 것입니다.
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션안녕 @마크_베일리 ,
궁극적으로 저는 들어오는 요인을 고려하여 미래 가치를 예측하는 강력한 모델을 구축하고 싶습니다. ARIMA와 FDE를 살펴보았습니다. 나는 FDE가 아마도 적절한 접근 방식이 아닐 것이라는 데 동의합니다. 그러나 ARIMA 모델링은 모델 훈련을 위한 새로운 데이터를 생성하는 경로를 제공할 수 있다고 생각합니다.
여러 요인이 반응과 거의 동시에 측정됩니다. 모든 측정은 원본 자료를 사용하지만 다른 측정을 실행하기 위해 샘플링되는 양이 많습니다.우리는 가장 강력한 예측 능력을 가진 일련의 요인을 식별했습니다. 저는 이러한 요인과 응답을 사용하여 일반화 회귀 방법, 부스팅 트리, 부스트랩 포레스트, 신경망 및 기타 분할 방법을 사용하여 여러 가지 다른 모델을 확인했습니다. 모델을 비교하면 부트스트랩 포리스트가 다른 것보다 일관되게 더 나은 모델링 결과를 제공한다는 것을 알았습니다. 테스트를 보류하고 피팅 매개변수를 최적화하기 위해 튜닝 테이블을 사용하여 모델을 실행함으로써 이 모델을 조금 더 개선할 수 있습니다.
하지만 내가 여전히 발견한 것은 모델이 우리가 생각하는 것만큼(또는 할 수 있다고 믿는) 데이터의 최고점과 최저점을 실제로 포착하지 못한다는 것입니다. 구조의 일부를 포착하지만 최고점과 최저점을 얻는 데는 그리 좋지 않습니다. 따라서 더 나은 모델을 구축하기 위해 더 많은 이벤트를 포함하는 더 큰 데이터 세트를 시뮬레이션하고 싶습니다. 그리고 실제로 실제 값의 데이터 세트를 구축하는 데는 오랜 시간이 걸리기 때문에 데이터를 시뮬레이션하여 모델을 학습시키는 것이 도움이 될 것입니다.
그런 점에서 ARIMA 플랫폼이 도움이 될 수 있다고 생각합니다. 요인과 반응의 예측 값을 생성하기 위해 이를 테스트했습니다. 이는 실제 데이터를 모방하는 요인 및 반응에 대한 새로운 값 세트를 생성합니다. 그런 다음 시뮬레이션된 데이터와 실제 데이터를 새 데이터 테이블로 연결하여 두 배 더 큰 새 데이터 세트를 생성할 수 있습니다.
불행하게도 ARIMA 모델링은 요인이나 반응에 대한 많은 새로운 값을 제대로 예측하지 못하므로 실제로 예측 기간을 생성하는 데 사용할 수 없습니다. 그래도 시뮬레이션된 데이터 세트를 구축하는 이 대체 접근 방식이 유용할 수 있다고 생각합니다.
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션더 많은 데이터를 시뮬레이션하는 것이 도움이 될지는 확실하지 않습니다. 데이터를 시뮬레이션할 수 있다면 데이터 모델이 있는 것입니다. '구조'는 인구의 이동입니다(일정한 평균을 사용하는 몬테카를로 시뮬레이션에서는 재현되지 않음).
이 응답으로 예측변수(요인)의 후보를 동시에 측정하고 있습니까? 상관 관계, 연관성 및 가능한 모델을 탐색해 보셨나요?
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션안녕 @Peter_Bartell 그리고 @마크_베일리 ,
이 문제에 대한 토론에 정말 감사드립니다. 분석을 개선할 수 있는 방법에 대한 몇 가지 아이디어를 얻을 수 있기 때문입니다.
데이터는 프로세스에서 제공되지만 실시간은 아닙니다. 이러한 정보는 데이터베이스에 수집되어 나중에 액세스됩니다. 각 지점이 이전 지점 이후 실제로 순차적이라고 보장할 수는 없습니다. 지점 사이에는 일반적인 시간 간격이 있지만 프로세스가 몇 시간 또는 며칠이 걸릴 수 있는 일시 중지가 있는 경우 데이터베이스는 중단된 부분부터 시작합니다. 따라서 엄밀히 말하면 시계열은 아닙니다. 그러나 실제로 ARIMA 모델이 실제 데이터와 유사한 응답을 복제할 수 있다면 이것만으로도 충분할 것입니다(제 생각에는).
해당 데이터는 동일한 소스에서 나온 것입니다. 프로세스에서 샘플을 가져와 측정을 수행합니다.
아직 자기 상관을 추정해 본 적이 없습니다. 몬테카를로 시뮬레이션은 실제 데이터를 모방하는 입력/출력 데이터를 생성하기 위한 방법일 수 있습니다. 저는 JMP가 MC 시뮬레이션을 할 수 있다는 것을 몰랐습니다. 이전에 다른 문제에 대해서는 이러한 작업을 수행했지만 JMP를 사용하지는 않았습니다. 이것들은 내가 조사해야 할 것들입니다.
목표는 반응을 잘 예측할 수 있는 모델을 개발하는 것입니다. 이를 통해 요인만 (더 쉽게) 모니터링할 수 있습니다. 모델이 경고를 예측하면 더 어려운 노력을 기울일 수 있습니다.
나는 여전히 FDE와 ARIMA에 대해 읽을 가치가 있다고 생각합니다. 이는 몇 가지 아이디어를 촉발할 수 있습니다. 다소 모호한 설명이 이해되기를 바랍니다. 공개 문제를 이해해 주셔서 감사합니다.
감사해요
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션나는 동의한다 @마크_베일리 위의 마지막 단락...그리고 이전 게시물에서 언급했듯이...지금까지 공유한 내용에 따르면...FDE 또는 시계열 분석이 귀하의 목표에 가장 적합한 접근 방식인지 의심됩니다.
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션그러면 데이터가 시간 순서대로 표시되지 않습니까? 동일한 소스(단일 소스)에서 나온 것이 아닌가요?
각 측정값이 독립적이라고 말할 때 단지 1의 지연에 대해서라도 자기상관을 추정했습니까? '독립적'이라는 것은 데이터가 별도로 수집되었다는 의미일 수도 있지만, 통계적 독립성, 즉 상관관계가 없음을 의미합니다.
시뮬레이션된 데이터는 제가 예상했던 것입니다. 안정적인 평균과 분산을 갖는 단일 모집단이 있습니다. Monte Carlo 시뮬레이션에는 요인과 반응 모두에 대한 무작위 교란이 포함됩니다.
데이터에는 표시되지만 시뮬레이션에는 표시되지 않는 '구조'는 다른 '할당 가능한 원인'의 결과입니다. 원인은 시간과 규모에 따라 무작위로 발생할 수 있습니다. 시뮬레이션에는 그들의 기여가 포함되어야 합니다. 그것이 무엇인지 아시나요? 어떻게 발생합니까? 어떻게 모델링하나요?
측정의 실제 성격과 세부 사항을 공개할 수는 없지만 비유를 사용하여 데이터와 수행 중인 작업에 대한 감각을 제공할 수 있다는 점을 이해합니다. 예를 들어, 핵잠수함 내부의 어뢰 발사관 3개의 압력을 수시로 측정한다고 가정해 보겠습니다.
우리가 실제 데이터를 시뮬레이션하는 데 도움을 줄 수 있다고 가정하면, 어떤 종류의 분석이나 모델링을 사용할 계획입니까?
Peter는 매우 도움이 되지만 귀하의 문제에 대해 더 많이 알게 되면 이러한 제안이 도움이 될지 의심스럽습니다. 기능 데이터 분석은 기능, 프로필 또는 곡선에 대한 것입니다. 수백 개의 데이터 시리즈 샘플을 상상하고 모양을 모델링하고 모양이 요인에 의해 영향을 받는 방식이나 모양이 결과를 예측하는 방식을 모델링하려고 합니다. 확장하려는 단일 데이터 시리즈가 있는 것 같습니다. FDA는 원래 영역 이상을 예측하지 않습니다. ARIMA 모델은 동일한 간격의 점을 가정합니다. 자기상관, 섭동, 계절성을 모델링하여 멀지 않은 미래를 예측할 수 있습니다. 반면 ARIMA 모델을 기반으로 한 몬테카를로 시뮬레이션이 가능합니다.
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션@SDF1 : '장거리 구조'라는 문구에는 다양한 특징, 뉘앙스 및 문제가 포함될 수 있습니다. 예를 들어 계절성은 구조의 한 형태일 수 있습니다. ARIMA 시계열 방법은 계절성 효과와 장기 추세 또는 프로세스의 순환적 움직임을 모델링하는 데 매우 적합합니다. JMP 샘플 데이터 디렉토리에서 클래식 seriesg.jmp 데이터 테이블을 참조하세요.
우선 제가 제안하는 것은 JMP 문서 내에서 JMP/JMP Pro의 기능을 읽어보는 것입니다. FDE 링크는 다음과 같습니다.
https://www.jmp.com/support/help/14/function-data-explorer.shtml
시계열 분석 링크는 다음과 같습니다.
https://www.jmp.com/support/help/14/time-series-analytic.shtml
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션안녕 피터,
해당 플랫폼 중 하나가 장거리 구조를 유지할 수 있습니까? 나는 계속해서 그것들을 읽을 것이고, 그것은 나 자신의 솔루션을 코딩하는 방법에 대한 몇 가지 아이디어를 줄 수도 있습니다.
감사해요!
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션관찰 내용이 시계열이 아니기 때문에 Functional Data Explorer 또는 시계열 분석에 관한 이전 권장 사항을 철회합니다. 두 기술 모두 관측치 사이의 일부 구조 ACROSS 시간을 가정합니다. 이러한 관측치는 서로 독립적이므로 FDE 또는 시계열을 사용하는 것은 권장되지 않습니다.
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션안녕 마크,
데이터는 시간에 종속되지 않습니다. 각 측정은 이전 측정과 독립적이지만 일반적으로 데이터는 차례로 수집됩니다. 시계열로 간주될 수 있지만 엄밀히 말하면 기술적으로 순차적이지 않을 수 있습니다. 그러나 더 중요한 것은 각 측정이 응답에 대한 독립적인 측정이라는 것입니다.
아래 시각적 개체는 시뮬레이션된 데이터가 구조를 잃는 것에 대해 제가 의미하는 바를 설명할 것입니다.
저는 Profiler에서 시뮬레이터를 열고 각 예측자(여러 개가 있음)에 현실적인 SD(실제 데이터에서 파생됨)가 포함된 정규 분포를 제공하고 50K 응답이 포함된 테이블을 생성하여 이를 생성했습니다. 평균, 최대값, 최소값은 원본 데이터의 모양과 비슷할 수 있지만 다른 구조는 손실됩니다. 이 새로운 데이터 세트는 원래 데이터 세트와 동일한 종류의 "장거리" 구조를 포함하지 않으며, 이 구조는 데이터의 실제 값과 마찬가지로 시뮬레이션된 데이터 세트에서 캡처하는 데 똑같이 중요합니다. 정확히 일치할 필요는 없지만 최소한 유사한 구조를 가지고 있어야 합니다(비교를 위해 원본 게시물 참조).
JMP에 내장된 두 가지 시뮬레이터 옵션이 적절하지 않다는 데 동의합니다. 열 수식을 읽거나 스크립트를 작성하기 위해 특정 주제에 대한 제안 사항이 있습니까? 나는 이 문제를 처리할 수 있는 기본 제공 공식에 익숙하지 않습니다. 나는 그런 일을 스크립팅하는 데는 괜찮지만 어디서부터 시작해야 할지 알아야 합니다. 기능적 데이터 탐색기 및 ARIMA 모델링에 대한 Peter Bartell의 다른 제안을 조사하여 이들이 이를 처리할 수 있는지 확인해야 합니다.
감사해요!
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션그렇다면 응답은 시간에 따른 신호인가요? 예측변수가 있습니까, 아니면 중요한 자기상관이 있습니까?
"은 무슨 뜻인가요? 안타깝게도 프로파일러의 시뮬레이션 기능을 사용하여 더 큰 데이터 세트를 생성하려고 하면 새 출력 데이터에 원본 데이터와 관련된 구조가 전혀 표시되지 않습니다. " 원하는 구조의 성격은 무엇입니까?
데이터는 시계열과 어떻게 다른가요?
Prolfier의 시뮬레이터나 JMP Pro Simulate 플랫폼 기능은 귀하의 요구를 충족시키지 못할 것이라고 생각합니다. 열 수식이나 스크립트가 가장 만족스러운 접근 방식일 것입니다.
일부 세부 사항을 공개할 수 없으므로(이해함) "20개의 질문"을 플레이해야 합니다.
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션안녕 마크,
귀하의 의견에 감사드립니다.
생성된 데이터는 매우 느립니다. 즉, 원래 데이터를 실제로 가져오는 데 며칠, 몇 주 정도 오랜 시간이 걸립니다. 따라서 50K 크기의 데이터 세트를 구축하는 것은 불가능합니다. 저는 Pro(Pro 14.1.0 실행) 모델링 기능 중 일부를 사용하여 데이터를 잘 예측할 뿐만 아니라 데이터 내의 구조를 캡처하는 모델을 생성하려고 합니다. 원래 구조를 모방하는 더 큰 데이터 세트를 갖는 것은 모델 개선에 매우 도움이 될 것입니다. 샘플 크기를 늘리고(더 많은 학습, 검증 및 테스트 크기 포함) 데이터 구조를 캡처하면 더 나은 모델을 교육하는 데 도움이 될 것입니다. 적어도 제 생각에는 그렇습니다.
그렇게 볼 수도 있지만 엄밀히 말하면 시계열은 아닙니다. 데이터 이벤트는 반드시 시간상 서로 연결되어 있지 않습니다. 또 다른 포스터에서는 시계열 분석을 제안했는데, 이에 대해 살펴보겠습니다.
안타깝게도 프로파일러의 시뮬레이션 기능을 사용하여 더 큰 데이터 세트를 생성하려고 하면 새 출력 데이터에 원본 데이터와 관련된 구조가 전혀 표시되지 않습니다. 매우 잘 맞는 새 모델을 구축할 수 있지만 원본 데이터를 사용하여 새 모델을 원본 모델(원본 데이터를 기반으로 구축)과 비교해 보면 새 모델이 적합하지 않습니다.
죄송합니다. 더 구체적으로 말씀드릴 수는 없지만 데이터의 세부사항을 논의할 수는 없습니다. 내 의견이 귀하가 제기한 요점에 의미가 있기를 바랍니다.
감사해요!
내가 원하는 바에 따르면 Profiler의 시뮬레이션 기능을 사용하는 것이 올바른 방법인 것 같지만, 내가 얻으려는 결과를 제공하지 않습니다. Platorm Simulation은 확실히 올바른 방법이 아닙니다. 아니면 적어도 내가 원하는 것을 제공하기 위해 이를 조정하는 방법을 알 수 있습니다.
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션안녕 피터,
의견을 보내주셔서 감사합니다. JMP Pro 14.1.0을 실행하고 있다는 원래 게시물을 추가하는 것을 잊었습니다.
다음 업데이트가 출시될 때까지 기다려야 할 수도 있지만 최소한 읽고 후속 조치를 취할 수는 있습니다.
감사해요!
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션우선, 모델을 개선하기 위해 시뮬레이션된 데이터를 어떻게 사용하시겠습니까? 특정 모델링 접근 방식의 타당성을 입증하기에 충분한 데이터가 있습니까? 특정 모델에 충분할 수 있는 표본 크기를 평가하기 위한 것입니까? 단지 표본 크기를 늘리는 문제일까요?
둘째, 단일 시계열이 있는 것 같습니다. 그 해석이 맞나요?
세 번째로, 프로파일러의 시뮬레이션 기능은 적합하거나 저장된 모델과 함께 작동하도록 되어 있습니다. 모수적 분포 모델의 관점에서 예측 변수와 반응의 변동을 설명할 수 있습니다. 그 메커니즘이 시계열 모델에서 작동하는지 모르겠습니다. (다른 전문가들도 여기에 참여할 수 있습니다.)
플랫폼 시뮬레이션은 플랫폼에서 선택한 통계의 경험적 샘플링 분포를 생성하기 위해 확률론적 구성 요소가 있는 저장 모델을 기반으로 데이터를 리샘플링하기 위한 것입니다.
JMP 열 공식이나 스크립트에 적용할 수 있는 시계열 데이터를 시뮬레이션하는 SAS 프로그램을 얻을 수 있다고 생각합니다. (약속은 없습니다.)
나는 올바른 길을 가고 있습니까?
Re: 모델 구축을 위한 더 큰 데이터 세트를 생성하기 위해 데이터 시뮬레이션JMP Pro 버전 14.2를 사용하는 경우 문제는 Functional Data Explorer를 위한 완벽한 애플리케이션처럼 들립니다. 또 다른 옵션은 아마도 일종의 ARIMA 구성을 사용하는 시계열 모델링 접근 방식일 수 있습니까? 시계열 접근 방식에는 JMP Pro가 필요하지 않습니다.
