Where should I invest to maximize profits?Where should I invest to maximize profits?Where should I invest to maximize profits?Where should I invest to maximize profits?이익을 극대화하려면 어디에 투자해야 합니까? 여러분은 지난 한 해 동안 데이터를 수집하고, 데이터를 재구성하고, 관계를 분석하고, 매개변수를 미세 조정하는 데 시간을 보냈습니다. 귀하는 열심히 일했고 모든 전문 지식을 귀하의 회사가 자산 중 1천만 달러를 어디에 지출할지 결정하는 데 사용할 강력한 예측 모델이라고 믿는 것으로 정점에 이르렀습니다. 당신의 결정에 얼마나 확신이 있나요? 가능한 모든 시나리오, 요인 및 제약 조건을 고려했습니까? 뭔가를 놓쳤을 가능성이 있나요?
가장 경험이 풍부한 데이터 실무자조차도 미지의 문제로 인해 잠을 이루지 못하는 불확실성의 세계에 오신 것을 환영합니다. 단순한 예측 모델을 조직의 최악의 악몽으로 만들 수 있는 것은 우리가 모르는 것을 모르고 예상치 못한 효과나 결과를 놓치는 것에 대한 두려움입니다.
최신 인공 지능 알고리즘을 활용하든 기존 회귀 방법을 사용하든 모델에는 항상 일정 수준의 불확실성이 존재합니다.
이는 피할 수 없는 일이므로 이제 질문은 다음과 같습니다. 불확실성을 최소화하고 완화할 수 있습니까? 물론, 저는 예측의 정확성을 높이고 모델의 불확실성을 줄이는 것으로 입증된 몇 가지 간단한 전략을 통합함으로써 이를 크게 줄일 수 있다고 믿습니다.
데이터 샘플과 관련된 불확실성
먼저, 예측 모델에는 불확실성의 원인이 많다는 점을 인식하고 이해해야 합니다. 데이터, 모델링 기술 및 예측 변수 선택의 변화는 모두 모델 성능에 영향을 미칩니다. 이 논의에서는 데이터 샘플과 관련된 불확실성에 초점을 맞춰 보겠습니다. 데이터 세트의 품질은 예측의 정확성에 중요한 역할을 합니다. 데이터는 예측 모델의 원동력입니다. 그리고 대부분의 시나리오에서 모델에 더 많은 정보를 제공할수록 정확성을 향상시킬 수 있는 능력이 커집니다. 그러나 모든 것에는 비용이 따르며 대규모 데이터 세트를 수집하는 것은 비용과 시간이 많이 소요될 수 있습니다. 이러한 제약 조건을 고려할 때 Day Zero의 가장 좋은 전략은 다음을 사용하여 데이터 수집 계획을 세우는 것입니다. 실험 계획(DOE) 관계를 정확하게 모델링하는 데 필요한 요인과 변동의 조합을 포착하는 중요한 데이터를 미리 수집합니다.
불행하게도 대부분의 기업은 이 경로를 따르지 않으며 수집 단계 후에 모델을 강화하기 위해 추가 데이터가 절실히 필요하다는 사실을 알게 됩니다. 당신도 그럴 것 같나요? 더 많은 데이터를 수집할 예산이 남아 있지 않은 경우 지금 무엇을 해야 합니까? 걱정할 필요 없어.
데이터를 풍부하게 만드는 3가지 기술
새로운 데이터 포인트 수집에 추가 리소스를 투자하지 않고도 데이터를 풍부하게 하고 모델의 정확성을 회복하는 것으로 입증된 빠르고 쉬운 세 가지 기술 형태로 도움이 가까이 있다는 사실을 알게 되어 기쁠 것입니다. 부트스트래핑, 몬테카를로 시뮬레이션 및 대치.
부트스트래핑: 새로운 "부트스트랩" 데이터 세트를 생성하기 위해 데이터에서 무작위 관찰을 반복적으로 샘플링하여 모델 추정치에 대한 더 나은 근사치를 제공하는 간단한 기술입니다.
실제로 이 기술을 살펴보겠습니다. 아래 예에서는 모델 매개변수(투과성)를 탐색하고 신뢰 구간 0.010과 0.108이 이 변수에 대한 이론적 한계를 정확하게 표현하는지 확인하고 싶습니다. 해당 질문에 답하고 나면 투과성과 모델 반응 사이의 관계를 더 잘 이해할 수 있을 것입니다.
Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108Original confidence limits for permeability are 0.010 and 0.108투과성에 대한 원래 신뢰 한계는 0.010과 0.108입니다.
New bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual valuesNew bootsrap limits of 0.019 and 0.119 reflect a more accurate estimate of actual values0.019 및 0.119의 새로운 부트랩 제한은 실제 값의 보다 정확한 추정을 반영합니다.
사용 JMP , 0.019와 0.119의 새로운 신뢰 구간을 계산하기 위해 2500개의 부트스트랩 샘플을 생성합니다. 부트스트랩 한계는 원래 한계인 0.010과 0.108보다 큽니다. 이는 투과성과 예측 반응 사이의 관계가 실제로 이전에 추정된 것보다 더 강하다는 것을 의미합니다. 이 새로운 통찰력을 통해 모델의 계수를 조정하여 불확실성을 줄이고 실제 예상 결과와 더 일치하는 추정치를 생성할 수 있습니다.
몬테카를로 시뮬레이션: 모델 데이터의 불확실성을 더 잘 설명하기 위해 무작위 변동 분포를 사용하여 예측 결과에 대한 강력한 추정치를 생성합니다.
이 두 번째 기술을 예제 데이터 세트에 적용해 보겠습니다. 저는 일련의 조건에 대해 예상되는 응답(예: REC=847.805)을 추정할 수 있는 전통적인 모델을 만들었습니다. 이러한 추정치의 예측 반응과 신뢰 구간을 계산할 수 있지만, 요인 중에서 일반적으로 관찰되는 실제 변동을 통합한 결과는 계산할 수 없습니다. 이제 JMP의 시뮬레이터 옵션을 사용하여 요인을 무작위 분포로 모델링하고 예상 반응 값을 보다 정확하게 추정할 수 있습니다. 내 예에서 몬테카를로 시뮬레이션은 내 응답 값의 약 25%가 하한인 750을 벗어나는 것으로 나타났습니다. 보다 정확하게 정량화된 위험 수준을 통해 이제 여러 시나리오를 시뮬레이션하고 이에 따라 각각의 결과를 평가함으로써 보다 정확한 정보에 입각한 비즈니스 결정을 내릴 수 있습니다.
Monte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditionsMonte Carlo simulation of predictor variables allows for risk analysis under varying conditions예측 변수의 몬테카를로 시뮬레이션을 통해 다양한 조건에서 위험 분석이 가능합니다.
돌리기: 계산된 결과를 누락된 데이터로 대체하는 데 사용되는 데이터 대체 기술입니다.
실제 데이터에는 누락된 값이 있는 경우가 있으며, 예시 데이터 세트도 다르지 않습니다. 센서에 문제가 있어 데이터가 수집되지 않은 일부 항목이 포함되어 있습니다. 불행하게도 해당 값은 생략되었기 때문에 이제 모든 분석에서 삭제되고 데이터 세트가 완전할 경우 얻을 수 있는 통찰력을 잃게 됩니다. 대치(imputation)를 사용하여 JMP , 이제 누락된 항목의 값을 추정하고 예측의 신뢰도를 높일 수 있습니다. 대치(imputation)는 다양한 기술을 사용하여 수행될 수 있습니다. 라는 방법을 선택했습니다. 다변량 SVD 대치 누락된 14개 항목의 값을 예측합니다. 귀속된 데이터는 실제 데이터가 아니지만 다른 방법으로는 수행할 수 없는 분석을 수행하는 수단을 제공한다는 점에 유의해야 합니다. 누락된 데이터를 대치함으로써 예측 변수 추정의 정확성이 향상되었으며 이제 수집된 모든 데이터를 완전히 활용할 수 있습니다.
Results of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing dataResults of 14 imputed values allow for estimation of missing data14개의 대치된 값의 결과로 누락된 데이터를 추정할 수 있습니다.
견적 개선 및 불확실성 감소
부트스트래핑, 몬테카를로 시뮬레이션 및 대치. 이제 모든 기존 데이터 세트에 구현하여 결과의 품질을 향상하고 예측 정확도를 크게 향상시킬 수 있는 빠르고 쉬운 세 가지 기술이 있습니다. 예측 모델은 빅데이터 시대에 활용 사례가 점점 늘어나고 있는 놀라운 기능입니다. 더 나은 견고성과 정확성을 촉진하기 위한 모델링 옵션과 알고리즘의 발전에도 불구하고 성능은 계속해서 모델에 제공되는 데이터의 품질에 의해 좌우됩니다.
이상적인 세상에서는 불확실성이 존재하지 않으며 우리의 데이터는 완벽한 예측을 위한 길을 밝혀줄 것입니다. 하지만 우리는 실제 데이터가 우리가 생각하는 것과 상관없다는 것을 알고 있습니다. 지저분하고 결함이 있고 다루기가 어렵습니다. 따라서 도구 상자에 몇 가지 새로운 도구를 던져서 이 문제에 직면해 보겠습니다. 알려지지 않은 것들이 우리를 밤에 잠 못 이루도록 놔두지 맙시다. 이러한 전략을 활용하여 예측을 개선하고 불확실성을 줄이며 최선의 비즈니스 결정을 내리고 있다는 확신을 유지함으로써 적극적으로 대처하십시오.
이러한 기술은 정보 품질에 관한 것입니다. 귀하의 데이터와 목표가 주어지면 귀하가 생성하는 정보의 품질을 향상시키는 데 도움이 됩니다.
부트스트래핑에 대한 소개와 예제 및 연습을 보려면 다음 링크를 참조하세요.
부트스트래핑 소개
정보 품질에 대한 소개는 이 링크를 참조하세요. :
정보 품질 소개(InfoQ)
정보 품질 평가에 대한 JMP 추가(InfoQ)는 다음을 참조하세요. InfoQ를 평가하기 위한 JMP 추가 기능
