758527_ko-KR

liliconcom

기계 학습에서 누락된 무작위 효과에 관하여 (2020-US-45MP-534)

Fabio D'Ottaviano, R&D 통계학자, Dow Inc
Wenzhao Yang 박사, Dow Inc

설계되지 않은 데이터가 대량으로 존재하고, 화학 산업 연구 및 제조의 부산물인 이 데이터는 플러그 앤 플레이 방식으로 이 데이터에서 가치를 추출하려는 시도에서 기계 학습을 모험적으로 활용하는 데 매력적입니다. 종종 이러한 유형의 데이터는 제어된 변화에 대한 반응뿐만 아니라 데이터에 태그되지 않은 임의 효과로 인한 반응도 반영합니다. 따라서 이 산업의 기계 학습 기반 모델은 활성 임의 효과를 쉽게 놓칠 수 있습니다. 이 프레젠테이션은 JMP에서 시뮬레이션을 사용하여 기계 학습을 통해 임의 효과를 놓치는 효과(벤치마크로 혼합 모델을 통해 적절하게 포함하는 것과 비교)를 화학 산업에서 일반적으로 접하는 맥락(공정 변수가 있는 혼합 실험)에서 상대적 클러스터 크기, 총 분산, 임의 효과에 기인한 분산 비율, 데이터 크기의 함수로 보여줍니다. 시뮬레이션을 사용하여 누락된 임의 효과와 누락되지 않은 임의 효과의 비교를 명확하고 간단한 방식으로 만들면서 실제 데이터에서 발견되는 원치 않는 교란 변수를 피할 수 있습니다. 머신 러닝은 데이터 크기가 클수록 더 좋은 성과를 보인다는 사실은 이미 널리 알려져 있지만, 구체성이 부족한 데이터(즉, 클러스터링 정보가 없는 데이터)는 데이터 크기에 관계없이 심각한 예측 편향을 초래한다는 사실도 관찰되었습니다.

이 프레젠테이션은 같은 제목의 출판된 논문을 바탕으로 작성되었습니다.

자동 생성된 대본...

스피커	성적 증명서
파비오 도타비아노	좋아요, 이 영상을 시청해 주셔서 감사합니다. 글쎄요, 보시다시피, 저는 머신 러닝에서 무작위 효과를 놓치는 것에 대해 이야기할 겁니다.
	저는 제 동료인 조 영과 함께 다우케미칼에서 일하며 한국 D에서 일했고, 새로운 프로세스와 주로 새로운 제품을 개발하는 데 도움을 줬습니다.
	이 화면에 보이는 건 큰 빙고 케이지입니다. 여기서 우리가 이야기할 내용은 시뮬레이션에 관한 것이고, 시뮬레이션은 적어도 저에게는 많은 관련이 있거든요.
	빙고 케이스는 큰 행사에서 공과 숫자를 분배하기로 결정했기 때문에, 계속해서 원하는 대로 고르기만 하면 됩니다. 알겠어요.
	이 이야기는 또한 우리가 방금 말했듯이 출판과 관련이 있습니다.
	최근에, 같은 이름이고, 이 프레젠테이션에 접근할 수 있는 것을 얻을 수 있습니다. 여기를 클릭하면 전체 논문에 접근할 수 있습니다. 그래서 여기에 우리가 거기에 게시한 내용의 요약이 있습니다.
	좋아요, 이것의 맥락은 무엇인가요? 글쎄요, 우선 머신 러닝은 세션에 대해 아는 것에 대한 일종의 플러그 앤 플레이 어필을 가지고 있습니다.
	매력적인 것을 가정할 필요는 없다는 걸 알아요. 게다가 요즘은 사용하기 매우 편리한 소프트웨어가 나와요. 그러니까 요즘 사람들은 그걸 좋아하죠.
	하지만 아시다시피, 무작위 효과는 어디에나 있고 이러한 효과를 실행하는 것은 좀 더 복잡한 개념이기 때문에 재밌는 일입니다. 그래서 그것은
	기본 통계 과정을 만지면 더 고급 주제가 드러납니다. 그래서 무작위 효과에 대한 이해가 많지 않은 채 머신 러닝을 하는 사람들이 많아질 겁니다.
	그리고 그들이 그러한 이해를 가지고 있다고 하더라도 무작위 사실이라는 개념은
	그래도, 아시다시피, 기계 학습을 하는 사람들과 큰 논쟁을 벌이지는 않습니다. 무작위 효과를 활용할 수 있는 알고리즘이 몇 가지뿐이기 때문이죠.
	여기에서 이러한 참조를 확인할 수 있습니다. 여기에는 몇몇 나무와 랜덤 포레스트가 있고 그것을 가져갈 수 있지만 최근에는 그렇지 않습니다. 알다시피, 퍼졌습니다.
	모든 곳. 그래서 머신 러닝에서 무작위 효과를 처리할 수 있는 것을 찾는 데 어려움을 겪을 것입니다.
	무작위 효과에 대해 조금 이야기해 봅시다. 여기서 볼 수 있듯이, 적어도 제가 온 화학 산업에서는 그렇습니다. 우리는 일반적으로 섞습니다. 저는 세 가지 구성 요소라고 말합니다. 그렇죠. 노란색, 빨간색, 초록색입니다.
	우리는, 우리는 이것을 만듭니다. 알다시피, 이러한 구성 요소의 각 비율 다른 수준. 그리고 우리는 그것을 변경하면서 반응을 측정했습니다. 특정 장비와 함께 이러한 구성 요소의 비율, 그리고 때로는 운영자나 실험실 기술자가 있을 수도 있습니다.
	또한 당신이 보고 싶어하는 결과에 간섭합니다. 좋아요. 그리고 우리가 이런 종류의 실험을 할 때, 우리는 일반화하고 싶어합니다. 그것이 발견인가요, 맞나요, 아니면 어떤 예측인가요. 우리는 여기까지 오려고 노력하고 있습니다.
	하지만 문제는 내가 여기서 이 녹색 구성 요소를 섞을 때를 안다는 것입니다. 내가 다음에 이 녹색 구성 요소를 공급하는 공급업체에서 구매한다면
	그리고 녹색은 그늘을 만들었어요, 알다시피, 매우 그리고 다음에 이 녹색 구성 요소를 살 때는 어떻게 될지 모르겠어요. 배치입니다. 공급업체가 제게 줄 것은 정확히 같은 녹색일 겁니다. 공급에 변동성이 있기 때문입니다.
	위에 당신은 내가 당신이 특정 장비를 사용하는 경험을 할 수 있다는 것을 알고 있습니다. 하지만 내가 내 연구실이나 다른 연구실을 둘러보면, 나는 이 장비의 다른 브랜드를 가지고 있을 수 있습니다.
	그리고 그 위에. 당신은 또한, 알다시피, 아마도 그 측정이 그것을 올바르게 하고 있는 운영자에 따라 달라질 수 있는 음식이 있을 것입니다. 그래서 당신은 또한 간섭할 수 있고 일종의 빈곤을 초래할 수 있습니다.
	여기 내 일반화에 대한 예측
	여기서 내가 예측하고 싶은 것을 무엇이든 하세요
	이것은 화학 산업에서 가장 전형적인 것으로, 실험 실험 배치 변동성입니다.
	같은 일을 계속 반복하면 시간이 지남에 따라.
	예를 들어, 여기서 실험을 한다고 가정해 보겠습니다. 모델을 얻으면 모델은 무언가를 예측할 수 있습니다. 그런 다음 실험을 반복하여 다른 Malden 모델을 얻고 이 세 모델의 예측을 얻습니다.
	지금은 상당히 다를 수 있습니다. Nick은 읽을 수 있습니다. 그래서 시간이라는 요소도 있습니다.
	그럼 여기서 제가 말하는 문제는 무엇일까요? 글쎄요, 일반적으로 우리는 저장된 데이터와 과거 데이터를 가지고 있습니다. 아시다시피, 과거에 한 데이터의 조각과 조각 모음이죠.
	그리고 사람들은 그 결과를 일반화하는 데 별로 신경을 쓰지 않았습니다. 그들이 그 실험을 했을 당시의 결과입니다. 그래서 우리가 그것을 수집해서 역사적 데이터라고 부를 때, 우리는 무작위 효과에 대한 태그를 가질 수도 있고 가질 수도 없을 수도 있습니다.
	그리고 만약 당신이 텍스트가 있다면, 적어도 내가 온 곳에서 온 텍스트입니다. 이것은 규칙에 대한 예외에 가깝습니다. 나에게는 세금이 없다는 사실, 뭐, 적어도 모든 것에는 세금이 없다는 것입니다.
	태그가 있다고 가정해 봅시다. 할 수 있는 한 가지는 이러한 무작위 효과를 처리할 수 있는 머신 러닝 기술을 사용하여 모델로 유도하는 것입니다. 그게 전부입니다. 문제가 없습니다.
	하지만 제가 말했듯이, 무작위 효과를 방해할 수 있는 기계 학습 기술은 그다지 잘 마비되지 않습니다. 기계 학습을 사용하고 싶을 수도 있습니다.
	그리고 마치 고정된 것처럼 무작위 효과를 모델에 적용하면 매우 잘 알려진 문제에 부딪히게 되는데, 그것은 무작위 효과를 고정된 것으로 처리해야 한다는 것입니다.
	앞으로 나올 새로운 모든 것을 예측하는 데 어려움을 겪을 것이라는 점을 한 가지 말씀드리겠습니다. 예를 들어, 무작위 효과가 나중에 유럽인 경우 몇 가지만 있기 때문입니다.
	데이터에서 운영자, 맞아요, 몇몇 이름이 있지만, 며칠 동안 새로운 운영자가 있다면, 당신은 그렇지 않습니다. 이 새로운 운영자의 효과가 어떨지 예측할 수 없습니다. 그래서, 여기서는 거래가 없습니다.
	그리고 당신이 할 수 있는 한 가지가 있습니다. 당신은 합니다. 당신은 세금 수입을 가져야 하거나, 우리는 다시 기계 학습 기술을 희생해야 합니다.
	그리고 랜덤이 있다면, 랜덤 효과를 무시하는 태그를 가져야 하고, 그렇지 않다면요. 어쨌든, 무시하게 될 겁니다. 좋아하든 싫어하든요. 그래서 제가 하고 싶은 건 슈팅 게임을 덜 시뮬레이션하는 거예요. 점프 로프 낚시를 하죠.
	그리고 당신도 그 결과를 즐기셨으면 좋겠습니다.
	기본적으로 시뮬레이션입니다. 그래서 저는 고정 효과와 임의 효과가 있는 혼합 효과 모델을 사용할 것입니다. 그런 다음 동일한 모델을 사용하여 다음을 추정합니다.
	이에 대한 응답으로 시뮬레이션을 한 후 모델을 만들고 모델링을 하면 여기 신경망과 함께 시뮬레이션 결과가 바로 나옵니다.
	그런 다음 이 모델을 여기의 이 모델의 예측 성능으로 사용합니다.
	벤치마크로 사용하고, 에지 근처의 성능을 예측하는 데 사용합니다. 나중에 테스트 세트를 사용하여 무슨 일이 일어날지 확인하기 위해 제곱을 비교합니다. 여기서 무작위 효과를 찾을 수 있습니다.
	그럼, 좋아요. 가끔 제가 이 사람들에 대해 이야기할 때 선형 혼합 효과 모델과 머신 러닝 신경망을 비교하고 있다고 생각할 때가 있습니다. 그리고 사실은 그렇지 않습니다. 여기서는 무작위 효과가 있는 모델과 없는 모델을 비교하고 있습니다.
	데이터에 무작위 효과가 있는 경우에도 가능합니다. 예를 들어,
	효과가 적용된 선형 모델과 효과가 적용되지 않은 선형 모델입니다.
	그리고 무작위 효과가 있는 신경망을 소변에서 무작위 효과가 없는 신경망과 비교할 수 있습니다. 하지만 문제는 오늘날에는 무작위 효과를 처리할 수 있는 놀라운 것이 없다는 것입니다. 그래서 저는 강제로 사용했습니다. 예를 들어, 모든 선형 혼합 효과
	제 시뮬레이션 요인입니다. 글쎄요, 저는 업계에서 일반적으로 사용하는 것을 사용할 텐데, 프로세스 변수 모델과 혼합된 것입니다.
	제가 그 세 가지 구성 요소를 가지고 있다고 가정해 봅시다. 전에 보여드렸죠. 노란색, 빨간색, 초록색을 알고 있고, 그것들은 퍼센트로 특정 백분율을 가지고 있고, 그것들은 1까지 올라갑니다.
	예를 들어 온도가 될 수 있는 연속 변수가 있습니다. 자본주의 유형일 수 있는 범주형 변수가 있고, 배치마다 매우 보기 흉할 수 있는 무작위 효과가 있습니다. 알겠습니다.
	시뮬레이션 모델입니다. 글쎄요, 꽤 간단한데요. 여기에 제 혼합 주효과 M 1 M 2 3이 있습니다. 그렇죠. 그리고 이 모델 전체에서 고정효과가 모두 1 또는 -1을 가지고 있는 것을 보실 수 있을 겁니다. 저는 무작위로 1 -1을 할당했습니다.
	그래서 저는 혼합된 주효과를 가지고 있습니다. 여기서 저는 혼합된 두 가지 방식의 상호 작용을 가지고 있습니다. 혼합된 상호 작용은 연속 변수가 될 것입니다.
	그리고 범주형 변수와 구성요소의 상호작용. 그리고 마지막으로 범주형 변수와 연속형 변수의 도입.
	그리고 저는 이것들을 가지고 있습니다. 왜 여기서 제 무작위 효과와 제 무작위 오류인 Ej를 선택할까요. 맞아요. 그리고 둘 다 여기서 특정 분산으로 정규 분포됩니다. 저는 말했습니다. 더 나은 실험 간의 분산, 맞아요. 그리고 실험 배치의 매치 내에서 발산을 사용합니다.
	이 프레젠테이션 전체에서 이 전체 공식을 더욱 깔끔한 방식으로 표현하거나 이 형식을 사용하여 영웅 X가 실제로 모든 수정 효과와 베타를 표현하도록 만드는 것입니다.
	내가 사용한 모든 매개변수를 나타냅니다. 맞아요. 그리고 여기 내 왜요. 사실, 예상한 것. 왜 XP가 맞나요? 여기 내 무작위 효과가 없는 이 모든 것이 있고 우리는 내 르노 메이어를 다루었습니다.
	시뮬레이션 매개변수. 글쎄요, 여기 데이터 크기라는 것이 하나 있는데, 맞죠, 그녀가 가진 것. 만약 데이터가 전혀 없다면 어떻게 될까요? 그렇게 많지 않고
	더 많은 데이터 레이어와 더 많은 데이터가 여기에 있습니다. 여기의 모든 실험 세트에서 110,000개의 역할이 두 가지 수준이 있고 실제로 200개보다 완벽한 효과가 있는 20개의 행이 있습니다. 내가 바꿀 또 다른 것은 D가 클러스터의 배지를 결정하는 것입니다. 원하는 대로 하세요.
	가끔은 그럴 거야. 4%와 25%의 두 가지 수준이 있어. 그러니까 4%는 내가 이 경험치 한 묶음의 롤을 100개 가지고 있다면, 우리는
	실제로는 역할에 대한 것입니다. 그래서 저는 2525개의 배치를 갖게 될 것입니다. 만약 제가 배치 크기에서 총 100개의 롤을 가지고 있다면 25%이고 배치는 4개뿐입니다.
	그럼 여기서 우리가 바꿀 다른 변수는 총 분산이 될 겁니다. 맞죠?
	그리고 글쎄요, 여기 두 가지 수준이 있습니다. 포인트, 5, 2.5는 효과의 절반이고 효과 크기를 선택하는 것이 맞습니다. 그래서 여기 공식이 있습니다. 모두 고정 효과에 대한 1입니다.
	그리고 다른 하나는 쓰고 이 총 분산의 합계는 배치 간과 배치 내 분산의 합계입니다. 맞죠? 그리고 마지막으로, 제가 바꿀 또 다른 것은 매우 분산된 두 배치 간의 비율입니다.
	비슷한 세그먼트. 맞아요. 그래서 저는 1과 4를 가지고 있어요. 그래서 하나에서 제
	배치 간 변동은 승리와 동일하고 다른 하나는 승리보다 4배 더 클 것입니다.
	그럼, 내가 정착하면
	여기에는 네 가지 요인이 있습니다. 매개변수라고 말하고 전체 요인을 수행하면 16개의 실행이 올바르게 수행됩니까?
	두 가지 수준의 데이터 크기, 두 가지 수준의 배치 크기, 두 가지 수준의 총 분산. 안젤로의 사막은 그곳이었습니다.
	그러면 세그먼트 내에서 적절하게 계산할 수 있습니다. 그렇죠. 그리고 시뮬레이션을 위한 설정입니다. 좋아요. 이제 시뮬레이션 하이퍼 매개변수라고 부르는데, 우리가 변경할 수 있기 때문입니다.
	제가 할 일은 데모에서 보여드리겠습니다. 30 시뮬레이션 위험 또는 실행입니다. 그래서 제가 한 16가지 중 각각은 각각 30번씩 실행합니다. 맞죠? 그래서 예를 들어,
	시뮬레이션을 123까지 더티까지 실행하고 고정 효과를 위해. 난이도 효과. 공간 느낌 디자인을 사용합니다.
	그리고 제가 이 공간 채우기 디자인을 사용하는 이유는, 그 순간 효과가 누락되는 효과와 자선 단체에 전화하거나 데이터가 희소할 수 있다는 사실을 혼동하고 싶지 않기 때문입니다.
	역사적 데이터에서 전형적인 일이죠. 그렇죠. 저는 제 길 중간에 그런 걸 원치 않아요. 저는 우리가 퍼뜨리는 디자인과 공간 감각 디자인을 선호해요.
	입력 공간에서 고정 효과의 수준입니다. 따라서 데이터를 희소하게 적중하는 문제를 제거하거나 이상한 점을 바로 정리한 다음 배치에 할당하고 첫 번째 라운드에서 실행을 교차하여 배치를 무작위로 지정한 다음 동일한 것을 사용합니다.
	다른 29개 런에 대한 시퀀스입니다. 따라서 모든 런에서 동일한 배치 위치가 있습니다.
	늦게. 그리고 마지막으로, 모든 산타 위치는 모든 시뮬레이션 실행에 대해 무작위로 지정됩니다. 그러니 공중에서 나와서 점프를 시작하겠습니다.
	그래서 그는 이렇게 할 겁니다. 저는 특수 목적의 유출 디자인을 하곤 했습니다. 저는 여기서 빠르게 하고 싶어서 제 요인을 로드할 겁니다. 어쨌든, 여기 제 12345 고정 효과가 있습니다.
	공간감각 디자인은 변수의 혼합을 허용하지 않습니다. 따라서 다음을 설정해야 합니다.
	선형 제약조건은 여기 있는 세 사람을 보고 1이 되어야 한다는 것을 알려주기 위한 것입니다. 그래서 제가 여기서 할 일은 그것입니다.
	괜찮은.
	따라서 만족스러운 제약 조건은 데이터 크기 100, 상대 배치 크기 4%인 이 d의 첫 번째 실행의 예를 제공합니다.
	총 분산 총 분산 5포인트이고 비율은 1이 될 것입니다. 그래서 여기로 돌아가서 100번의 런을 생성해야 합니다. 또한 이 이론을 복제하고 싶다면 랜덤 시드와 시작 횟수를 올바르게 설정해야 합니다.
	그럼 제가 제약조건이라고 말했을 때 제가 가진 유일한 옵션은 빠르고 유연한 충전 설계입니다. 그리고 여기 있습니다. 제가 여기 표를 바로 만들었으니 이 표를 포함할 수 있습니다.
	당신이 보는 한 가지는 3진 차단을 사용하고 세 가지 구성 요소를 사용하는 경우입니다. 모든 것이 퍼져 있는 것을 볼 수 있습니다. 앗.
	여기서 그녀에게 문제가 있습니다
	안했다
	돌아가보죠. 제약에 문제가 있어요. 여기 있는 걸 잊었어요. 그렇죠.
	좋아, 다시 처음부터 시작해 봅시다. 백
	세트
	랜덤좌석 21234
	그리고 숫자가 시작해요. 좋아요.
	다음 책은 테이블을 만들 생각이에요. 네. 그리고 나서 다 펼쳐져 있는지 확인해야 해요.
	그리고 알아내세요. 네. 좋아요, 그럼 여기서 제 범주형 변수를 살펴보겠습니다. 모든 변수에 대해 퍼져 있는지 보고 싶습니다. 보시다시피 1과 2에 대한 것입니다. 좋습니다. 이제 30개의 시뮬레이션을 모두 닫겠습니다. 그러니까 이게 하나의 시뮬레이션이 맞죠. 저는 100개의 역할을 가지고 있습니다.
	하지만 지금은 30개를 해야 합니다. 그래서 여기에 역할을 추가할 것입니다.
	2900
	끝에
	그리고 우리는 1년 동안의 모든 변수를 고려하여 처음 1000번의 실행을 선택합니다.
	그리고 테이블 끝까지 느껴보세요. 좋아요. 이제 같은 디자인을 30번 반복합니다.
	지금,
	더 빠르게 하려면 그냥 열면 됩니다. 하지만 이 테이블을 다시 사용하고 있습니다. 내가 보여주고 싶은 모든 것이 이미 설정되어 있는 다른 테이블을 사용하면 됩니다.
	네, 그래서 저는 이 테이블로 돌아왔습니다. 제가 가진 것이 바로 그것입니다. 제가 할 다음 일은 여기에 시뮬레이션 열을 만들어서 보기만 하면 됩니다.
	이 공식을 사용하면 100줄까지 시뮬레이션을 할 수 있고 이 시뮬레이션은 100줄마다 시뮬레이션 번호를 변경합니다. 그래서 결국 100줄마다 30번의 시뮬레이션을 하게 됩니다. 각각 훌륭합니다.
	그런 다음 배치 위치는 그들이 무엇을 했는지 설명하기 위한 것입니다. 방금 PowerPoint에서 보여드렸습니다. 저는 농장이 있습니다. 이제 전체 데이터 크기의 4% 크기의 배치 두 개를 만들 것입니다. 즉, 배치당 4개의 행이 있고 나머지는 4개입니다. 그리고 일단
	여기서 100까지 가서 시뮬레이션에서 점프하고 있어요. 시뮬레이션을 하고 싶은데 그러면 처음부터 다시 시작하죠. 그렇죠. 그래서 하루가 끝나갈 무렵에.
	여기 25개 배치 전부요. 좋아요.
	그 다음에 내가 할 일은 내 검증을 만드는 것입니다.
	열은 내가 세트를 올바르게 분할해야 한다는 것을 의미합니다.
	이 데모로 돌아가겠습니다. 여기 PowerPoint로 돌아가면 내가 만들려는 솔루션에 대해 알 수 있지만 내가 가지고 있던 뉴런은
	역할이 나뉜다. 60%는 훈련 세트에 속하고 20%는 검증 세트에 속하고 나머지 22%는 테스트 세트에 속한다. 그렇다면 어떻게 해야 할까? 다시 존에게 돌아가서
	이제 가자. 이걸 숨기자
	좋아요, 그럼 여기 검증을 검증해 보겠습니다. 어떻게 하나요? 이미 있는데, 어떻게 하는지 설명하지 말고 분석으로 가세요.
	시뮬레이션 열에 인증이 있는 검증 열을 만들고 이동한 다음 작업을 수행합니다.
	6.5 2.2 포인트와 여기에 사용자가 무작위 시드를 지정하여 내가 그 열을 올바르게 생성하는 방법을 확인할 수 있도록 합니다.
	그럼 제 프레젠테이션으로 돌아가서,
	신년을 위한 훈련 세트에 속하는 60% 전체와 그 10~20%
	근접 넷에 대한 검증 세트에도 속합니다. 이제 둘 다 믹스 효과에 대한 모델링 세트라는 세트에 속합니다. 그래서 믹스 효과입니다.
	모델, 검증은 없을 것입니다. 이 80%와 혼합 효과 솔루션의 테스트 세트로 모델을 추정할 뿐이며, 이는 제가 그 솔루션에서 새해에 사용하는 것과 동일한 20%입니다. 그래서 그 경우, 저는 점프로 돌아가서
	여기로 가세요
	그리고 신경망의 검증이 0이고 훈련이 0이라는 것을 아는 공식을 듣는 것은 정말 좋습니다. 그래서 훈련하고, 계속 훈련하세요.
	하나는 검증 설정으로 모델링이 될 것이고 두 번째는 테스트 세트이고 여기도 테스트 세트가 될 것입니다. 그래서 저는 이것들을 만들었고 그 다음에 당신은
	모든 레이블에 대한 열 이름에서 0은 모델링이 되고 1은 데스크가 됩니다. 이렇게 하면 여기에 숨겨진 것이 무엇이든 여기서 말하는 대로 볼 수 있지만, 검증을 강요하는 것이 바로 모델링이 됩니다. 마지막으로 응답에 대한 수식을 설정해야 합니다.
	그래서 제 시뮬레이션의 기대값에 대해. 저는 여기 효과 공식을 바로 수정해야 합니다. 여기에는 무작위 용어가 없습니다. 알겠습니다. 그리고 그것이 제 기대값입니다. 제 아내와 제 아내 ij는 다음과 같습니다.
	이것과 당신은 내 기대값인 y를 갖는 공식을 볼 수 있습니다. 여기에 생성을 위한 공식이 있습니다.
	무작위
	평균이 0이고 시그마 시그마 사이의 정규 분포를 따르는 값
	시그마 사이. 여기 변수와 테이블 변수로 설정하는 것이 좋습니다. 나중에 공식으로 이동하지 않고도 일주일 후에 값을 변경할 수 있기 때문입니다. 하지만 어쨌든 이것은 배치 번호를 변경할 때마다 단일 값을 생성합니다. 따라서 내 배치가
	여기서는 동일한 값이 되고, 이것을 22로 바꾸면 다른 값이 생성됩니다.
	그리고 내가 한 시뮬레이션에서 다른 시뮬레이션으로 바꿀 때. 그래서 나는 배치당 25에 대한 하나의 값을 가질 것입니다. 25 우리 시뮬레이션 하나, 그리고 시뮬레이션의 배치 하나로 점프했을 때 그것은 또 다른 값을 생성합니다.
	맞아요. 그리고 여기 제가 여기 테이블에 놓은 시그마와 관련된 제 일반적인 난수가 있습니다. 그럼 우리가 실행하는 거래를 복제하는 것을 보세요. 저는 시그마 05와 05를 가지고 있습니다.
	좋습니다. 그럼 이제 바로 전에 했던 혼합 효과 모델 시뮬레이션에 대한 솔루션이 있고, 다시 돌아와서 제가 하고 있는 일을 보여드리겠습니다.
	예를 들어, 혼합 효과 모델의 경우. 제 시뮬레이션 모드는 이렇지만, 제 발은 그 모델이 문제가 될 수 있고 분석이 모자일 수도 있습니다.
	그리고 여기 있는 내 작은 것은 해킹당할 거야, 그렇지? 그러니까, 내가 시뮬레이션한 모든 것에 대한 값을 충족시키는 것이 우리의 해변이야
	그리고 혼합 효과 모델에서. 나는 예측 모델을 덜 가져야 합니다. 하나는 내가 사용할 때 조건부 모델을 맞추는 것입니다.
	내가 무작위 효과를 추정한 것과 다른 하나는 내가 추정하지 않을 때의 한계값입니다. 맞아요. 그래서 저는 이 두 가지 유형의 모델을 가지고 있습니다.
	이건 제가 이미 데이터에서 가지고 있는 것들을 예측하는 데 좋습니다. 그리고 이건 제가 전체 데이터 세트가 없는 주변에서 데이터를 예측하는 데 사용했던 것입니다.
	새해를 맞아, 저는 표준적인 기본 방식을 사용하고 있는데, 끝과 끝에 점프를 하는데, 제가 이걸 사용하는 건 그저 어렵기 때문에 그런 게 아니에요. 거의 다 작동하거든요.
	여기에는 고정된 효과가 모두 5개 있습니다. 여기에서 볼 수 있듯이 저는 3개의 노드가 있는 하나의 레이어를 사용하는데, 모두 쌍곡선 탄젠트 함수입니다.
	그리고 여기에는 hx라는 함수가 있는데, 이는 구역 함수의 합이고, 여기에 편향 항이 있습니다.
	그래서 노드를 더 추가하면 더 나아지지 않을 겁니다. 노드를 두 개만 사용하면 더 나빠질 겁니다. 그래서 이걸 다 쓸 겁니다. 여기서 보여드릴 게 바로 그것입니다.
	내 쇼. 앗. 알았어요.
	보여주다.
	나 너한테 돌아가. 그래서
	여기에 내가 가지고있다
	혼합 효과 모델 솔루션. 어떻게 생각해냈을까요. 보여드리려고요. 여기에 시뮬레이션을 통한 혼합 효과의 검증 검증에 대한 응답이 있습니다.
	내 모든 고정 효과 1년과 내 임의 효과는 내 배치 오른쪽이고 그 다음 유전적 이 첫 번째 시뮬레이션입니다. 시뮬레이션 하나를 보고 시뮬레이션 터키 오른쪽까지 갑니다.
	예를 들어, 여기에서 점프의 시뮬레이션 기능을 사용할 수 없습니다. 모든 배치에 대한 검증 열을 변경하고 있기 때문에 적어도 그 방법을 모르기 때문에 수식에 검증 열을 통합하는 방법을 모릅니다.
	나는 흰색 G.
	그리고. 좋아요. 그럼, 어머, 여기로 돌아와서, 이제 여기에 다른 스크립트가 있고, 당신은 거기에 있고, 조금 걸릴 것입니다.
	큰 문제는 아닐 겁니다.
	예를 들어 제가 이렇게 할 때.
	실행은 당신이 실행합니다. 우리는 시뮬레이션당 1000개의 행을 가지고 있으며, 이는 모든 시간에서 코스를 취할 수 있습니다. 약 10~15분 정도 걸립니다.
	여기에서 동시에 청각 시뮬레이션을 수행하려면 몇 가지가 필요합니다.
	그리고
	이제 봅시다.
	알겠습니다. 다시 말해서, 여러분이 보면 각각 5개의 3개 음표가 있고 시뮬레이션 1에서 시뮬레이션 30까지 있습니다.
	맞아요. 그럼 이제 저는 올해의 달리기를 위해 모든 것을 마쳤어요, 맞아요, 그럼 다음으로 제가 이해해야 할 것은 우리의 사각형의 유형이에요. 저는 바로 거기서 실제로 비교하려고 해요
	여기 제곱의 다섯 가지 유형이 있습니다. 맞아요, 여기 r 제곱 공식이 있습니다. 왜, 왜 di 제곱을 유형별로 구분할까요? 이 공식에서 실제와 예측을 어떻게 사용하느냐에 따라 달라지거든요.
	당신은 당신의 제곱 변화를 알고 있습니다. 예를 들어, 저는 여기에 있습니다. 오, 이것들은 r 제곱의 유형이거나 비교합니다.
	예를 들어, 훈련 세트를 돌리는 Rosa. 내가 시뮬레이션한 것과 여기 신경망에 대해 얻은 형태는 당신이 그 안에 있을 때입니다. 그리고 알다시피, 그것은 실제로
	예를 들어, 이 세 가지 모두의 경우는 같은 것입니다. 왜냐하면 저는 제 아내와 제 아내의 모자를 비교하고 있기 때문입니다. 그래서 저는 8형을 가지고 있습니다.
	그런 다음 다른 유형의 호출 유형이 있는데, 여기서 비교합니다. 저는 시뮬레이션된 값을 비교하지 않습니다.
	무작위 오차 항의 무작위 효과 나는 내 시뮬레이션의 기대값과 그들이 가는 형태를 비교하고 있습니다
	그래서 이것들은 저를 테스트 세트 규칙으로 보냈습니다. 항상 r 제곱을 계산하는 방식이 바뀔 것이기 때문에 이런 방식으로 변경됩니다.
	제가 조건부 테스트 세트라고 부르는 것이 있을 때, 부모의 미래 성과를 봅니다. 왜냐하면 그것이 바로 어떤 데이터 세트가 있을 때 우리가 얻는 것이기 때문입니다. 왜냐하면 우리는 실제를 말할 수 없기 때문입니다.
	시뮬레이션해야 하는 실제 모델이 없고 예상 테스트 세트가 있는데 이는 실제로 동일한 장미이지만 이제 비교하고 있습니다.
	기대값. 그리고 더 나은 단어가 없어서, 진짜 미래 성과라고 말할 수 있어요. 그러니까 겉보기에 수행된 것이 반드시 진짜 미래 성과는 아니에요. 알았어요.
	혼합 효과 모델의 경우도 마찬가지입니다. 이제 또 다른 유형의 r 제곱이 있는데, 여기서 시뮬레이션된 값과 내 값을 비교하고 있기 때문입니다.
	조건부 예측 농경지는 여기에 있고, 무작위 효과에 대한 추정치를 사용하지만, 미래를 예측하고 싶을 때. 그래서, 글쎄요, 아무도 테스트 세트를 깨지 않고 여기 두 조건을 모두 설정하지 않고, 여기에 또 다른 사각형 d가 있는데, 이것은 I에 대한 전체 시뮬레이션 값을 비교하는 것입니다.
	여기서 ij와 내 한계 모델이 왜 다른가요? 저는 여기 옳고 Leslie가 제 예상대로 보낸 다섯 번째 유형의 제곱을 갖는 것을 사용하지 않습니다.
	다시 말하지만, 테스트 세트는 항상 같은 역할이고, 여기서 내가 사용하는 것입니다. 이제 기대값 대 내 마진입니다. 많습니다. 그래서 문제는
	조심하지 않으면 잘못된 사람 r 제곱을 계산할 수 있습니다.
	그래서 내가 하는 일은, 내가 여기 있을 때마다. 그리고 내가 효과 모드를 혼합해야 한다면. 나는 이 보고서에 있는 어떤 것도 사용하지 않고, 내가 하는 일은 여기 열을 저장하는 것뿐이다.
	여기서 Marginal 모델 오른쪽 예측 농장은 조건부 모델 오른쪽의 예측 공식을 저장했으며 혼합 효과 모델에 대한 이 무형식 열을 만들 것입니다. 이제
	그 근처에 있거나 공식을 저장할 수도 있습니다. 저는 제곱으로 계산하고 싶기 때문에 fest 공식이라고 말하고 싶습니다. 그래서 저는 빠른 공식으로 저장했고, 그런 다음 여기 5개의 열을 만들 때 보이는 것입니다.
	좋습니다. 그럼 그들에게 가보겠습니다.
	그래서 지금 제 타입 A, 여기 프레젠테이션에서 타이페이를 기억한다면, 저는 그 모델에서 시뮬레이션된 why ij와 제 near를 비교하고 있습니다. 그래서 제가 여기서 하는 일은 다음과 같습니다. 죄송합니다. 제가 여기서 하는 일은 다음과 같습니다.
	나는 그들을 정보라고 부르러 가고 당신은 여기를 봅니다. 무엇을 예측하고 dy AJ를 예측합니다.
	좋아요, 여기 있습니다. 이제 여기 De Niro를 구하고 두 배로 가치가 이 가치와 같습니다.
	하지만 지금은 여기서 예측하는 것을 바꿀 것입니다. 이것은 예상 값을 예측하는 것입니다. 맞아요, 그래서 이 공식을 사용할 수 있고, 여기로 점프하면 모델 비교가 되는데, 이 유형 A를 사용할 수 있고 시뮬레이션을 구매하고 검증을 통해 성장했습니다.
	그리고 당신이 얻는 것은 무엇입니까? 그것은 모두 당신이 필요로 하는 Dr Squares입니다.
	에서 보기
	시뮬레이션 1에서
	시뮬레이션 30까지 모두 설정해 두면 나중에 데이터 테이블을 결합할 수 있고 모든 것이 깔끔하게 정리됩니다. 맞죠? 제곱이기 때문입니다. 그래서 다른 것들에 대해서도 예를 들어 여기에 스크립트가 있습니다.
	그는 평화 공식이었습니다. 지금 바로 이 칼럼에서, 저는 테스트 세트에 대한 r 제곱만을 예측했을 뿐, 모델링이나 검증 세트에 대해서는 예측하지 않았습니다. 그래서 시뮬레이션입니다. 1년입니다.
	그리고 여기 맨 아래까지 내려가면 시뮬레이션 30이 있습니다. 그리고 다시 말하지만, 항상 데이터 테이블을 결합할 수 있으며, 이 모든 것이 정사각형인 경우 데이터는 동일한 테이블 형식으로 나옵니다.
	그리고 다니엘, 여기에 혼합 효과 모델의 모델링 세트를 선택하고 시뮬레이션 1에서 현대적 세트인 시뮬레이션 30까지 타입 공동 화재 사각형에 대한 다른 스크립트를 넣을 수 있고, 알다시피 똑같은 작업을 할 수 있습니다.
	이제 테스트 세트를 살펴보겠습니다. 하지만 이제 ij가 왜 그런지 예측하고 있습니다. 그렇죠. 그래서, 여기서 비밀은 호수에서도 가끔은 하나를 가지고 있다는 것입니다. 여기서도 저는 같은 공식을 가지고 있는데, 그것이 제 한계 모델이기 때문입니다.
	혼합 효과 모델 솔루션. 바뀐 것은 당신의 열에 있는 것뿐입니다. 예측하는 것이 무엇인지 확인하고 이것을 사용하여 이 모든 것이 제곱인지 계산할 수 있습니다.
	괜찮은.
	프레젠테이션으로 돌아가서 이제 모든 사각형을 모았으므로 표를 쌓은 다음 시각화를 수행할 수 있습니다.
	하지만 여기서 제가 정말 관심이 있는 것은 두 솔루션의 조건부 테스트 세트와 여기에 나와 있는 예상입니다. 이 표에 대한 설명만 해도 45분은 걸릴 겁니다.
	하지만 저는 r제곱의 절대값에 관심이 있는 것이 아니라 우리의 제곱을 비교하는 비교적적인 방법에 더 관심이 있습니다.
	하지만 여기서 볼 수 있듯이 데이터 크기가 여기 있는 한 가지를 확인하는 데 며칠이 걸립니다.
	여기 포인터를 사용하세요. 더 쉽게 만들어 보세요. 저는 모든 사각형을 가지고 있습니다. 저는 여기 모든 do you 요인과 대조하여 만들었습니다. 맞아요.
	그러니까 제가 작은 데이터 세트를 가지고 있을 때 일어나는 일은, 제가 근처에 있고 제 훈련이 올바르게 진행되고 있다는 것입니다.
	그리고 제 검증 세트는 우리의 제곱 분포가 겹치는 종류입니다. 하지만 조건부 테스트 세트를 보면, 실제로는 우리가 항상 옳게 가지고 있는 데이터인데, 기대값을 결코 가지지 않기 때문입니다.
	작은 데이터 집합을 가질 때는 항상 모든 것을 다 볼 수 있듯이 낮은 수준에 있지만, 더 큰 데이터 집합을 가질 때는 항상 그렇습니다.
	1000개의 역할이 있는 상황은 다릅니다. 그러면 모두 정렬되고, 일종의 중복이 생깁니다. 그래서 저는 이것들을 올바르게 훈련시켰습니다. 다시 말하지만, 여기 제곱의 절대값은 별로 관심이 없습니다. 그들이 정말로 신경 쓰는 것은 어떻게 돌아가는지입니다.
	여기 이전 슬라이드 중 하나에서, 지금 비교하고 싶다는 것을 알 수 있습니다. 알다시피, 저는 당신이 제 벤치마크 혼합 효과 모델과 제 신경망의 예측 성능을 비교하고, 그 어두운 사각형을 테스트하기를 원합니다. 그럼, 여기 당신이 얻는 것이 있습니다.
	이 틀을 가져오게 해주세요. 그러니까 여기서 당신이 얻는 것은 다시 모든 동사입니다. 나는 우리가 하는 것에 대해 가지고 있었고, 그들이
	질병과 순 솔루션 또는 혼합되지 않은 효과 솔루션. 그러니까, 성능의 한 부분인 조건부 테스트 세트에 대해 볼 수 있습니다. 그래서 그 동안에 있다면 데이터 크기가 작을 때를 항상 알 수 있습니다.
	혼합 효과 말타는 당신이 포함하면 항상 여기서 더 나은 일을 합니다.
	무작위 효과는 바로 그때 당신이 있고 그것은 항상 이것이 있기 때문입니다.
	그들의 중간값 또는 평균은 모두 더 높지만 더 큰 데이터 세트가 있는 경우에는
	어느 지점까지는 그런 차이가 더 이상 존재하지 않는다는 걸 알고 있습니다. 심지어 새로운 제품이 더 나은 성과를 보이고 있지만, 그것이 현재의 성과입니다.
	이제 진짜 모델입니다. 이제 혼합 효과 모델이 행위 대 인터넷보다 더 나은 역할을 했다는 것을 알 수 있습니다.
	그리고 여기에는 더 이상, 아시다시피, 심지어 근거도 없습니다. 왜냐하면 결국 직접 효과 모델이기 때문입니다. 그는 특히 빅데이터, 더 큰 데이터인 이 시나리오에서 더 나은 일을 하고 있습니다.
	마지막 세트 또는 변동성과 현재 초대된 것들 사이에 더 많은 것들이 있습니다. 여기에 있는 줄들을 찾아서 이것을 할 것입니다. 이것은 모든 시뮬레이션 실행에 대해 할 것입니다. 이것은 믹스 효과 사이의 차이를 할 것입니다.
	R 제곱 대 신년 그리고 제곱입니다. 그럼, 여기 있습니다.
	여기 네 개의 플롯이 있는데, y축에 있는 것은 에어컨 사각형입니다. 그런 다음, 에어컨 사각형의 차이를 뺀 혼합, 죄송합니다.
	혼합 효과 r 제곱에서 빼면 그 제곱에 있습니다. 그러니까, 여기서 얻는 것이 바로 그것이고, 그것이 미래 성과에 대한 패턴의 차이입니다.
	그리고 여기 x축에서, 당신이 가진 것은 예상 R 제곱의 차이입니다. 우리는 당신의 실제 미래 성과를 선택합니다. 맞죠? 아니면 편향이죠. 당신이 원한다면
	이제 네 개의 블록이 있습니다. 왜냐면, 기술이 없는 과거 데이터가 있을 때를 생각해보면,
	데이터를 분석할 때 데이터 크기와 상대적 배치 크기, 이 두 가지를 제어할 수 있을 겁니다.
	왜냐면, 당신은 당신의 데이터에서 변동성이 어떻게 될지 통제할 수 없기 때문입니다. 그리고 당신의 무작위 효과가 당신의 무작위 공기보다 훨씬 더 클 것이라면. 그래서 당신이 가능한 유일한 두 가지
	데이터 크기와 상대적 배치 크기를 제어할 수 있습니다. 태그가 없더라도 적어도 과거 데이터를 사용할지 여부에 대한 아이디어를 얻을 수 있습니다.
	많은, 많은 침실로 구성되어야 하고, 배치가 하나 또는 두 개여야 합니다. 맞아요. 그래서 그게 당신이 가진 종류의 통제입니다.
	통계 데이터가 있으면 적어도 배치 크기에 대한 아이디어를 가질 수 있습니다.
	제가 여기서 비교하는 것은 겉보기에 성능에 차이가 있다는 것이 아니라 긍정적인 차이입니다. 즉, 혼합 효과 모델이 더 나은 성능을 보인다는 뜻입니다.
	만약 여기의 이 차이가 긍정적이라면, 그것은 더 나은 미래 성과로서 혼합 효과를 의미하죠, 맞죠.
	그리고 여기서 볼 수 있듯이 작은 데이터 세트가 있을 때는 무엇을 하든 상관없습니다.
	그리고 혼합 효과 모델은 더 나은 성능을 보이고 때로는 훨씬 더 뛰어납니다. 왜냐하면 R 제곱의 차이에 대해 이야기하면 그 차이가 1을 훨씬 넘을 수 있기 때문입니다.
	맞아요, 그래서 그는 당신이 하나 또는 미래의 하나에 냄비를 넣으면 훨씬 더 나은 성능을 얻고 있습니다. 그래서 데이터 크기가 작을 때는 실제로 없습니다.
	아니요, 여기에는 해결책이 없습니다. 하지만 데이터 크기를 보면 더 큰 데이터 측면이 맞지만 배치의 양이 작을 때는 그렇습니다. 맞죠.
	여기서 재밌는 일이 일어나는 이유는 여기서 충분한 자금 조달과 미래 성과의 차이가 있다는 것을 알 수 있기 때문입니다. Y축은 대부분 음수입니다.
	이는 특허에 관한 테스트 세트 타흐리르 광장에서 더 나은 작업을 수행하는 것과 가깝다는 것을 의미합니다.
	그 어두운 사각형을 만져. 그럼, 당신이 그것을 할 때. 누가 새로운 소변처럼 보일 것인가. 그것은 훌륭한 일이 될 것이다.
	혼합 효과 모델. 하지만 x축의 많은 부분을 보면, 바로 실제 미래 성과의 차이인데, 꽤 오해의 소지가 있습니다.
	맞아요, 여기서는 데이터가 많을 때, 하지만 배치가 몇 개뿐일 때는, 알다시피, 좋은 테스트, 테스트 세트가 정사각형이 될 거예요. 하지만 나중에 몰드를 배포하려고 할 때는요.
	문제가 생길 수도 있습니다. 하지만 여기서 보면, 여기에는 많은 데이터와 많은 배치가 있는 완화 상황이 있습니다. 그래서 그들은 그렇게 크게 다르지 않은 경향이 있습니다. 그렇죠, 그래서
	결론적으로, 데이터 세트가 작을 때는 무시할 수 없는 무작위 효과가 있는 머신 러닝을 사용해야 하며, 테스트 세트의 예측 성능은 매우 낮을 가능성이 높습니다.
	그럼에도 불구하고, 배치 클러스터가 몇 개나 있든. 그리고 그것은 머신 러닝이 성공을 위해 최소 데이터 크기를 요구하기 때문입니다. 맞아요. 그래서 아무것도 없습니다.
	여기서는 게임에서 이길 방법이 없습니다. 이제 데이터 크기가 크고 클러스터가 몇 개뿐일 때입니다. 테스트 세트가 성능이 좋을 수 있다고 예측하기 때문에 이는 오해의 소지가 있는 상황입니다. 하지만 나중에 모델을 배포할 때 Brewer가 될 가능성이 큽니다.
	어떤 사람들은 나에게 이렇게 말합니다. "정규화를 사용하지 않는 이유가 뭐죠?" "정규화를 사용하더라도 이런 상황에서는 사용하지 않을 겁니다."
	귀하의 테스트 세트 R 제곱은 좋을 수 있지만 그것이 옳은지 알 수 없으므로 알 수 없습니다.
	테스트의 어두운 사각형이나 어떤 종류의 오류를 살펴보면 장기적인 미래 성과가 어떻게 될지 알 수 있습니다.
	하지만 데이터 세트가 크고 많은 클러스터가 있으면 전체 상황이 완화되고 더 가까운 종류의 편향 효과는 모든 무작위 효과의 합산으로 평균화됩니다.
	0입니다. 따라서 최신 정보를 최대한 많이 얻을 수 있습니다.
	맨 위에, 알다시피, 제가 배운 것 중 하나는 데이터가 의도적으로 설계되지 않았을 때 항상 기억하는 두 가지가 있다는 것입니다.
	기계 땅은 데이터가 크다고 해서 다룰 수 없습니다. 작동하려면 최소한의 디자인이 필요합니다.
	하지만 데이터가 클수록 최소한의 디자인 수준이 순전히 우연의 일치로 이미 데이터에 존재할 가능성이 커집니다. 알겠습니다. 그리고 연락을 원하시면 감사합니다. 저희는 점프 커뮤니티에 있습니다. 이것이 저희 주소입니다. 감사합니다.

무작위 효과의 영향을 받는 데이터에 머신 러닝을 사용하면 어떻게 될까요? 게다가 이 무작위 효과에 대한 태그가 없다면 어떨까요? JMP로 시뮬레이션해보고 확인해 봅시다!

고급 통계 모델링기본 데이터 분석 및 모델링소비자 및 시장 조사데이터 블렌딩 및 정리실험 설계대량 맞춤형예측 모델링 및 머신 러닝품질 및 공정 엔지니어링신뢰성 분석