Machine learning is the current buzz-phrase meant to encompass the computer algorithms used to make decisions, predictions, or classifications based on data.Machine learning is the current buzz-phrase meant to encompass the computer algorithms used to make decisions, predictions, or classifications based on data.Machine learning is the current buzz-phrase meant to encompass the computer algorithms used to make decisions, predictions, or classifications based on data.Machine learning is the current buzz-phrase meant to encompass the computer algorithms used to make decisions, predictions, or classifications based on data.기계 학습은 데이터를 기반으로 의사 결정, 예측 또는 분류를 수행하는 데 사용되는 컴퓨터 알고리즘을 포함하는 최신 유행어입니다.
내가 가입했을 때 JMP 2014년에 나는 농업 실험과 혼합 모델링 분야에서 오랜 역사를 자랑하는 학교에서 통계학 박사 학위를 마치고 신선하게 왔습니다. 현명한 계획을 통해 받은 정보를 최대화하도록 고안된 소규모 실험, 거의 항상 분석을 위해 혼합 모델 기술이 필요한 일부 실험 설계 기능(가장 간단한 것은 분할 플롯 설계임), 어떤 치료가 최상의 결과를 가져오는지. 이것은 내가 함께 일한 과학자가 동물 과학, 곤충학, 식품 과학 또는 교육 분야에 있든 상관없이 사실이었습니다.
JMP에 도착한 직후 빅 데이터에 대한 입소문이 그것의 절정 . 그로부터 몇 년 후 기계 학습이 부상했습니다. 기계 학습의 부상이 빅 데이터의 부상을 뒤따른 것은 놀라운 일이 아닙니다. 사람들은 수집한 모든 데이터로 무엇을 해야 했을까요? 물론 기계 학습 도구 상자의 도구를 사용하여 분석하십시오.
내 정규 교육은 특별히 이러한 것들에 대해 저를 설정하지 않았지만 통계학자 개발자로 경력을 시작하면서 이러한 주제는 제가 속도를 높이고 빠르게 얻는 데 필요한 것이었습니다! 그래서 나는 새로운 주제에 첫발을 내딛을 때 요즘 모든 학생들이 하는 일을 했습니다. 위키백과 .
“ 기계 학습 이다 학제 간 제공하기 위해 통계적 기법을 사용하는 분야 컴퓨터 시스템 "학습"(예: 특정 작업에 대한 성능을 점진적으로 향상)하는 능력 데이터 , 명시적으로 프로그래밍하지 않고.”
이것은 약간 충격적이었습니다. 컴퓨터 시스템이 명시적으로 프로그래밍하지 않고 무엇이든 "학습"하는 것이 어떻게 가능합니까? 우리는 달성하지 못했습니다 스카이넷 , 그러나 나는 알고 있다! 계속 파헤칠 시간입니다. 브리태니커 백과사전 "라고 말합니다. 기계 학습 , 인공 지능(컴퓨터 과학의 한 과목)에서 자율적으로 학습할 수 있는 컴퓨터 소프트웨어의 구현과 관련된 학문.”
이제 나는 정의에서 통계에 대한 연결을 잃었지만 적어도 자율적으로 학습할 수 있는 소프트웨어를 구현하는 데 관심이 있다는 것이 더 분명해졌습니다. "명시적으로 프로그래밍하지 않고"는 일단 데이터가 알고리즘에 전달되면 알고리즘이 우리의 추가 지시 없이 나머지 작업을 수행한다는 사실을 의미합니다.
이러한 정의와 이 문구의 일반적인 사용에 대한 제 인식을 바탕으로 저는 머신 러닝이 데이터를 기반으로 결정, 예측 또는 분류를 내리는 데 사용되는 컴퓨터 알고리즘을 포함하는 최신 유행어라고 생각하게 되었습니다.
감독 대 비지도 학습
그렇다 JMP 기계 학습을합니까? 전적으로! 그리고 우리는 기술적으로 첫 번째 버전부터 가지고 있습니다! 1989년에 우리가 그렇게 시대를 앞서갔습니까? 그렇게 생각하고 싶습니다. 하지만 사람들이 기계 학습이라고 말할 때 생각하는 알고리즘에 대해 더 자세히 살펴보겠습니다.
일반적으로 기계 학습 알고리즘은 지도 학습과 비지도 학습의 여러 유형으로 분류됩니다. 지도 학습을 통해 알고리즘은 예측 변수(X 열) 및 응답(Y 열) 모두와 함께 작동합니다. 사용된 훈련 데이터는 예측 변수의 주어진 값에 대한 응답이 무엇이어야 하는지를 알려줌으로써 알고리즘을 "감독"합니다. 비지도 학습에서는 예측 변수만 알고리즘에 의해 사용되며 모든 패턴은 예측 변수에 의해서만 결정됩니다. 제공된 "진실"이 없으며 사실 우리는 "진실"을 모를 수도 있습니다.
JMP의 어떤 기계 학습 알고리즘이 어떤 범주에 속합니까?
감독
|
감독되지 않은
|
의사 결정 트리 *
|
클러스터링
|
신경망 *
|
자가 조직화 지도
|
부트스트랩 숲 *
|
연관성 분석
|
회귀
|
특이값 분해
|
K 최근접 이웃 *
|
|
나이브 베이즈 *
|
|
* 이러한 플랫폼의 일부 기능은 다음과 같습니다. JMP 프로 오직.
많은 사람들이 목록에서 회귀를 보고 놀랐으며 일반적으로 기계 학습으로 생각되는 것은 아니지만 지도 학습의 가장 간단한 형태입니다. 그리고 Fit Y by X는 JMP 1에 포함되었습니다! 클러스터링은 JMP 3에 추가되었고 기계 학습 옵션은 그 이후에도 계속 제공되었습니다.
이러한 알고리즘 중 하나 이상에 익숙한 사용자는 이들 사이의 유사성을 알 수 있습니다. 많은 모델이 놀라운 예측 정확도를 제공하지만 계수 또는 컷오프가 의미하는 바를 설명하려고 하면 그렇게 하기가 어려울 것입니다. 예측에 도달하기 위해 컷 포인트를 통해 의사 결정 트리를 따라갈 수 있지만 그 컷 포인트가 있는 곳에 내재된 의미는 없습니다. 신경망 모델의 매개변수 추정값이 "실제 세계"에서 무엇을 의미하는지 전혀 모르지만 신경망은 최고의 예측 수행 기계 학습 모델 중 일부입니다.
반대로 회귀 모델은 사용자에게 고유한 의미가 있는 매개변수 추정치를 제공합니다. 계수가 양수이면 해당 예측 변수의 값을 한 단위 늘리면 반응이 계수 값만큼 증가한다는 것을 알고 있습니다. 이것은 Galit Shmueli 박사가 언급한 것과 관련이 있습니다. "설명할 것인가 예측할 것인가?" 이 트레이드 오프에서 가장 좋은 절충안 중 하나는 Fit Model 플랫폼의 일반화 회귀 특성에 있습니다. 제 동료인 Clay Barker가 논의한 것처럼 Lasso 또는 Elastic Net을 사용하면 예측 성능이 향상되지만 여전히 모델을 설명할 수 있습니다.
그러나 해석 가능성의 부족이 문제가 됩니까? 그럴 수도 있고 아닐 수도 있고. 사용 사례가 미래 이벤트에 대한 가장 정확한 예측을 달성하는 데 엄격하게 초점을 맞추는 경우 해석 가능한 모델이 필요하지 않습니다. 반면 이해 관계자가 "점수를 향상"하는 보다 구체적인 방법을 원하는 경우 설명 가능한 모델이 선호될 수 있습니다. 모든 모델의 핵심은 결과를 행동으로 옮길 수 있는가입니다.
인간은 여전히 필요하다
이것은 나의 마지막 요점을 제시합니다. 컴퓨터 알고리즘이 할 수 있는 모든 놀라운 일에도 불구하고 더 높은 수준의 질문을 처리하려면 인간 분석가가 여전히 필요합니다.
- 분석에 포함하거나 제외해야 하는 데이터는 무엇입니까? 일부 알고리즘은 중요한 변수를 선택하는 기능이 있지만 처음에 컴퓨터에 변수가 제공되지 않으면 예측 가능성이 높아도 선택되지 않습니다!
- 수익 감소의 지점은 어디입니까? 모델이 필요한 시간 내에 실행하기에 너무 복잡하다면 유용하지 않을 것입니다. 아마도 덜 복잡한 모델이 거의 동일한 결과를 제공하고 빠르게 실행할 수 있습니다. 이에 대한 잘 알려진 예는 Netflix 상 수상자입니다. 우승 모델은 거의 모든 사람이 예상한 것보다 더 나은 성능을 보였지만 필요한 데이터의 양과 처리로 인해 Netflix가 사용자가 다음에 시청해야 할 것을 제안하는 데 필요한 실시간 환경에서 실행할 수 없었습니다.
- 모델에 내재된 편향이 있습니까? 분명히 컴퓨터 알고리즘은 인간이 가지고 있는 편향을 가지지 않지만, 알고리즘이 편향된 특성과 높은 상관 관계가 있는 모델을 생성할 수 있습니다. 모기지 대출에는 대출 결정을 내리는 데 사용할 수 없는 특성이 있습니다. 그러나 불법적인 요소와 높은 상관관계를 가질 수 있는 몇 가지 법적 요소가 있습니다. 알고리즘은 인종이 데이터의 직접적인 일부가 아니더라도 특정 민족을 거의 완벽하게 거부하는 모델을 생성할 수 있습니다. 그 모델은 법적 결과를 초래할 가능성이 있습니다.
- 모델을 언제 업데이트해야 합니까? 모델링의 요점은 우리가 조치를 취할 수 있는 일종의 출력을 생성하는 것이기 때문에 해당 조치가 취해지면 모델을 업데이트해야 합니다. 구현된 변경 사항이 모델에 대한 향후 입력에 영향을 미치기 때문에 이 업데이트가 필요합니다. 이전 모델을 계속 사용하면 원래 데이터의 범위를 넘어 외삽할 위험이 있습니다. 모델을 업데이트해야 하는 시점은 인간만이 답할 수 있는 질문입니다.
~ 안에 내 다음 게시물 , 내가 가장 좋아하는 두 가지 기계 학습 알고리즘인 K Nearest Neighbors와 Naïve Bayes에 대해 말씀드리겠습니다. 그리고 제가 직접 수집한 몇 가지 재미있는 데이터에 대해 이 두 가지 방법을 살펴보겠습니다.
