AI가 점점 대중화되는 시대에 머신러닝은 중요한 역할을 합니다.대부분의 사람들은 완성된 제품이나 컨셉을 봅니다.실제로는 그 이면의 방법이 핵심입니다. 기계 학습은 또한 알고리즘 측면에서 두 가지 범주를 구분합니다. 지도 학습 그리고 비지도 학습 . 일반적인 기계 학습 방법은 다음과 같이 분류됩니다.
지도 학습
|
비지도 학습
|
결정 트리
|
클러스터링
|
신경망
|
자기 조직화 지도
|
랜덤 포레스트
|
상관관계 분석
|
회귀 분석
|
특이값 분해
|
K 가장 가까운 이웃
|
|
나이브 베이즈
|
|
존재하다 지도 학습 중간, 일반용 신고됨 훈련용 데이터 세트, 지도 학습은 주로 다음 용도로 사용됩니다. 분류 및 회귀 관계 설정 ;보다는 지도 학습 사용 라벨이 지정되지 않은 데이터 학습의 목적은 데이터에서 일부 구조나 패턴을 발견하는 것입니다. 대부분은 다음과 같은 용도로 사용됩니다. 클러스터링 그리고 차원성 감소 우수한.
기계 학습 이해: 신경망 접근 방식
오늘은 지도학습에서 자주 듣게 되고 오랜 발전의 역사를 가지고 있는 신경망에 대해 소개하겠습니다.JMP에서 사용하는 신경망은 다음과 같습니다. ANN(인공 신경망) 인공 신경망 방법 , 인체에 비하면 뉴런의 개념입니다. 뉴런에는 세포체, 수상돌기, 축삭이 포함됩니다. 수상돌기의 주요 기능은 다른 뉴런으로부터 신호를 받는 것입니다. 이 신호는 시냅스를 통해 수상돌기로 전달되며, 수상돌기는 수신된 신호는 통합되어 추가 처리를 위해 뉴런 세포체로 전달됩니다. 축삭은 주로 뉴런의 출력 신호 전송을 담당합니다. 뉴런이 활성화되면 축색돌기를 통해 다른 뉴런으로 신호를 전달하는데, 시냅스는 두 뉴런 사이의 접촉점으로, 이를 통해 신경전달물질을 통해 뉴런 간에 신호가 전달될 수 있으며, 각 시냅스는 신경망의 무게. (그림 1)
그림 1
신경망(그림 1-2)에서 퍼셉트론은 입력, 가중합, 활성화 함수(활성화 함수), 출력을 포함하는 중요한 구성 요소입니다. 여기서 출력 = 활성화 함수 ( ∑ 나 ( 승 나 × 엑스 나 ) + 비 ) , 위 는 가중치, xi는 입력값, b는 편향(bias) 다음은 단층 신경망의 개략도이며, 활성화 함수가 선형 함수인 경우의 단순 다중 선형 회귀식이다(그림 2).
그림 2: 활성화 함수가 선형 함수인 경우의 단순 다중 선형 회귀 표현식
삼 친절한 JMP 내에서 사용되는 활성화 함수
- 탄H:
: 쌍곡선 탄젠트 함수는 -1과 1 사이의 S자형 함수입니다. 이는 로지스틱 함수의 중앙 집중화 및 스케일링 버전으로, 여기서 x는 입력 변수의 선형 조합(그림 3)이고 출력은 중앙 집중화되어 있습니다. Y가 범주형 변수이거나 비선형 관계인 경우 흔히 사용되는 활성화함수이기도 한 활성화함수로 사용할 수 있는데, 양 끝의 극값 -1과 1의 기울기가 0에 가까워서 학습 속도가 느려질 수 있습니다.
그림 3: 선형 조합
- 선형: 항등 함수라고도 하며 변수 변환 프로세스(그림 4)를 거치지 않습니다. 즉, 다음과 같습니다. 변수는 선형 관계를 나타내며 일반적인 사용 시나리오는 입력 변수의 차원을 줄이는 것입니다. .
그림 4:
- 가우스: 가우스 함수:
, 비선형 함수인 Radial Basis Function에 속하며 반응 평면이 가우시안 평면일 때 적용 가능합니다(그림 5). 단점은 가중치 업데이트 속도가 느리기 때문에 훈련의 효율성과 효과에 영향을 미칩니다. Tanh에 비해 빈도가 낮습니다.
그림 5-1:
그림 5-2:
다음으로 JMP에서 신경망을 설정하는 방법을 설명하겠습니다. (그림 6)
그림 6
초기 검증 방법(Initial Validation Method)은 훈련 세트와 검증 세트의 모델 설명 능력을 평가하는 데 사용되며, KFold는 검증을 위해 모든 데이터를 사용하고 다중 추정치를 제공하므로 안정성에 도움이 되는 KFold와 Holdback의 두 가지 교차 검증 방법을 제공합니다. 모델 평가의 경우, 작은 샘플에 대해 편향된 결과를 피할 수 있고, 실행 시간이 길고, Holdback 실행 시간이 짧지만 데이터 검증은 상대적으로 높은 가변성을 갖습니다.
아래의 Number of Tours는 모델이 전역 최적값이 아닌 로컬 최적값에 빠지는 것을 방지하기 위해 모델 훈련 과정을 다시 시작하는 횟수를 나타냅니다. 히든 레이어 설정 측면에서 JMP Standard Edition은 단일 레이어 히든 레이어를 제공합니다. JMP Pro는 이중 레이어 히든 레이어 설정을 제공합니다. 다양한 유형의 변수 및 수많은 데이터 소스와 같이 데이터 구조가 복잡하거나 데이터가 계층적, 순차적인 경우 복잡한 비선형 관계를 탐색하기 위해 더 많은 히든 레이어를 사용하는 것이 일반적입니다. ; 여러 노드를 설정하는 목적은 더 많은 패턴을 학습하기 위한 것이며, 입력 변수가 많아지면 설정해야 할 노드를 개선해야 합니다.
Overfitting에 대해 JMP는 다음과 같은 Penalty Method를 제공합니다.
(제곱): 대부분의 입력 변수가 모델에 영향을 미친다고 가정할 때 사용됩니다.
(절대) 또는
(Weight Decay): 입력 변수가 많지만 그 중 일부만 모델에 영향을 미칠 것으로 예상되는 경우에 사용됩니다.
JMP는 입력 변수를 대략적인 정규 분포로 변환하는 공변량 변환과 같은 변수 변환 옵션도 제공합니다. 변환의 이점을 통해 훈련 수렴 속도가 빨라지고 기울기가 사라지는 것을 방지할 수 있습니다. 1 마찬가지로, 출력 변수에 치우친 분포, 두꺼운 꼬리 등이 있는 상황에서는 Robust Fit 옵션을 사용하여 이상치의 영향을 피할 수 있습니다.
모델을 피팅하는 과정
위의 설명을 바탕으로 모델을 피팅하는 과정을 간략하게 설명하면 다음과 같습니다.
우도 함수와 페널티 함수를 사용하고 BFGS라고도 알려진 준뉴턴 반복 방법을 사용합니다. 2 방법은 손실함수와 페널티함수(고려할 경우)가 최소값에 도달하는 지점을 찾아(그림 7) 매개변수 가중치를 조정하는데, 일반적으로 약 20~50회 정도 교차검증을 통해 최소점을 찾을 수 있다.
그림 7
JMP가 모델을 피팅할 때 선택할 수 있는 부스팅 방법도 있습니다. 학습률은 0과 1 사이이며 피팅할 모델 수를 조정할 수 있습니다. 일련의 작은 모델을 합산하여 형성합니다. 최종 모델에서는 적합 모델의 수와 교차 검증 후 전체 모델 해석성이 더 이상 향상될 수 없는지 여부를 고려하여 이전 모델의 오류를 기반으로 각 소형 모델을 적합시킵니다. 단일 히든 레이어와 하나 또는 두 개의 노드가 설정되어 모델의 정확도를 향상시킬 수 있는 장점이 있습니다. (그림 8)
학습률 및 모델 수 설정은 일반적으로 학습률이 1에 가까울수록 모델 수는 적어야 하며 Boosting 방식을 사용하여 작은 모델을 복잡하게 설정할수록 보너스의 의미가 있습니다. JMP에서는 두 개의 레이어 설정을 허용하지 않습니다. 히든 레이어와 Boosting 방식을 결합합니다.
그림 8
리소그래피 / 에칭 케이스 공유
2022 JMP Discovery Summit에서 아래에 인용된 예 삼 , 리소그래피/에칭 단계에서 측벽 결함이 발생하는 경우가 있습니다(그림 9). 선폭이 사양 범위 내에 있는지 확인하려면 주사형 전자현미경(SEM)을 사용해야 하며 일반적으로 이상 현상을 포착하기 어렵습니다. 정확한 측정이 어렵기 때문에 발견된 결함의 위치. 따라서 오픈소스 소프트웨어를 이용하여 먼저 이미지를 이미지 데이터 지표로 변환한 후 JMP를 이용하여 분석 및 모델링을 하는데, 이때 해당 Y는 좋음, 나쁨의 범주형 변수이고 X는 각 이미지 데이터에 해당한다. 표시기(그림 10)(표시기 설명은 마지막 링크를 참조하세요),
그림 9
그림 10
첫 번째 단계는 Y 및 X 변수를 선택하는 것입니다(그림 11).
그림 11
두 번째 단계에서는 작은 표본 추정 편향을 피하기 위해 KFold를 선택하고 관련 입력 변수를 변수로 변환하기 위해 단일 숨겨진 레이어와 TanH 활성화 함수를 선택합니다(그림 12).
그림 12
세 번째 단계는 오류 해결, 예측 결함 정확도, Rsquare 등의 지표를 결정하는 것입니다(그림 13).
네 번째 단계는 예측 프로파일러를 기반으로 가중치에 큰 영향을 미치는 매개변수를 찾는 것입니다(그림 14).
(그림 14)
다섯 번째 단계는 예측 공식을 저장하고 가중치를 보는 것입니다(그림 15).
(그림 15)
마지막으로 신경망에서 JMP를 설정하는 데 필요한 몇 가지 경험 법칙을 다음과 같이 요약합니다.
- 선형 활성화 함수는 일반적으로 입력 변수와 쌍을 이루는 반면, 출력 변수는 일반적으로 비선형 활성화 함수와 쌍을 이룹니다. 특히 변수가 너무 많아 차원을 줄이려는 경우 더욱 그렇습니다.
- 더 많은 노드가 과적합으로 이어질 수 있는 경우, 은닉층의 노드 수를 입력 변수 수보다 작거나 같게 유지하는 것을 시작 설정점으로 사용할 수 있습니다.
- 소규모 신경망 모델은 컴퓨팅 속도와 안정성이 더 뛰어나며, 예측 정확도가 대형 모델과 비슷하다면 소형 모델이 주요 모델이 되어야 합니다.
- 입력 변수의 은닉층에 있는 노드나 은닉층의 수가 너무 많으면 불필요한 복잡성이 도입되어 모델 과적합이 발생할 수 있으며, 교차 검증 방법을 사용하여 설정을 확인하고 조정할 수 있습니다.
- 이상값을 최대한 제거하면 추정 편향을 방지하고 예측을 더욱 효율적으로 만들 수 있습니다.
- 데이터의 균형 성능은 예측 정확도를 향상시킵니다.예를 들어 Y가 범주형 변수인 경우 각 범주의 개수는 최대한 일관되어야 합니다.
일반적인 지도 학습 방법인 신경망에서는 이 기사에서 퍼셉트론, 활성화 함수 및 모델 구성을 포함한 신경망의 주요 구성 요소와 훈련 과정을 요약합니다. 환영 30일 동안 JMP를 무료로 사용해 보세요 , 회사를 위한 다양한 AI 학습 모델을 개발하세요.
추천 도서:
참고자료
- 사용 사례: 이미지 분석 파이프라인 구축 시 JMP(2022-US-30MP-1096)
