55388_ko-KR

liliconcom

표 형식 데이터의 10가지 위험

Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.데이터 테이블에서 예측 모델을 구축하시겠습니까? 10명의 악당을 조심하세요. Pixaby의 Prettysleepy 이미지 제공.

저는 블라인드 홀드아웃 세트의 예측 성능을 통해 귀하와 귀하의 팀원을 리더보드에 순위를 매기고 상금과 신뢰도가 걸려 있는 데이터 과학 대회의 세계에 푹 빠져 있었습니다. 이 콘테스트에서 성공하려면 시간을 매우 효율적이고 현명하게 사용해야 합니다. 그 과정에서 수백 가지의 작은 결정과 다양한 방향을 선택할 수 있기 때문입니다.당신이 엉망이 되거나 시간을 낭비한다면, 누군가가 당신을 지나갈 것입니다. 때로는 의도적으로 당신을 넘어뜨리려는 위험이 있는 것처럼 느껴지기도 합니다. 실제 생활과 비슷하지 않나요?

내가 배운 모든 좋은 습관과 능숙한 데이터에 대해 나는 아마도 그보다 10배나 많은 실수를 저질렀을 것입니다. 시간이 지나면서 나는 끊임없이 경계하고 맞서 싸워야 할 10가지 위험 목록을 모았습니다. 내가 설명했듯이 이전 게시물 , 데이터는 우리에게 결코 깨끗하게 제공되지 않으며 이러한 문제는 항상 숨어 있습니다. 목록은 표 형식 데이터에 초점을 맞추고 있지만 많은 문제는 이미지, 텍스트 및 기타 종류의 구조적 데이터에 적용됩니다.

이러한 위험은 너무나 현실적이고 널리 퍼져 있어서 그 자체로 사악한 성격을 띠게 될 수 있습니다. 사실 저는 재미삼아 각 위험을 슈퍼악당과 연관시켰습니다. 아래 표에서 이러한 악당들이 데이터 테이블에 자신의 위험을 의인화하는 모습을 그려볼 수 있는지 확인하세요.  

 

위험	슈퍼빌런	질문	답변	JMP 플랫폼
1. 모양이 부적절하다	신비감 , 유혹적이고 기만적인 변신술사입니다. X 남자	ㅏ. 테이블은 높이가 높거나 쌓이지 않고 넓은 형태인가요? 비. 행은 학습 및/또는 예측할 고유한 관찰에 해당하고 열은 대상 및 기능에 해당합니까?	1. 육안검사 2. 필요에 따라 데이터 조작 및 재구성을 수행합니다.	조옮김, 분할, 스택, 결합, 업데이트
2. 잘못된 값	조커 ~에서 배트맨 , 항상 당신에게 나쁜 장난을 치고 싶어	ㅏ. 데이터 값이 정확합니까? 비. 실수의 원인은 무엇입니까?	1. 육안검사 2. 일변량, 이변량, 다변량 도표 및 통계 3. 필요에 따라 원본 데이터 소스를 확인하고 검증합니다.	분포, 그래프 빌더, 다변량
3. 누락된 값	볼드 모트 경 ~에서 해리 포터 , 이름을 붙여서는 안되는 사람은 존재해야 할 가치를 신비롭게 제거할 수 있습니다.	ㅏ. 값이 무작위로 누락되었습니까, 아니면 체계적인 패턴이 있습니까? 비. 결측값 패턴이 예측되나요?	1. 실종 정도와 패턴을 주의 깊게 연구합니다. 필요에 따라 새로운 기능을 엔지니어링 2. 결측값 지표를 생성하고 응답과 상관관계가 있는지 확인 3. 참고: 일반적으로 그래디언트 부스트 트리에는 대치가 필요하지 않습니다.	분석 > 화면 > 누락된 값 탐색, 열 > 코딩변경, 그래프 빌더
4. 유효하지 않은 예측변수	번스 씨 ~에서 심슨 , 당신의 삶을 비참하게 만드는 방식으로 이기적으로 계획하고 음모를 꾸미는 것	ㅏ. 향후 예측에 사용할 수 없거나 부적절한 열이 있나요? 비. 모든 잠재적 예측 변수가 과학적, 윤리적으로 의미가 있습니까?	1. 모든 열을 살펴보고 각 열의 의미를 이해합니다. 2. 잘못된 열을 삭제하거나 나중에 선택되지 않도록 테이블의 시작이나 끝으로 이동하세요.	Cols > 삭제, Cols > 재정렬, 왼쪽 패널에서 마우스로 열 이동
5. 높은 카디널리티	마그네토 ~에서 엑스맨, 금속이 포함된 모든 것을 제어하고 한 번에 많은 조각을 던질 수 있습니다.	ㅏ. 수준 수가 높은 범주형 예측 변수는 무엇입니까? 비. 어떤 종류의 숫자 인코딩이 의미가 있나요? 씨. 저주파 카테고리를 축소해야 합니까?	1. 횟수와 빈도를 검사한다 레벨 수 2. 레벨을 적절하게 다시 코딩하세요. 3. 숫자 인코딩을 계산합니다. 특히 과적합을 방지하기 위해 대상 정보를 사용할 경우 주의해야 합니다.	배포, 열 > 녹음
6. 인라이어와 아웃라이어	날개 달린 원숭이 ~에서 오즈의 마법사, 끊임없이 내부와 외부를 날아다니며 사악한 마녀의 사악한 명령을 수행합니다.	ㅏ. 극단값이 합리적인 범위 내에 있습니까? 비. 예기치 않게 너무 자주 반복되는 값이 있습니까?	1. 히스토그램 및 분위수 검사 2. 비정상적인 값이 올바른지 확인 3. 실제로 치우친 연속 분포를 평가하려면 로그 변환을 사용하세요. 4. 마할라노비스 거리	분포, 다변량, 분석 > 선별 > 특이치 탐색
7. 중복된 데이터	샴 고양이 ~에서 레이디와 트램프 , 이중으로 사악한 의도와 짜증스러울 정도로 중독성 있는 노래로	ㅏ. 실수로 중복된 행이나 열이 있나요?   비. 동형 컬럼이 있습니까? 씨. 각 행마다 ID 값이 고유합니까?	1. 육안검사 2. 양방향 군집화 산점도 행렬	요약, 정렬, 클러스터링(행의 경우), 다변량(열의 경우)
8. 반응 불균형	자바 더 헛 ~에서 스타 워즈 , 그 역겨운 지방 아래서 당신을 찌그러뜨리고 점액질하게 만들어서 기뻐요	ㅏ. 어떤 종류의 반응입니까? 비. 이분형 또는 명목형의 경우 예측하려는 모집단을 나타내는 비율이 있습니까? 씨. 연속적인 경우 분포가 의미가 있습니까?	1. 응답 분포 점검 2. 가중치 부여, 오버샘플링, 언더샘플링을 고려하세요. 원하는 성능 지표에 따라 달라질 수 있음	분포, 열 > 새 열을 사용하여 가중치 변수 생성
9. 훈련-테스트 불일치	사우론의 눈 ~에서 반지의 제왕 , 당신의 가장 깊은 모순을 찾아내고 이를 이용하기 위해 당신을 지켜보고 있습니다.	ㅏ. 학습, 검증 및 테스트 분할에서 응답 및 예측 변수의 분포가 유사합니까? 비. 향후 테스트 세트가 범위 내에 유지됩니까, 아니면 실제로 추정이 필요합니까?	1. 분할을 나타내는 새 변수를 만듭니다. 그런 다음 이를 사용하여 분포를 동적으로 탐색합니다. 2. 저차원 투영을 사용하여 하위 집합의 구조 비교	Y를 X로 맞춤(여기서 Y는 모든 변수이고 X는 분할 표시임), 명목 변수에 대한 모자이크 플롯 생성 및 연속 변수에 대한 경험적 누적 분포 비교, 다변량
10. 데이터 유출	우르술라 ~에서 인어 공주, 칠흑색 잉크로 인해 당신의 눈이 완전히 멀게 되어 바람직하지 않은 곳으로 잉크가 새어 나갈 수 있습니다.	ㅏ. 훈련, 검증, 테스트 분할의 기능 중 응답의 정보를 부적절하게 사용하는 기능이 있습니까? 비. ID 열은 예측 가능합니까?	1. 예상치 못한 관계를 찾고 기능이 누출되었음을 나타낼 수 있는 단서를 찾으세요. 2. 누출을 추가로 확인하기 위한 간단한 기능으로 새로운 기능을 엔지니어링합니다.	Y를 X로 맞추기, 그래프 빌더, 다변량, 클러스터링, 열 선택 > 마우스 오른쪽 버튼 클릭 > 새 수식 열

 

특히 이들이 함께 공모하고 사용자 지정 코드를 작성하고 디버그할 시간이 충분하지 않은 경우 이러한 문제를 일으키는 원인을 어떻게 효율적으로 처리할 수 있습니까? 마지막 열에는 JMP 제가 매일 사용하는 루틴은 저의 비밀스럽고 없어서는 안 될 무기입니다.유명인에게서 영감을 받아 작은 슈퍼 히어로 1950년대부터 Apple MacIntosh의 판도를 영원히 바꿔놓은 사용자 인터페이스, JMP 는 마우스로 구동되는 통계와 그래픽의 긴밀한 통합이라는 주요 철학 아래 30년 동안 꾸준히 개선되어 왔습니다.  

Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Look out for ten villains. Image courtesy of prettysleepy on Pixaby.데이터 테이블에서 예측 모델을 구축하시겠습니까? 10명의 악당을 찾아보세요. Pixaby의 Prettysleepy 이미지 제공.

기계 학습을 위한 데이터를 정리하고 준비할 때 처리해야 할 10가지 위험에 대한 Russ Wolfinger의 체크리스트를 참조하세요.