Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?실제 데이터 세트에는 일반적으로 서부 캐나다 날씨, 파도 및 곰과 같은 모든 종류의 함정, 함정 및 문제가 있습니다. 이러한 데이터 정리 및 데이터 준비 작업을 처리하기 시작하는 방법과 위치는 정확히 무엇입니까?
몇 년 전, 나는 좋은 친구 두 명인 Steve와 Aaron, 아버지와 아들, 둘 다 경험이 풍부한 Canuck 나무꾼과 함께 캐나다 야생 모험을 떠났습니다. 우리는 모든 장비를 Aaron의 낡은 픽업에 싣고 브리티시 컬럼비아의 놀라운 피오르드를 통해 북쪽으로 곧장 차를 몰고 길고 깊고 수정처럼 맑은 호수를 둘러싸고 있는 향기로운 상록수 벽이 있는 외딴 자연 그대로의 고산 협곡에서 내렸습니다.
우리가 물 위로 출발했을 때, 날씨가 갑자기 따스하고 맑던 날씨에서 지독하고 춥고 거센 바람과 비로 바뀌면서 아드레날린이 치솟으면서 평온함과 도피의 깊은 느낌을 압도했습니다. 우리의 카약과 카누는 흰 모자에 거의 전복될 뻔했고, 우리는 격렬하게 노를 저어 해안으로 가야 했습니다. 마르고 재편성된 후, 다음 4일은 장관이었습니다. 우리는 전체 시간 동안 다른 영혼을 보지 못했지만 야생 닭과 무스의 놀라운 동물원을 목격했고, 갓 구운 코카니를 직화로 구웠으며, 절벽이 얼음물에 뛰어들고 천연 온천에서 몇 시간 동안 데워졌습니다. Aaron의 능숙한 봉인과 매일 밤 캠프에서 멀리 떨어진 우리의 철저하게 청소된 식량을 매달아 놓은 덕분에 우리는 그리즐리를 끌지 못했습니다. 날씨는 우리를 몇 번 더 잡았고 안전한 피난처를 찾을 때까지 뼛속까지 전율했던 것을 기억합니다.
돌아오는 동안 예상치 못한 몇 가지 지연으로 인해 Steve와 Aaron은 나의 공동 통계 회의가 첫 번째 세션에 있었기 때문에 시내 밴쿠버 호텔에 서둘러 친절하게 나를 내려주었다. 동료 몇 명이 동시에 체크인을 했고, 더러운 장비를 모두 끌고 완전히 거칠고 면도를 하지 않았기 때문에 "안녕"이라고 말하기 전에 트리플 테이크를 해야 했습니다. 나는 방에서 따뜻한 샤워가 그것만큼 기분이 좋았던 것을 기억하지 못하며, 또한 대자연의 높은 자연적 높이에 힘입어 컨퍼런스에서 스탯 친구들과 다시 만나는 것이 기분이 좋았습니다.
나는 이제 응용 통계와 데이터 과학 사이의 고르지 못한 물을 탐구하기 위해 모든 노력을 기울인 다른 종류의 긴 여정에서 돌아오고 있음을 발견했습니다. 2년간의 여행을 통해 Kaggle 및 DREAM에서 데이터 과학 경연에 깊이 빠져들었습니다. 이렇게 매력적인 형식으로 자리를 잡은 이들 조직에 감사드립니다. 또한 수많은 "부재" 시간 동안 가족, 친구 및 동료들에게 큰 감사를 표하고 싶습니다. 꽤 많은 사람들이 성공 사례와 배운 교훈을 공유하도록 격려해 왔고, 이 장황한 블로그는 이에 대한 첫 번째 시도입니다.
자연스러운 시작점은 데이터 정리 및 준비입니다. 가치 있는 것을 만들려면 더러워지고 엉망진창이 되어야 합니다, 그렇죠? 그런 다음 정리해야 합니다. 이것은 확실히 좋은 데이터 세트에 해당되며 잘 준비된 대회에도 많은 문제가 있습니다. 실제 데이터 세트는 일반적으로 서부 캐나다 날씨, 파도 및 곰과 같은 모든 종류의 함정, 함정 및 문제로 인해 더 나쁩니다. 정확히 어디서 어떻게 처리를 시작합니까?
한 번에 한 단계 씩 탐색하면서 분할하고 정복하십시오. 이 라인에 대한 하나의 멋진 새 자습서는 최근에서 사용할 수 있습니다. 5일 데이터 정리 챌린지 Kaggle의 Rachael Tatman으로부터. Python 노트북의 실습 세부 예제로 몇 가지 흥미로운 데이터 세트(부동산, 킥스타터, 자연 재해, 자살 폭탄 테러)를 사용하여 몇 가지 주요 청소 주제를 친절하고 심층적으로 다룹니다. Rachael과 동료들에게 시간을 할애하여 이치에 맞는 순서와 흐름으로 정리한 것에 찬사를 보냅니다.
진정으로 깊고 효과적이며 효율적인 데이터 정리의 목적지를 향해 나아가면서 시각적인 대화형 탐색과 마우스를 사용한 기능적 포인트 앤 클릭이 매우 유용하다는 것을 알게 되었습니다. 여기서 내가 선택한 도구는 JMP . 표 데이터로 Kaggle 및 DREAM 챌린지에서 성공하기 위한 제 비밀 무기였습니다. 순수한 시각적 패키지나 Python 또는 R과 같은 데이터 분석 언어에서는 볼 수 없는 그래픽과 통계의 독특하고 복잡한 통합이 있습니다. 마우스 중심의 시각적 상호작용과 즉각적으로 편리하고 풍부한 분석 라이브러리를 통해 숨겨진 문제를 매우 빠르게 발견하고 더러운 데이터를 정리할 수 있으며, 종종 직접 코드를 작성하는 것보다 훨씬 효율적입니다. 또한 두꺼운 클라이언트인 JMP는 연결된 여러 그래프와 내장형 대시보드에서 마우스 동작에 즉각적으로 반응하므로 중단 없이 데이터에 몰두하고 때로는 악의적으로 포함된 오점을 발견하는 데 필수적입니다. JMP 사용자 지정 분석 코드를 작성하려는 경우에도 새로운 테이블 형식 데이터 세트에 대한 첫 번째 검토 도구입니다.
JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP는 맞춤 분석 코드를 작성하려는 경우에도 새로운 표 형식 데이터 세트에 대한 첫 번째 검토 도구입니다.
하지만 한 가지 큰 문제가 있습니다. 청소를 정말 좋아하는 사람은 누구입니까? 내 책상, 컴퓨터 바탕 화면, 열려 있는 수십 개의 브라우저 탭을 한 번 보면 일반적으로 내 최우선 순위가 아님을 알 수 있습니다. 다른 사람이나 일부 AI 로봇이 우리를 위해 이 작업을 수행하여 그래디언트 부스트 트리 모델을 앙상블하거나 딥 러닝 아키텍처를 튜닝하는 재미있는 작업을 할 수는 없을까요? 아아, 모든 데이터 세트는 사려 깊은 사람의 주의를 요하는 각기 다른 지저분한 문제 세트를 가져옵니다. 저는 여기에서 데이터를 진정으로 이해하는 것에 대한 강한 호기심에 대한 비밀을 발견했습니다. 그런 다음 딥 클리닝이 거의 항상 더 나은 딥 러닝으로 이어진다는 모험심과 확신을 가지고 데이터를 발견하면서 그 과정을 정리하는 것입니다. 여기에서도 마우스는 강력할 수 있으며 항상 키보드로 일회성 코드를 입력하고 디버깅하는 데 시간과 에너지를 들이는 것과 비교하여 이를 재미있게 만들 수 있습니다.
나는 함께했다 자세한 청소 체크리스트 특히 예측 모델링을 위해 새 데이터 세트를 볼 때마다 사용하고 비교적 곧 예제와 함께 공유할 수 있기를 바랍니다. 또한 동료인 Don McCormack, Olivia Lippincott, Rob Carver 및 Trevor Bihl이 제공하는 훌륭한 JMP 데이터 정리 자료에 대한 몇 가지 링크가 있습니다.
