어쩌면 ... 더러운 데이터는 더 큰 문제입니다.
지난 1 년 동안 빅 데이터가 주류를 이루었습니다. 나는 이것을 안다. 왜냐하면 BBC 그것을 다루는 여러 프로그램을 만들었습니다. 제가 들었던 것은 큰 데이터가 무엇이고 왜 중요한지에 대한 명확한 정의가 없다는 것입니다. 사람들에게 큰 데이터가 있는지 묻는다면 데이터 또는 관찰 행이 수천만 개 또는 수백만 개 있는지 여부에 관계없이 압도적으로 "그렇습니다"라고 말합니다. 그럼 누가 옳은가? 그것은 달려있다.
현대, 통계 소프트웨어 데스크톱의 성능을 극대화하도록 설계된 것을 포함합니다. JMP Pro 수백만 행의 데이터 세트를 쉽게 처리 할 수 있습니다. 더 중요한 것은 컬럼의 수입니다. 아주 키가 큰 과 매우 넓은 데이터 세트가 정말 크다. 이를 위해 유용한 모델을 만들기 위해 표본 추출, 데스크톱 컴퓨터의 힘을 빌어 모델 구축 등의 표준 통계 방법이 필요할 수 있습니다.
따라서 큰 데이터를 쉽게 관리 할 수 있다면 오늘날의 분석가, 엔지니어 및 과학자가 직면 한 실제 과제는 무엇입니까? Marlow와 Edinburgh에서 최근 개최 된 두 가지 모델 구축 세미나에서 대표단을 대상으로 설문 조사를 실시하여 흥미로운 사실을 밝혀 냈습니다. 모든 대표자들은 지저분한 데이터를 가지고있었습니다.
지저분한 데이터 활용
누락 된 데이터, 빈 셀, 이상 치 또는 잘못된 항목이 있으면 지저분한 데이터가 있습니다. 물류 및 선형 회귀와 같은 전통적인 통계 방법은 셀이 누락 된 행을 버리므로 가난한 모델이됩니다. 특이 치는 모델을 버리므로 덜 유용합니다.
존 살 "정보 누락"이라는 지저분한 데이터를 다루는 새로운 방법을 그의 블로그 게시물 . 이는 누락 된 데이터를 새로운 영역으로 가져옵니다. 누락 된 데이터는 실제로 중요한 데이터를 사용자에게 알려주고 있으므로 모델에 포함되어야합니다. 예를 들어 대출 신청자가 빈 신용 기록을 숨기려면 신청서를 비워 두는 것입니다. 이것은 신용 분석가가 모델로 제시하는 중요한 발견 일 것입니다. 제조 설정에서 작업하는 경우 결과가 문자 그대로 축척되지 않아 데이터가 누락 될 수 있습니다. 이는 모델에서 캡처하는 데 유용한 정보가 될 수 있습니다. 화학적 특성을 기반으로 물질의 활동을 모델링하는 경우 측정 된 온도 범위에서 분해되지 않는 경우 분해 온도와 같은 데이터가 누락 될 수 있습니다. 따라서이 정보를 모델에 포함하면 활동에 대한 더 나은 예측을 얻을 수 있습니다.
수축 방법이라는 새로운 모델링 기법이 있습니다.이 기법은 잘 예측하는 모델을 제공하도록 설계되었습니다. 과 입력 변수간에 강한 상관 관계가 있더라도 변수의 수가 가장 적습니다. 그만큼 일반 회귀 분석 개성을 사용하면 Fit Model 플랫폼에서 이러한 방법을 사용할 수 있습니다. 유익한 누락과 함께 사용하면 지저분한 데이터로도 모델을 구축 할 때 모든 데이터 행을 사용하는 이점이 있습니다.
의사 결정 트리 기반 메소드 분할이 발생하는 지점이 편향되지 않기 때문에 특이 치를 다루기에 좋다. JMP Pro 사용자는 이러한 이유로 인해 데이터를 정리할 필요없이 유용한 모델을 구축하고 있다고 말합니다. 유익한 정보 누락 : 강력한 모델링 기술을 사용하면 데이터 정리를 건너 뛸 수 있습니다. 과 여전히 좋은 모델을 생산합니다. 이제 그것은 정말로 혁명적 인 것입니다. 의사 결정 트리에는 시각적 인 장점이 추가되어있어 결과를 간부에게 설명 할 수 있습니다.
지저분한 데이터가 있으면 어떻게해야합니까?
JMP 프로 그만큼 귀하의 지저분한 데이터를 처리하도록 설계된 소프트웨어.
우리는이 소프트웨어의 새로운 사용자를 위해 영국에서 독점적 인 실무 워크샵을 운영 할 것입니다. 6 월 12 일 그래서 Marlow에서 우리와 함께하고 싶다면, 알려줘 .
관리자가 JMP Pro가 이러한 문제를 어떻게 처리하는지 보려면 해당 관리자에게 문의하십시오. 웹 캐스트 ...에 4 월 3 일 우리가 두 가지 사례 연구를 보여줄 것입니다.
버나드 맥케이 타운 쓴 :
너 필 맞아. 세미나 참석자에 대한 설문 조사에서도이를 확인합니다. 이것이이 기법들이 도움이되는 이유입니다.
필 케이 쓴 :
지저분한 데이터를 가진 사람이 있습니까?
내 자신의 경험에 비추어 볼 때 소규모 시험과 실험 설계는 일반적으로 너무 많은 문제없이 완전한 데이터 세트를 생성합니다. 그러나 데이터 마이닝과 예측 모델링의 영역으로 들어가는 것은 항상 데이터에 다소 지저분한면이 있습니다.
Volker Kraft 쓴 :
안녕하세요 마이크, 당신이 영국에 있다고 가정하면, 좋은 소식이 있습니다. 바로 지금 우리는 가르치기 위해 JMP 패키지가있는 고등학교에서 STEM 관련 수업을 지원할 수있는 기회를 모색하고 있습니다. 고등학생 여러분의 요구 사항에 대한 최신 정보를 얻고 싶다면 touch (volker.kraft@jmp.com)에 연락해 주시면 감사하겠습니다.
버나드 맥케이 타운 쓴 :
안녕하세요 마이크, 많은 학교는 JMP Pro를 사용하고 있습니다. JMP 학술 용 제품의 핵심 제품이기 때문입니다. 다음에서 자세한 정보를 찾을 수 있습니다. http://www.jmp.com/uk/academic/ . 나는 네가 미국에 있다고 생각하지? 그렇다면 Curt Hinrichs가 도움이 될 수 있습니다. 유럽에서는 Volker Kraft가 올바른 사람입니다. Volker의 세부 정보는 다음에서 찾을 수 있습니다. http://www.jmp.com/uk/software/buy-jmp-academic.shtml .
마이크 클레이튼 쓴 :
매우 감사합니다.
학생들은 이러한 고급 방법을 배워야하지만 학교에서는 JMP Pro를 지원하지 않으므로 무료 웹 세미나를 통해 고등학교 STEM 수업에 도움이되는 새로운 개념을 시연 할 수있는 기회는 무엇입니까?
