이 새로운 책으로 숫자 향상내가 언급했듯이 이전 게시물 카이저 봉 (Kaiser Fung)은 새로운 책을 가지고 있습니다. Numbersense : 큰 데이터를 활용하는 방법 . 나는 그것을 읽고 즐겼다. Kaiser의 저서의 목표 인 분석 정보를 더 많이 소비하는 데 도움이되었습니다.
이 책에서 발췌 한 내용은 다음과 같습니다.
데이터를 분석 할 때 이론적 인 가정을 피할 방법이 없습니다. 모든 분석은 부분 데이터 및 부분 이론입니다. 더 풍부한 데이터는 더 많은 이론에 대한 지원을 제공하며, 이전에 언급했듯이 서로간에 모순 될 수 있습니다. 그러나 더 풍부한 데이터는 나쁜 이론을 저장하거나 나쁜 분석을 구하지는 못합니다. 세계는 이론가를 다 써버 렸습니다. 빅 데이터 (Big Data) 시대에는 증거의 막대가 더 낮아져서 잘못된 것으로부터 옳은 것을 말하기가 더 어려워졌습니다.Big Data에 관한 업계의 사람들은 더 많은 데이터가 더 잘 팔리는 것을 당연시합니다. 사람은 다른 사람을 따라야합니까?
더 많은 사람들이 더 많은 분석을 더 빨리 수행하면 더 많은 이론, 더 많은 관점, 더 복잡하고 더 많은 혼란이 있습니다. 명확성이 낮고, 의견 일치가 적으며, 신뢰도가 낮습니다.
필연적으로 더 많은 데이터가 논쟁, 검증, 조정 및 복제에 더 많은 시간을 소비하게됩니다. 이러한 모든 활동은 의심과 혼란을 야기합니다. 빅 데이터가 우리를 앞으로 움직이지 않고 뒤로 움직일 수있는 실질적인 위험이 있습니다. 나쁜 이론을 모으고 좋은 이론을 익사시킴으로써 나쁜 이론이 뿌리를 내림에 따라 과학은 암흑 시대로 되돌아 간다.
빅 데이터는 실제 데이터이며 그 영향은 엄청납니다. 적어도 우리는 모두 데이터 분석의 소비자입니다. 우리는 더 똑똑한 소비자가되는 법을 배워야합니다. 우리가 필요한 것은 숫자 .
자신의 능력을 향상시킬 수있는 기회가 있습니다. 숫자 카이저의 책을 우승함으로써 (만약에 당신이 갔다면 디스커버리 서밋 이번 주 초에 Kaiser가 통계 패널 토론에 참여한 곳에서이 컨퍼런스의 무료 사본을 얻었습니다. Kaiser는 참석자를 위해 책에 서명했습니다.)
그만큼 처음 25 명의 독자 누가에 대해 당신이 직면 한 도전은 점점 더 많은 양의 데이터를 수집, 처리 또는 분석하는 것과 관련됩니다. 카이저의 신간 서적의 무료 하드 카피를받을 자격이 있으며, 숫자 . 이 토론에 대한 귀하의 공헌은 50 ~ 75 단어 사이 여야합니다. 귀하가 승자라면 연락 할 수 있도록 귀하의 의견을 쓸 때 귀하의 전자 메일 주소를 입력하십시오. 댓글 작성자 당 단 한 권의 책. 댓글 작성자는 책을받을 수 있도록 미국에 거주해야합니다. Kaiser의 발행인 McGraw-Hill에게 책 제공에 감사드립니다.
2013 년 10 월 1 일에 업데이트되었습니다. 이제이 대회가 마감되었습니다. 모든 책이 수여되었습니다. 관심을 가져 주셔서 감사합니다.
브렛 (Brett)은 다음과 같이 썼습니다. 브렛 쓴 :
큰 데이터를 가지고 내가 만난 한가지 문제는 더러운 데이터입니다. 회사는 CRM 및 ERP 데이터베이스에 포함 된 정보를 활용하고 약간의 프로그래밍으로 유용한 모델을 생산할 것이라고 생각합니다. 많은 양의 데이터를 정리하더라도 나머지 데이터는 너무 가볍기 때문에 유추 할 유용한 인구가 더 이상 존재하지 않습니다.
Dan D는 다음과 같이 썼다 : 정부를 위해 일하는 사람으로서 ... 댄 D 쓴 :
정부를 위해 일하는 사람으로서 데이터 수집은 거의 문제가되지 않지만 그것을 사용하는 능력은 항상 어렵습니다. 사생활에 영향을 미치지 않고 얼마나 많은 세부 사항을 입력 할 수 있으며 사람들에게 유용한 정보가 있습니다. 데이터 과학자로서 나는 항상 데이터에 대해 모르는 사람들의 의견이 우리의 분석과 결정을 올바른 방향으로 이끌어 왔다고 느낍니다.
Chris S는 썼습니다 :이 기사는 특히 apropos입니다. 난 그냥... 크리스 S 쓴 :
이 기사는 특히 apropos입니다. 나는 데이터의 민주화가 제공하는 양날의 검을 논의하는 회의에서 방금왔다. 더 많은 사람들에게 더 많은 데이터에 대한 액세스 권한을 부여하는 것은 모든 조직이 활용하고자하는 매우 강력한 것일 수 있지만, 정확히 말하면 위험은 혼란과 혼란을 야기 할 수 있습니다. 문제는 비용을 최소화하면서 이익을 최대화하는 방법입니다.
Murray Meehan은 다음과 같이 적었습니다. 저는 Microsoft의 스포츠 엔터테이너를 위해 일합니다. 머레이 미간 쓴 :
저는 Microsoft의 스포츠 엔터테인먼트 부서에서 클라우드 기반 웹 서비스 및 클라이언트 응용 프로그램에 의존하는 분석 역할을 담당합니다. 필자는 웹 서비스 기능과 성능에 대해 일주일에 기가 바이트의 테스트 데이터를 생성합니다. 거의 모든 것이 팀 간 의사 소통이 더 쉬운 매우 간단한 메트릭을 위해 무시됩니다. 좀 더 복잡한 분석을 할 때 동료들도 이해할 수있는 방식으로 제시하려고 애 쓰고 있습니다. 이것은 내 지역의 공통된 문제입니다.
Glen은 다음과 같이 썼다. 글렌 쓴 :
내 연구 중 일부는 큰 데이터를위한 분산 컴퓨팅을 포함합니다. 큰 데이터를 단일 컴퓨터에로드하기에는 너무 큰 데이터로 정의합니다. 큰 데이터를 분석하는 가장 일반적인 도구는 Hadoop입니다. 그러나 Hadoop은 컴퓨터 과학자들에 의해 설계되었으며 반복적 인 통계적 문제 / 데이터 시각화 / 베이지안 방법에서는 잘 작동하지 않습니다. 통계 전문가가이 분야에 기여할 수있는 흥미 진진한시기입니다.
Jan Kölling은 다음과 같이 썼습니다 : 저는 최근에 PhD 연구를 시작했습니다 ... 얀 퀼링 쓴 :
저는 최근에 여러 소스의 많은 양의 생물학적 데이터를 분석하는 생물 정보학 분야의 박사 과정을 시작했습니다. 저는 생물 학자들이 그들의 질문에보다 효율적으로 답변하고 초기 인센티브를 넘어 데이터 세트를 탐구하는 데 도움이되는 도구를 개발하려고합니다. 제 작품의 큰 부분은 더 나은 분석과 시각화의 이점을 전달하고 연구 결과를 무효화 할 수있는 함정을 인식하는 것입니다.
데이브 (Dave)는 다음과 같이 적었습니다. 저는 소매 전력 회사에서 근무하며 매일 매일 1 ... 데이브 쓴 :
저는 소매 전력 회사에서 근무하며 매일 15 분 간격의 사용 데이터, 기상 데이터, 콜센터 데이터, 웹 로그 데이터 및 분산 된 환경에서이 데이터를 신속하게 분석해야하는 필요성으로 인해 우리는 새로운 솔루션을 체크하고 있습니다 . 간격 데이터만으로는 하루에 약 2GB입니다. 일부 회귀는 이제 멀티 코어 유닉스 서버에서 몇 주가 걸렸습니다. 이는 받아 들일 수없는 일입니다.
Dale은 다음과 같이 썼습니다. 골짜기 쓴 :
개인적으로 직면 한 가장 큰 데이터 도전은 전력 시장에서의 모델링 및 의사 결정과 관련되어있었습니다. 가장 큰 미국 시장 인 PJM에는 약 10,000 개의 고유 노드가 있으며 각 노드는 시간당 (또는 그 이상) 주파수로 데이터를 발행합니다. 이 온도, 연료량 및 가격 및 발전기 가용성에 추가하면 상업적 결정을위한 유용한 신호를 모든 소음에서 분리하는 데 상당한 어려움이 따릅니다.
Boston에있는 Maegen은 다음과 같이 썼습니다. 우리 회사에서는 대규모 분석을했습니다. 보스턴의 메간 쓴 :
우리 회사에서는 기업 환경에서 수집 한 많은 양의 센서 기반 데이터를 분석합니다. 데이터의 현장 특성은 노이즈의 패턴을 찾는 데 매우주의해야한다는 것을 의미하며 이상한 센서 동작을 항상주의해야합니다. 또한 데이터의 특성상 일반적인 패턴 인식 알고리즘을 적용하기가 어렵습니다. 우리는 일련의 가정을 철저히 테스트해야합니다. 소프트웨어와 하드웨어가 향상됨에 따라 우리는 분석이 재현 가능하고 적절한 경우 프로젝트간에 비교할 수있는 도전에 직면 해 있습니다.
AP 윌리엄스는 다음과 같이 썼다. AP 윌리엄스 쓴 :
가장 큰 도전은 일반적으로 우리의 편견을 우리의 해석에 주입하는 것을 피하는 것입니다. 우리는 판매 및 마케팅 데이터를 분석하여 활동에 대한 영향을 결정하지만 드물게 진정한 통제 그룹을 보유하고 있습니다. 이것은 데이터를 분석하고 종종 결론적이지 않은 특성으로 인해 결과를 사회화하는 데 많은 어려움을 낳습니다. â 용 (우리의 이해 관계자의 선입견)을 죽이기는 어렵습니다.
Shen Ting Ang은 다음과 같이 썼습니다 : 나는 음성 데이터로 작업하며 거기에 ... 셴 팅 앙 쓴 :
나는 연설 데이터를 사용하며 아직 해결되지 않은 질문이 남아 있습니다. 다양한 형태의 피쳐 추출 방법이 제안되어 사용되었지만, 각각은 유용하고별로 유용하지 않은 속성 집합을 가지고 있습니다. 사용되는 작업과 방법에 따라 가장 좋은 조합을 결정하는 것은 일반적으로 시행 착오의 경우이며 보편적으로 가장 좋은 해결책은 없습니다.
Anand Chandarana는 다음과 같이 썼습니다 : 인적 자본 분석 분야에서 ... 아난드 찬다라나 쓴 :
인적 자본 분석 분야에서 가장 큰 도전은 프로그램 소유자와 데이터가 무언가를 만들어 내고자하는 다른 이해 관계자입니다. "쓰레기통에, 쓰레기통에". 한 세트의 데이터 (예 : 참여 조사 데이터)를 다른 데이터 (예 : 실적 등급)와 연결하려면 두 데이터 사이의 실제 링크와 지속적인 데이터 흐름이 필요합니다. 연례 또는 2 년 단위로 수집 된 성과 평가 또는 참여도 조사 데이터 (후자의 경우)는별로 도움이되지 않습니다. 참여 설문 조사 데이터는 분기 별 / 지속적으로 맥박 조사를 통해 수집 할 때 훨씬 더 가치가 있습니다. 성과 등급은 종종 너무 차별화되고 부정확하여 다른 인적 자본 지표와 거의 상관 관계가 없습니다.
Chris는 다음과 같이 썼습니다 : Big Data로 큰 책임이옵니다. 뭐라구 ... 크리스 쓴 :
빅 데이터는 큰 책임을 지닙니다. 우리는 분석 측면에서 아이디어의 흐름을 통제한다고 생각하지만, 아이디어가 더 많이 나오면 자신의 삶을 얻습니다. 나는 회사에서 어려움을 겪고있다. 내가하고있는 사례가 나와 이야기하지 않을 수도있는 최종 사용자에 의해 똑같은 방식으로 읽히고, 더 큰 토론의 맥락에서 슬라이드 나 차트를 보게된다.
인디아나의 안나는 다음과 같이 썼다. 안나에서 인나 쓴 :
현재와 이전의 직업은 엄청난 양의 전자 의료 기록 데이터를 중심으로 돌아갔습니다. 이 데이터를 사용하여 작업 할 때 많은 어려움이 있습니다.지도에 10 년간의 데이터를 표시하려고하면 우편 번호를 사용해야합니다 (지역에 인구의 300 %가있는 경우에는 무엇을 사용해야합니까? 미국 인구 조사!)? 환자가 매 방문 때마다 다른 경주를 신고하는 경우, 어느 쪽을 사용할지 결정하는 방법은 무엇입니까? 의미있는 수준이지만 개인 정보를 보호하는 수준에서 데이터를 어떻게 집계합니까?
Antonio는 집에서 썼습니다 : 단순한 큰 데이터 다루기 ... 집에서 안토니오 쓴 :
단순한 개인으로서 큰 데이터를 다루는 것은 매우 어렵습니다. 경우에 따라 웹 도구가 도움이 될 수 있습니다. 한때 나는 웹 소스에서 정보를 연구하여 시간이 지남에 따라 논스톱 데이터를 만들어야했습니다. Google 스크립트를 작성하고 시간 기반 트리거를 설정하면 몇 분 단위로 Google 스프레드 시트에 부분 통계를 수집하고 저장할 수있었습니다. 이로써 최종 분석이 크게 단순화되었습니다.
Mike Paulonis는 다음과 같이 썼습니다 : 컴퓨터 인프라에서 로그 파일 ... 마이크 파올로 니스 쓴 :
컴퓨터 인프라 스트럭처의 로그 파일은 내용이 너무 체계적이지 않거나 너무 많은 로그 된 데이터 (계속 증가하는) 때문에 내용이 낮은 가치로 간주되기 때문에 종종 무시되었습니다. 대용량 데이터 기술은 어려운 로그 파일 분석 문제에 매우 적합하며 정교하지 않은 사용자에게도 가치를 제공합니다.
Arved Harding은 다음과 같이 썼습니다. 우리가 큰 데이터 세트를 effo에서 다루는 동안 ... Arved Harding 쓴 :
유용한 정보를 수집하기 위해 큰 데이터 세트를 다루면서 우리는 오랫동안 제조 환경에서 이러한 일을해온 사람들과 같은 장벽에 직면 할 수 있습니다. 데이터 마이닝은 쓸데없는 노력 일 수 있습니다. 체계적인 사고가 도움이 될 수 있습니다. 필요한 데이터를 결정하고 데이터를 얻는 방법과 위치를 결정한 다음 정크 데이터를 정리합니다. 이제 오늘의 위대한 컴퓨터 및 통계 도구를 사용하여 광업을 시작할 수 있습니다.
Scott Drumwright는 다음과 같이 적었습니다. Big Data가 evo라고 믿습니다. 스콧 드럼 라이트 쓴 :
나는 빅 데이터가 진화론적인 단계라고 생각하며 최신 기술의 유행이 아니라고 생각한다. 더 많은 데이터에 액세스 할 수있게되면 더 적은 데이터를 분석하도록 선택하지 않습니다. 우리가 살고있는 세상을 완벽하게지도하고 설명하기를 원하는 것은 우리 안에 세워졌습니다. 기술의 다음 새로운 것이 도덕적 경고와 함께 온 것은 나에게 처음있는 일입니다!
Arati Mejdal이 썼습니다 : 안녕하세요, Mark. 귀하의 의견에 감사드립니다. 공동 ... Arati Mejdal 쓴 :
안녕, 마크. 귀하의 의견에 감사드립니다. 의견은 50 ~ 75 단어 사이 여야합니다. 당신의 자격이 있습니다!
Mark Ewing은 다음과 같이 적었습니다. 마크 유잉 쓴 :
게시물이 50-75 단어 사이에 있는지 또는 50-75 단어가 최소 범위인지 확실하지 않아서 75 단어로 내 의견을 정리하여 안전하게 보관했습니다. 책을 좋아할 것입니다.
Mark Ewing은 다음과 같이 썼다. 나는 커다란 국제 기업을 위해 일한다. 마크 유잉 쓴 :
나는 거대하고 국제적인 기업을 위해 일하고 종종 판매, 가격 책정 및 기타 시스템에서 내부적으로 생성하는 데이터는 거대하고 모든 곳에 저장됩니다. 이러한 시스템을 분석 할 때 우리는 모든 적절한 데이터를 수집하고 올바르게 결합한 다음 분석을 시작합니다. 솔루션을 고객에게 배포하기 때문에 해결하기 쉬운 문제가 아닌 속도와 공간에 맞게 최적화해야합니다.
Arati Mejdal이 썼습니다 : 안녕, 키이스. 귀하의 의견에 감사드립니다. 비... Arati Mejdal 쓴 :
안녕, 키이스. 귀하의 의견에 감사드립니다. 그러나 블로그 게시물의 공짜 규정에서 볼 수 있듯이이 제안은 미국 거주자에게만 공개됩니다. 호주로 책을 보낼 수는 없습니다. 죄송합니다.
EAVI의 Keith는 다음과 같이 썼습니다. EAVI의 키이스 쓴 :
여기서 제기 된 견해에 완전히 동의하십시오.
큰 데이터의 사용이 증가함에 따라 커다란 난제 중 하나가 민주화입니다. 나는 이미 더 많은 사람들 (숫자 사용에 대해 반드시 숙련되지 않은 사람들)이 접근하기 쉽기 때문에 분석을 할 수 있다는 제안을 이미보고있다.
이 숫자가 해당 숫자와 일치하지 않는 이유에 대한 내부 쿼리에서 스파이크를 유도합니다 (실제로는 동일하지 않습니다 - 예 : 다른 기간, 다른 계산).
같은 데이터 집합과 확산되는 관점에서 완전히 반대되는 견해를 가지고있는 사람들을 기대하지는 않습니다. 거기에는 처음으로 이야기를들을 수있는 분석 전문가가 없습니다.
추신. 나는 책읽기가 힘들어 질 것 같아 호주에있다.
James Stiebel은 다음과 같이 썼습니다 : Big Data가 훌륭한 opport를 제공하는 동안 ... 제임스 스티벨 쓴 :
Big Data는 통찰력을 얻을 수있는 큰 기회를 제공하지만 문제 (특히 상호 작용을 고려할 때)는 더 많은 양의 문제, 복잡성 및 혼란을 제공합니다. 새로운 분석가를 훈련시킬 때 전염병과 같은 빅 데이터를 피합니다. 작은 데이터 규칙!
내 경험에 의하면 Little Data는 훨씬 관리하기 쉽고, 친절하며 가치가 있습니다. 데이터 세트가 작을수록 변수 조합을 테스트하고 여러 데이터 샘플링을 시뮬레이트하고 여러 예측 모델을 훨씬 쉽고 빠르 게 만들 수 있습니다. Big Data는 통찰력을 높이기 위해 데이터 준비 및 분석에 투자하는 데 더 많은 시간을 요구합니다. 빅 데이터가 큰 노력의 가치가 있는지 확실하지 않습니다.
Kehleboe Gongloe는 다음과 같이 썼습니다 : 2008 년, 나는 조직하도록 요청 받았다. Kehleboe Gongloe 쓴 :
2008 년 라이베리아 노동력 조사를 조직하고 실시하도록 요청 받았습니다. 그러한 연구를 한 경험이없고 라이베리아에서 실시 된 이전의 노동력 조사가 없습니다. 어디에서 어떻게 시작해야하는지 어려운 도전이었습니다. 우리 구원자는 국제 노동기구 통계국 (International Labor Organization Department of Statistics)이었다. 우리는 데이터를 수집하고 분석했지만 정부는 1 년이 지난 후에 결과를 공개 할 수있는 허가를 부여했습니다. 이 도전으로 인해 학교에 다시 돌아 왔고 통계를 공부하고 있습니다. 빅 데이터의 전체 개념은 나에게 매력적이며 점점 더 심각 해지고 있습니다.
Sastry Pantula는 다음과 같이 썼습니다 : Big Data는 BIG (Busines ... Sastry Pantula 쓴 :
빅 데이터 (Big Data)는 특히 이번 통계 연례 (International Year of Statistics) 기간 동안 거대한 (비즈니스, 산업 및 정부) 기회를 제공합니다. 불행히도 일부는 데이터를 숨기고 독립적으로 테스트하거나 향후 문제 해결사를 활용할 수 있도록 액세스 할 수 없습니다. 수요를 충족시키기 위해 전세계 통계학 자의 역량을 구축 할 필요가 있습니다.
Wilfredo Salinas는 다음과 같이 적었습니다. 제 직업에서는 샐을 분석해야합니다. 윌 프리도 살리나스 쓴 :
제 직업에서는 수백 개 지역의 판매 거래를 분석해야합니다. 분석에서 우리는 매 분마다 발생하는 모든 트랜잭션을 살펴보고 싶지만 데이터가 너무 많아서 하루 2 ~ 3 시간으로 제한해야합니다. 두 번째 과제는 해당 데이터를 SQL 서버에서 스프레드 시트로 내보내는 것입니다. 우리의 전류 제한은 단지 100 만 행입니다. 이를 통해 우리는 요일, 시간대 및 위치 집합으로 여러 파일 세트를 작성해야합니다. 이 큰 데이터 집합에서 "큰 그림"을 얻는 유일한 방법은 연결된 참조를 만드는 것입니다. 여러 번 이러한 링크를 새로 고치거나 결국 떨어 뜨리지 않습니다. 매우 실망 스러울 수 있습니다.
로버트 Lochel 쓴 : 지난 2 년 동안, 나는 역임 ... 로버트 로헬 쓴 :
지난 2 년 동안, 나는 학군에서 교육 코치로 일했습니다. 펜실베니아의 Keystone 시험의 출현으로 대수학 1 과목 전반에 걸쳐 학생들의 수행 능력에 대한 자료를 수집 할 필요가 있습니다. 주정부는 학생들의 반응에 따라 질문을 수정하는 온라인 교실 진단 테스트 (CDT)를 제공합니다. 이 테스트는 점수를 제공하지만 실제 Keystone 시험과의 예측 상관 관계는 거의 없습니다. 학생 성적 데이터의 첫 번째 라운드가 있었으므로 CDT를 사용하는 학생에게 피드백을 제공하고 향상을위한 경로를 제공하기 위해 학생 Kesytone 점수와 학생 CDT 결과를 비교하려고 노력했습니다.
Glenn Waddell은 다음과 같이 적었습니다 : 저는 수학 선생이고 AP Stats 차입니다 ... 글렌 와델 쓴 :
저는 공립 고등학교 수학 교사이자 AP 통계 교사입니다. 우리가 창출하는 데이터의 양은 엄청납니다. 그러나 실제적으로 다르게 할 수있는 일, 개선 할 수있는 일, 추세 또는 패턴이 데이터에 어떤 것인지를 실제로 볼 수있는 시간이나 에너지를 가진 사람은 없습니다. 나는 가르 칠 수도 있고 데이터를 분석 할 수도 있지만 둘 다 할 수는 없다. 나는 항상 더 나은 방법을 배우려고 노력하고 있습니다.
크리스 본디 (Bodily)는 다음과 같이 적었습니다. 크리스 바디 리 쓴 :
Big Data가 큰 문제를 일으키는 상황에 자주 접하게됩니다. 많은 시간을 분석하기 위해 스프레드 시트에서 데이터를 수집하고이를보고 하위 데이터 세트를 식별합니다. 다른 경우 큰 데이터는 수십 또는 수십 개의 플롯 및 테이블이있는 큰 보고서를 의미합니다. 또한 개인은 과정에서 몇 시간을 소비하고 결과물로 끝나지 만 필요한 통찰력과 지침을 제공하지 못합니다. 적절한 도구를 사용하면 적절한 데이터 검증이 가능하며 효과적인 분석을 통해 학습이 가능합니다. 심지어 데이터를 시각화하는 것조차 다른 분석에 앞서 실마리와 정보를 얻을 수 있습니다.
