この新しい本であなたのNumbersenseを向上させましょうで述べたように以前の投稿 Kaiser Fungが新しい本を出しました。 Numbersense：ビッグデータをどのように活用するか 。私はそれを読んで楽しんだ。それは私が分析情報のより重要な消費者になるのを助けました、そしてそれはカイザーの本の目的です。
これは本からの抜粋です。
データを分析する際に、理論的な仮定を避けることはできません。分析はすべて部分データであり、部分理論です。先に述べたように、データが充実していると、さらに多くの理論が裏付けられ、その一部は互いに矛盾する可能性があります。しかし、より豊富なデータは悪い理論を救うことも、悪い分析を救うこともありません。世界は決して理論家が不足することはありません。ビッグデータの時代には、証拠のバーは低くリセットされているので、間違っていることから正しいことを判断するのは困難です。ビッグデータに注目している業界の人々は、より多くのデータがより良いものを生み出すことを当然と考えています。一方は他方に従わなければなりませんか？
より多くの人々がより迅速により多くの分析を実行しているとき、より多くの理論、より多くの観点、より多くの複雑さ、およびより多くの混乱があります。明確さ、コンセンサス、そして自信が少なくなります。
データが増えると、議論、検証、調整、複製に費やす時間が増えます。これらすべての活動は疑いと混乱を引き起こします。ビッグデータが私たちを前進させるのではなく後退させるのは本当の危険です。悪い理論は悪い証拠を集め、良い理論を捨て去ることによって根拠を得るので、科学を暗黒時代に戻すことを脅かす。
ビッグデータは現実のものであり、その影響は非常に大きくなります。少なくとも、私たちはみんなデータ分析の消費者です。私たちはより賢い消費者であることを学ぶ必要があります。必要なのは数感覚 。
これはあなた自身を改善するあなたのチャンスです数感覚カイザーの本のコピーを獲得することによって。（に行った場合ディスカバリーサミット Kaiserが統計パネルディスカッションを担当した今週初め、あなたは会議で本の無料コピーを手に入れた。カイザーは出席者のために本に署名しました。）
の最初の25人の読者コメントを残した人あなたが直面している課題は、増加する量のデータの収集、処理または分析を含む Kaiserの新しい本のハードカバーコピーを受け取る資格があります。数感覚 。このディスカッションに対するあなたの貢献は、50から75ワードの間の長さであるべきです。あなたがコメントを書くときあなたのEメールアドレスを必ず入力してください。そうすればあなたが勝者であれば私達はあなたに連絡することができます。1コメンターあたり1冊のみ。本を受け取る資格があるためには、コメンターは米国に居住していなければなりません。本を提供してくれたKaiserの出版社、McGraw-Hillに感謝します。
2013年10月1日更新：このコンテストは締め切りました。すべての本が授与されました。あなたの興味をありがとう！
Brett氏は、次のように述べています。ビッグデータに関して私が遭遇した1つの問題は...ブレット書きました：
ビッグデータに関して私が遭遇した1つの問題はダーティデータです。企業は、CRMおよびERPデータベースに含まれる情報を利用したいと考えており、少しのプログラミングで有用なモデルが作成されると考えています。大量のデータのクリーニングを行っても、残りのデータは非常に貧弱なため、推論に役立つ有用な母集団はもうありません。
ダンDは書いた：政府のために働く誰かとして...ダンD 書きました：
政府のために働く誰かとしてデータの収集はめったに問題ではありませんが、それを使う能力は常に厳しいです。プライバシーに影響を与えずにどれだけの詳細を入力できるか、そしてどのような情報が人々に役立つか。データ科学者として、私はデータについて何も知らない人の意見が私たちの分析と決定を正しい方向に導いてきたことを常に感じています。
クリスSは書いた：この記事は、特にaproposです。私はただ…クリスS 書きました：
この記事は特に助言です。私はデータの民主化がもたらす両刃の刀を話し合う会議から来ました。より多くの人がより多くのデータにアクセスできるようにすることは、すべての組織が活用したい非常に強力なことですが、厳密には同じことが言えますが、これは混乱とかき回しにつながる危険です。問題は、いつものように、コストを最小限に抑えながら利益を最大化する方法です。
Murray Meehanは、次のように書いています。私はMicrosoftのスポーツエンタテインメントで働いています...マレー・ミーハン書きました：
私はマイクロソフトのスポーツエンターテインメント部門で、クラウドベースのWebサービスとそれらに依存するクライアントアプリケーションに焦点を当てた分析の役割を担っています。私は週に1ギガバイトのWebサービスの機能とパフォーマンスについてのテストデータを生成していますが、チーム間のやり取りが簡単な非常に単純な測定基準のために、ほとんどすべて無視されています。もっと複雑な分析をするときは、同僚が理解できるようにそれを提示するのに苦労します。これは私の地域ではよくある問題です。
Glen氏は次のように述べています。グレン書きました：
私の研究の中には、ビッグデータのための分散コンピューティングを含むものがあります。ビッグデータは、1台のコンピュータにロードするには大きすぎるデータとして定義します。ビッグデータを分析するための最も一般的なツールはHadoopです。しかし、Hadoopはコンピュータ科学者によって設計されており、反復的な統計問題/データの視覚化/ベイズ法には適していません。統計学者たちがこの分野に貢献するのは刺激的な時です。
JanKÃéllingさんは、次のように書いています。ヤンケリング書きました：
私は最近、複数の情報源からの大量の生物学的データの分析を含むバイオインフォマティクスの研究を始めました。私は生物学者が彼らの質問にもっと効率的に答え、彼らの最初の動機を超えてデータセットを探求するのを助けるツールを開発しようとしています。私の仕事の大部分は、より良い分析と視覚化の利点を伝えることと、研究結果を無効にするかもしれない落とし穴に注意することを含みます。
Daveは書きました：私は小売電力会社で働いています、そして毎日1 ...デイブ書きました：
私は小売電力会社で働いており、毎日15分間隔の使用状況データ、天気データ、コールセンターの記録データ、ウェブログデータ、さらに分散データ環境でこのデータを迅速に分析する必要性が高まっているため。インターバルデータだけで1日あたり約2GBです。今では、マルチコアのUNIXサーバーでは数週間かかることがありますが、これは受け入れられません。
Dale氏は、次のように述べています。デール書きました：
私がこれまで個人的に直面していた最大のデータ課題は、電力市場でのモデリングと意思決定です。米国最大の市場であるPJMには、約10,000の固有ノードがあり、それぞれが1時間ごと（またはそれ以上）の頻度でデータを発行します。その温度、燃料の量と価格、そして発電機の入手可能性に加えて、商業的決定のための有用な信号をすべての騒音から分離することはかなり困難になります。
ボストンのMaegenは書いた：私の会社では、我々は大規模な分析... Maegen in Boston 書きました：
私の会社では、企業環境で収集された大量のセンサーベースのデータを分析しています。データのその場での性質は、ノイズの中のパターンを見つけることに非常に注意しなければならず、変わったセンサーの振る舞いを常に見張っていなければならないことを意味します。さらに、データの性質上、標準的なパターン認識アルゴリズムをそのまま適用することは困難です。一連の仮定を徹底的にテストする必要があります。ソフトウェアとハードウェアが改良されるにつれて、私たちは自分たちの分析が再現可能であり（適切な場合には）プロジェクト間で比較可能であることを保証するという課題に直面しています。
APウィリアムズは書いた：私たちの最大の課題は通常... APウィリアムズ書きました：
私たちの最大の課題は、通常、私たちの解釈にバイアスをかけることを避けることです。販売およびマーケティングデータを分析して、活動が結果に与える影響を判断しますが、真の統制グループがあることはめったにありません。これは、決定的でないことが多いため、データの分析と調査結果のソーシャル化の両方に多くの課題をもたらします。「ドラゴン」（私たちの利害関係者の先入観）を殺すのは困難です。
シェンティンアンは書いた：私は音声データを扱うとそこにar ...シェンティンアン書きました：
私は音声データを扱いますが、まだ完全には解決されていない質問がまだあります。特徴抽出の様々な方法が提案され使用されてきたが、これらの各々はそれ自身の有用な性質とそれほど有用ではない性質のセットを有する。使用されるタスクと方法にもよりますが、最良の組み合わせを決定するのは通常試行錯誤の場合であり、普遍的に最良の解決策はありません。
Anand Chandaranaは次のように書いています。アナンド・チャンダラナ書きました：
人的資本分析の分野では、私の最大の課題は、プログラムの所有者や、データに何もないことを求めている他の利害関係者です。彼らが言うように「ゴミを出しなさい、ゴミを出しなさい」。1つのデータセット（エンゲージメント調査データなど）を別のデータセット（パフォーマンス評価など）に結び付ける場合は、2つのデータと安定したデータの流れの間に実際のリンクが必要です。年1回または2年に1回（後者の場合）収集された業績評価またはエンゲージメント調査データはあまり役に立ちません。エンゲージメント調査データは、四半期ごとまたは継続的にパルス調査によって収集される場合、はるかに価値があります。業績評価は、未分化で不正確であることが多く、他の人的資本測定基準と相関することはめったにありません。
Chrisは次のように書いています：ビッグデータには大きな責任があります。している間...クリス書きました：
ビッグデータには大きな責任があります。分析側ではアイデアの流れをコントロールしていると考えていますが、より多くのアイデアがそこに出てくるにつれて、彼らは自分たちの生活を得ることができます。私がしている事件が私と話をすることは決してないかもしれないエンドユーザーによって同じ方法で読まれることを確実にするために私の会社には挑戦があります。
インディアナ州のアンナは、こう書いています。インディアナ州のアンナ書きました：
私の現在および以前の仕事は、どちらも膨大な量の電子カルテデータを中心に展開しました。10年分のデータを地図上に表示しようとしている場合、どの地域の郵便番号を使用する必要があるのか（また、ある地域の人口の300％が表示される場合）アメリカの国勢調査！）患者が訪問ごとに異なる人種を報告した場合、どの人を使用するかをどのように決定しますか？どのようにして有意義でありながらプライバシーを保護するレベルまでデータを集約するのでしょうか。
Antonioは自宅から書いた：ビッグデータを単純なものとして扱う...家からのアントニオ書きました：
単純な個人としてビッグデータを扱うことは非常に困難です。場合によってはWebツールが役に立ちます。ある時には、私はウェブソースからの情報を勉強しなければなりませんでした。グーグルのスクリプトを書いて時間駆動のトリガーを設定することで、数分ごとに部分的な統計を集めてグーグルのスプレッドシートに保存することができました。これにより、最終的な分析が大幅に簡略化されました。
マイクPaulonisは書いた：コンピュータinfrastructuからログファイル...マイク・ポロニス書きました：
内容が低価値であると考えられるため、内容があまりにも構造化されすぎているため、またはログに記録されたデータが多すぎる（増え続ける）ため、コンピュータインフラストラクチャからのログファイルはしばしば無視されます。ビッグデータの手法は、ログファイルの分析という困難な問題に非常に適しており、知識のないユーザーでもその価値を引き出すことができます。
Arved Harding氏は、次のように書いています。アービングハーディング書きました：
有用な情報を集めるために大きなデータセットに取り組む中で、私たちは製造環境で長年にわたりこれを行ってきた人々のような障壁に直面しているのかもしれません。データをマイニングするだけでは無駄な作業になる可能性があります。体系的な考え方が役立つことがあります：必要なデータ、データを取得する方法と場所を決定し、そしてがらくたのデータをきれいにします。今日の優れたコンピュータと統計ツールを使って、採掘を始めることができます。
Scott Drumwrightは、次のように書いています。ビッグデータは重要な役割を果たすと私は思います...スコットドラムライト書きました：
ビッグデータは進化の一歩であり、最新の新技術流行ではないと考える人もいます。より多くのデータにアクセスできれば、より少ないデータを分析することを選択することは決してありません。私たちが住んでいる世界を完全にマッピングして説明したいというのは、私たちの中に構築されています。テクノロジーにおける次の新しいことが道徳的な警告を伴うのは今回が初めてです。
Arati Mejdalは書きました：こんにちは、マーク。ご意見ありがとうございます。Co ...アラティ・メイダル書きました：
ハイマーク。ご意見ありがとうございます。コメントは50〜75語にする必要があります。あなたの資格があります！
マークユーイングは書いた：私はポストが賭けられていたかどうかわからなかった...マーク・ユーイング書きました：
投稿が50〜75語であるかどうか、または50〜75語が最小範囲であるかどうかわからなかったので、安全のためにコメントを75語にしました。この本のコピーが大好きです。
Mark Ewingは次のように書いています。私は大規模な国際企業で働いています...マーク・ユーイング書きました：
私は大規模な国際企業で働いていますが、多くの場合、販売、価格設定、その他のシステムから内部的に生成されたデータは巨大で、至るところに保存されています。これらのシステムを分析する際には、適切なデータをすべて収集し、正しく結合してから分析を開始します。私は自分のソリューションをクライアントに展開しているので、スピードとスペースに合わせて最適化する必要がありますが、これは簡単には解決できない問題です。
Arati Mejdalは書きました：こんにちは、キース。ご意見ありがとうございます。B ...アラティ・メイダル書きました：
こんにちは、キース。ご意見ありがとうございます。しかし、ブログ記事の配付ルールからわかるように、このオファーは米国の居住者にのみ公開されています。オーストラリアに本を出荷することはできません。ごめんなさい。
EAVIのKeithは、次のように述べています。 EAVIでのキース書きました：
ここで提起された見解に完全に同意する。
ビッグデータの利用の増加に伴う大きな課題の1つは、民主化です。アクセスするのが簡単になるので、もっと多くの人々（必ずしも数字の使い方の訓練を受けているわけではない）が分析を行えるようになるという提案をすでに見ています。
この数字がなぜその数字と一致しないのか（実際には同じではない - つまり、異なる期間、異なる計算）、内部クエリの急上昇を思い出してください。
同じデータセットから見て完全に反対の見方をしている人々や広範囲に広がる人々を本当に楽しみにしているわけではありません。
PS。私はオーストラリアにいるので、本を手に入れるのはおそらく難しいでしょう...
James Stiebelは、次のように書いています。ジェームズ・スティーベル書きました：
ビッグデータは洞察のための大きな機会を提供しますが、それはより多くの問題、複雑さおよび混乱を提供します（特に相互作用を考えるとき）。新しいアナリストをトレーニングするとき、私はペストのようなビッグデータを避けます。リトルデータのルール
私の経験から、Little Dataははるかに管理しやすく、親しみやすく、そして価値があることがわかりました。小規模なデータセットでは、変数の組み合わせをテストし、複数のデータサンプリングをシミュレートし、複数の予測モデルを構築することがはるかに簡単/迅速になりました。ビッグデータでは、洞察力を高めるためにデータの準備と分析に費やす時間がかかります。ビッグデータがビッグエフォートの価値があるかどうかわからない。
Kehleboe Gongloeは書きました：2008年に、私は組織化するように頼まれました...ケレボーゴングロー書きました：
2008年に、私はリベリアの労働力調査を組織し実施するよう求められました。そのような調査を実施したことの過去の経験もリベリアで行われた過去の労働力調査もない。どこでどのように始めるのかが大変でした。私たちの救世主は、国際労働機関統計局でした。私たちはデータを集めて分析しましたが、政府は1年以上後に結果を公表する許可を与えただけでした。この挑戦によって私は学校に戻り、統計を勉強しています。ビッグデータの概念全体がますます魅力的になってきており、私は深刻な意味でそれに寄りかかっています。
Sastry Pantulaは書きました：ビッグデータはBIG（ビジネスを提供しています...サストリパントゥーラ書きました：
ビッグデータは、特にこの国際統計年の間に、BIG（ビジネス、産業、政府）の機会を提供しています。残念ながら、データを隠していて、利用したり、独自にテストしたり、将来の問題解決者を訓練するためにアクセスできない人もいます。需要を満たすために世界中の統計家の能力を高める必要もあります。
Wilfredo Salinasは書きました：私の仕事では、salを分析する必要があります...ウィルフレドサリナス書きました：
私の仕事では、数百箇所の販売取引を分析する必要があります。私たちの分析では、毎分発生するすべてのトランザクションを調べたいと思いますが、そのデータは非常に圧倒的であるため、1日のほんの2、3時間に絞り込む必要があります。2つ目の課題は、そのデータをSQLサーバーからスプレッドシートにエクスポートすることです。現在の制限はわずか100万行です。これにより、曜日、時刻、および場所のセットごとに複数のファイルセットを作成する必要があります。このビッグデータから「全体像」を得る唯一の方法は、リンクされた参照を作成することです。多くの場合、これらのリンクは更新されないか、最終的にドロップされます。それは非常にイライラすることができます。
ロバートロシェルは書きました：最後の2年間、私はinsを務めました...ロバートロシェル書きました：
この2年間、私は学区で指導コーチを務めました。ここペンシルベニア州でのKeystone試験の出現により、代数1コースを通して生徒の成績に関するデータを収集する必要があります。州は、学生の回答に基づいて質問を適応させるオンラインのClassroom Diagnostic Test（CDT）を提供しています。このテストはスコアを提供しますが、実際のKeystone試験との予測的な相関はほとんどありません。CDPを受けている生徒にフィードバックを提供し、改善のための道を提供するために、生徒のパフォーマンスデータの最初のラウンドができたので、私は生徒のKesytoneスコアを生徒のCDT結果と比較することに取り組んでいます。
Glenn Waddellは書きました：私は数学の先生で、AP統計のお茶です...グレンワデル書きました：
私は公立高校の数学の先生であり、AP Statsの先生です。生成されるデータの量は膨大ですが、実際にやり取りして改善できることや、データに含まれる傾向やパターンが何かを確認するための時間やエネルギーがある人はいません。教えることも、データを分析することもできますが、両方はできません。私はいつも両方をより良くする方法を学ぼうとしています。
Chris Bodily氏は次のように書いています。クリス・ボディリー書きました：
ビッグデータが大きなトラブルにつながるような状況に遭遇することがよくあります。データを表示してサブデータセットを識別するために、スプレッドシートにデータを収集して分析が試みられることがよくあります。また、ビッグデータは、何十、何百ものプロットや表を含む大きなレポートを意味します。さらに、個人はそのプロセスに何時間も費やしても、必要な洞察やガイダンスをまだ提供していないアウトプットになってしまいます。適切なツールを使用すると、適切なデータ検証が可能になり、効果的な分析が学習につながります。データを効果的に視覚化しても、他の分析の前に手掛かりや情報を得ることができます。
