もっと見る...ディスカバリー サミット フランクフルト: 「タイタニック号再訪: 全員出動!」の要旨 (EU2018 202)
レベル: 初級
Alfredo López Navarro、Web インテリジェンス ナレッジ マネージャー、デジタル コマンド センター、Telefónica Germany
1912 年に氷山に衝突して沈没した RMS タイタニック号の惨事に関する、あまり知られていない事実を説得力のある形で説明したいと思います。この歴史は誰もが知っている、少なくともそう思っています。JMP を利用した Telefónica の Discovery Methodology のおかげで、私たちはデータ ポイントの海に深く潜り込み、忘れ去られた洞察を救い出す探検に乗り出します。「インターネット オープン」機能を使用してデータをスクラップします。テーブルを結合、連結、更新して、多くの洞察を提供できる強化されたデータベースを作成します。その後、ANOVA、カテゴリ分析、視覚分析を使用して、魅力的なデータ主導のストーリーを語ります。最後の最後にサプライズがあります。もちろん、全員が協力して取り組みます。すべてが文書化され、説明されて JMP ユーザー コミュニティにアップロードされます。これを基に他の人が構築できるように会話を開始したいと考えています。ぜひご参加ください。
添付ファイルは次のとおりです:
- Titanic Encyclepedia から救命ボートの情報を取得するために使用したインポート スクリプト。ただし、完全なデータにアクセスするには、Encyclopedia に登録する必要があります。登録しないと、基本情報しか取得できません。
- JMP 14 で使用するためにアーカイブされた JMP プロジェクト ファイル内のジャーナルとデータ テーブル。プロジェクトは JMP 14 で導入されたため、JMP 13 以前のバージョンでは開いたり動作したりできません。01_Titanic.jmp ファイルに保存されている一部のモデルは JMP Pro で作成されているため、これらのモデルの保存されたスクリプトは JMP のみでは実行されません。
- JMP 13 用の .zip ファイルもあり、これにはジャーナルと関連データ テーブルが含まれています。JMP 14 の場合、一部のモデルは JMP Pro でのみ実行されますが、ジャーナル内から呼び出される分析には影響しません。
ストーリーを伝える方法は JMP を超えていますが、JMP の分析とレポートを使用しています。これは、@Telefonica の分析結果を他のレポートにも組み込む必要があるためです。タイタニック号のデータセットに基づいて情報に基づいたグラフがどのようになるかをよりよく理解するには、 この小冊子を読むことをお勧めします。
人生は雑然としている、そしてデータも雑然としている
これは簡単だろうと思っていましたが、そうではありませんでした。最初は、JMP の「インターネット オープン」データ スクレーパー (ImportScript.jsl が添付) は問題なく動作していましたが、現実は (いつものように) もっと難しいことがわかりました。データが (異なるソース間で) 一貫していないこと、そして何よりも、データが欠落していることがわかったのです。
(注: Encyclopedia Titanica はダウンロード ルールを変更しました。残念ながら、完全なデータを取得するには登録する必要があります。そのスクリプトのみを使用すると、名前、年齢、クラス/部門、および写真へのリンクが提供されます。徹底的な分析を行うには情報が少なすぎます。完全なデータセットにはさらに多くの情報が含まれており、すぐにここに追加されます)。
私たちは、リレーショナル データベースの TRIPLET 標準形式に準拠した「整然としたデータ」を目指しています。
- 各変数は列を形成します。
- 各観測は行を形成します。
- 観測単位の種類ごとに表を作成する.
データ品質の修正には、JMP の再コード化機能や結合、連結などのデータ テーブル ツールを使用した場合でも、徹夜で何ヶ月もかかりました。主な理由は、名前と ID が必ずしも正確に一致するとは限らず、また参加するはずだった人が参加しなかったため、データ自体が正確に一致するように手動で検証する必要があったためです。そして、私たちの目標は、さらなる分析の基盤として非常に堅牢なデータ テーブルを取得することでした。
タイタニック号惨事の古典的な見方：金持ち、女性、子供が生き残った
頭の中で短いリストを作ってください。タイタニック号の惨事について考えたとき、最初に頭に浮かんだ 2 つのことは何でしょうか。おそらく、金持ち、女性、子供が生き残った、といったことでしょうか。面倒なデータ準備作業の後、JMP の優れた探索的データ分析ツールを使用して、生存率の主な要因を理解できるようになりました。
まず、RIP と生存者の年齢分布に大きな違いは見られません。さらに掘り下げて、階級と女性/子供/男性の区分を見てみましょう。女性と上級階級の生存率は高くなっています。さらに深く掘り下げてみましょう。すべての女性と子供に当てはまるわけではなく、第 3 階級の生存率は低くなっています。性別、年齢、富の単純なモデルを使用すると、良い結果が示され、この見解が裏付けられます。ただし、これは完全な真実ではないと考えました。特に、データ準備のすべての作業の後では、これを信じることに抵抗を感じました。
新しいアプローチ：新しい変数と当時の考え方
従来の分析に、より多くの変数、つまり「起源」を追加しました。国籍、民族的起源、居住地は切り離されたセットではないため、これを鵜呑みにしないでください。したがって、特に帝国時代においては、これは非常に微妙なトピックです。 
私たちが考慮したもう 1 つの重要な事実は、当時の精神状態です。この精神状態は、この災害の際の避難に信じられないほどの影響を及ぼしました。氷山が船に衝突した後もタイタニック号の航行を維持するために犠牲を払ったエンジニアたちの運命がなければ、タイタニック号はもっと早く沈没し、はるかに多くの人が亡くなっていたでしょう。訓練された海軍士官と、命令にできるだけ厳密に従う彼らの精神状態がなければ、もっと多くの人が救われたかもしれません。港にいた海軍士官が「女性と子供を優先」という命令を「女性と子供のみ」として扱ったことは、船の左舷側の乗客の数、性別、階級に影響を与えました。この時代をさらに詳しく見てみましょう。
ブルーリボン
タイタニック号は処女航海中だったので、機械類、特に往復動エンジンには細心の注意を払う必要があり、航海中は徐々にフルパワーまで運転された。4 月 15 日に予定されていたフルパワー運転は、記録を破ろうとしたのではなく、エンジンが設計出力を一貫して達成できるかどうかを確認するためだけのものだった。タイタニック号が「ブルーリボン」を破る可能性はなかった。単にパワーが足りなかったのだ。モーリタニア号とルシタニア号は、より小型の船を記録的なスピードで推進するために約 75,000 馬力を必要としたが、タイタニック号のエンジンが生み出せた最高出力は約 45,000 馬力だった。
氷山が見えた直後、ブリッジのマードックが機関室の電報で両エンジンに「全速後進」を指示したとされ、その時点から衝突まで 30 秒から 40 秒かかったとされている。したがって、衝突前にエンジンが全速後進していた可能性は低い。氷山はエンジンが衝突に影響を及ぼすには近すぎた。エンジンが停止したことは間違いないが、衝突前にエンジンが影響を及ぼすには時間が足りなかった。試験情報からわかるように、エンジンは制御に素早く反応したが、衝突時にはまだ前進していた。エンジニアが制御に到達するまでに時間がかかり、さらにエンジンが反応するまでに時間がかかったためである。
ブルーリボンは、大西洋を定期航行し、最高速度記録を樹立した客船に与えられる非公式の栄誉です。この用語は競馬から借用されたもので、1910 年以降まで広くは使われていませんでした。伝統的に、この記録は平均速度に基づいており、航行時間ではなく、船の航路が異なるためです。また、東行きと西行きの速度記録は別々に計算されます。これは、メキシコ湾流やその時点の気象条件に逆らって西行きの航海の方がより困難なため、平均速度が低くなる傾向があるためです。
ほとんどの船は商船のレッドダスターを飛行していた。スミス大尉は王立海軍予備隊司令官の地位にあったため、王立海軍予備隊のブルーダスターを飛行できるという名誉を得た。
3 種類の民間船舶は、無地の青い旗の着用が許可されました。その 1 つは、士官および乗組員に一定数の退役した英国海軍の人員または英国海軍の予備役が含まれているか、政府の令状を持つ英国海軍予備役の士官が指揮する一部の英国商船です。
HMS ドレッドノートはイギリス海軍向けに建造され、海軍力に革命をもたらした戦艦です。この艦の名前と、この艦にちなんで名付けられた軍艦のクラス全体は、古英語の「ドレッドノート」が「恐れを知らぬ者」を意味することに由来しています。ドレッドノートが 1906 年に就役したことは、海軍技術の大きな進歩を示すものであり、この艦の名前は、この艦にちなんで名付けられた艦のクラスだけでなく、戦艦の世代全体、「ドレッドノート」と関連付けられるようになりました。この艦によって時代遅れとなった世代の艦は、「プレドレッドノート」として知られるようになりました。海軍本部第一海軍卿、サー・ジョン・「ジャッキー」・フィッシャー提督は、ドレッドノートの父とされています。就任後まもなく、彼は 12 インチ (305 mm) 砲のみを搭載し、速度 21 ノット (39 km/h、24 mph) の戦艦の設計調査を命じました。彼は代替設計を評価し、詳細な設計作業を支援するために「設計委員会」を招集しました。委員会の副次的な利点の 1 つは、彼と海軍本部が、このように根本的に異なる戦艦を設計する前に一流の専門家に相談しなかったという政治的な非難から守られることでした。
ドレッドノートは、数門の大型砲と小型砲の重装甲を装備するのではなく、統一された主砲を搭載した当時の最初の戦艦でした。また、蒸気タービンで駆動する最初の主力艦でもあり、完成当時は世界最速の戦艦でした。ドレッドノートの進水は海軍の軍拡競争の引き金となり、世界各国の海軍、特にドイツ帝国海軍は第一次世界大戦に向けて急いで対抗しました。
大西洋横断の高速化が急がれていたにもかかわらず、タイタニック号は世界記録を破るために作られた船ではなかった。
タイタニック号は軍の旗の下にあった。なぜなら船員と士官が乗っていたからだ。
新しい変数: Trim、Fate、Wealth、Survival_Trim
新しい変数を導入することで、タイタニック号のデータの典型的なカテゴリ分析を連続変数の分析に変えることができました。トリムは、単に「生存/安らかに眠れ」と言うだけではいけないことを明確にするために使用されました。避難の順番が最初だったか最後だったかは重要です。乗客の中にいたエンジニア、司祭、音楽家、子供連れの女性など、生き残るはずだったのに犠牲になった人々がいることが運命によって示されています...
新しい変数を使用してモデリングすると、はるかに優れた AUC (元のモデルの 0.72 から 0.85) を持つモデルを見つけることができます。しかし、なぜさらに優れたモデルが見つからないのでしょうか。誤分類率、特にモデルに基づいて生存するはずだったが死亡した誤分類された乗客に注目します。XXX のより情報に基づいたデータにより、これらの誤分類された乗客の多くが船を離れることを拒否したり、犠牲になったり、単に英語が話せなかったために船上で行方不明になったことが分かりました。
詳細はジャーナルをご覧ください
