查看更多...法兰克福探索峰会:重温《泰坦尼克号》摘要:全体人员上甲板!(EU2018 202)
级别:初学者
Alfredo López Navarro,西班牙电信公司德国数字指挥中心网络智能知识经理
我们想对一些鲜为人知的关于皇家邮轮泰坦尼克号灾难的事实提供令人信服的描述,该船于 1912 年与冰山相撞后沉没。我们都知道这段历史,或者我们自认为知道。借助 Telefónica 的发现方法(由 JMP 提供支持),我们将开始一场深入数据点海洋的探险,以从遗忘中拯救见解。我们将使用“ 互联网公开赛 ”功能抓取数据。我们将连接、串联和更新表格,直到创建一个能够提供大量见解的增强型数据库。然后,通过方差分析、分类和可视化分析,我们将讲述一个引人入胜的数据驱动故事。期待最后一刻的惊喜!当然,这将是全员参与:一切都记录下来并解释清楚,以便上传到 JMP 用户社区。我们希望展开对话,让其他人在此基础上继续发展。加入我们吧!
附件为:
- 我们用导入脚本从泰坦尼克号百科全书获取救生艇信息。但是,要访问完整数据,需要在百科全书上注册。否则您只能获得基本信息。
- 我们的期刊和数据表位于存档的 JMP 项目文件中,将在 JMP 14 中使用。项目是在 JMP 14 中引入的,因此这些项目无法在 JMP 13 或更早版本中打开/运行。保存在 01_Titanic.jmp 文件中的某些模型是使用 JMP Pro 创建的,因此这些模型的保存脚本不会仅通过 JMP 执行。
- JMP 13 还有一个 .zip 文件,包括期刊和相关数据表。至于 JMP 14,一些模型只能使用 JMP Pro 运行,但这不会影响从期刊内部调用的分析。
呈现故事的方式超越了 JMP,而是使用了 JMP 的分析和报告。这是因为@Telefonica 的分析结果也需要纳入其他报告中。为了更好地了解基于泰坦尼克号数据集的知情图表是什么样子,您可能需要开始阅读这本小册子
生活很混乱,数据也是如此
我们以为这会很容易:但事实并非如此。一开始,JMP“internet Open”数据抓取工具(附带 ImportScript.jsl)运行良好,但现实却一如既往地棘手:我们发现数据不一致(不同来源之间),最糟糕的是,数据缺失。
(注:泰坦尼卡百科全书更改了下载规则。很遗憾,您现在必须订阅才能获得完整数据。使用该脚本只会提供姓名、年龄、班级/部门和图片链接。信息太少,无法进行彻底的分析。完整数据集包含更多信息,我们很快会将其包含在此处)。
我们努力实现符合关系数据库的三重范式的“整洁数据”:
- 每个变量形成一列。
- 每个观察结果形成一行。
- 每种类型的观察单位形成一张表格.
修复数据质量需要数月的熬夜,即使使用 JMP 的 Recode 等功能或连接、串联等数据表工具,也是如此。主要是因为必须手动校对数据本身以确保匹配正确,因为姓名和 ID 并不总是正确匹配,而且有些人本应加入但实际上却没有加入。我们的目标是获得一个非常可靠的数据表作为进一步分析的基础。
泰坦尼克号灾难的经典观点:富人、妇女和儿童幸存下来
在脑海中列出一个简短的清单,当你想到泰坦尼克号灾难时,你首先想到的两件事是什么。可能是富人、妇女和儿童幸存下来了?经过繁琐的数据准备工作后,我们现在可以使用 JMP 出色的探索性数据分析工具来了解生存率的关键驱动因素。
首先,我们没有看到 RIP 和幸存人员的年龄分布存在很大差异。让我们进一步深入研究,看看阶级和妇女/儿童/男性的划分。女性和高阶级的存活率更高。让我们再深入一点。并非所有女性和儿童都是如此,第三阶级的存活率更差。使用性别、年龄、财富的简单模型可以得到良好的结果并证实这一观点。然而,我们认为这不可能是全部事实,尤其是在我们进行了所有数据准备工作之后,我们很难相信这一点。
新方法:新变量和当时的心态
我们在传统分析中加入了更多变量,即“起源”。这应该谨慎对待,因为国籍、民族起源和居住地并不是相互独立的集合。因此,这是一个非常微妙的话题,特别是在那些帝国时代。 
我们考虑的另一个重要事实是那个时代的心态,这种心态对这场灾难中的疏散产生了不可思议的影响。如果没有那些在冰山撞击泰坦尼克号后牺牲以维持其运行的工程师的命运,泰坦尼克号将会沉没得更快,更多的人将会丧生。如果没有训练有素的海军军官和他们严格遵守命令的心态,可能会有更多的人获救。港口的一名海军军官将“妇女和儿童优先”的命令视为“仅限妇女和儿童”,这对船左舷乘客的数量、性别和等级产生了影响。让我们进一步了解那个时代。
蓝丝带
由于泰坦尼克号正处于首航阶段,因此必须密切关注机械设备,尤其是往复式发动机,这些发动机将在整个航行过程中逐渐达到最大功率。计划于 4 月 15 日进行的全功率运行并非为了打破任何纪录,而只是为了检查发动机是否能够始终达到设计功率。泰坦尼克号不可能打破“蓝丝带”,因为它的功率根本不够。毛里塔尼亚号和卢西塔尼亚号需要大约 75,000 马力才能以创纪录的速度推动其较小的吨位,而泰坦尼克号发动机最多只能产生大约 45,000 马力。

有人认为,在舰桥上的默多克在发现冰山后不久就按下了发动机室电报,让两台发动机“全速后退”,从那时到撞击,总共用了 30 到 40 秒的时间。因此,发动机在撞击前不太可能全速后退;冰山太近,发动机无法对碰撞产生任何影响。毫无疑问,发动机确实停了下来,但在碰撞前没有足够的时间产生任何影响。从试验信息中可以看出,发动机对控制装置反应迅速,但在撞击时它们仍在向前行驶,因为工程师需要时间才能到达控制装置,然后发动机还需要更多时间才能做出反应。
蓝丝带奖是授予以最高速度穿越大西洋的定期航线客轮的非正式荣誉。该术语源于赛马,直到 1910 年以后才被广泛使用。传统上,记录基于平均速度而不是航行时间,因为船只遵循不同的路线。此外,东行和西行的速度记录是分开计算的,因为西行记录航行更困难,逆着墨西哥湾流和当时的天气系统,通常会导致平均速度较低。
大多数船只都驾驶商船的红色达斯特飞机。由于史密斯上尉是皇家海军预备队的指挥官,因此他可以驾驶皇家海军预备队的蓝色达斯特飞机
有三类民用船只允许佩戴纯蓝色旗帜。其中之一就是一些英国商船,其军官和船员包括一定数量的皇家海军退役人员或皇家海军预备役军人,或由持有政府授权的皇家海军预备役军官指挥。
无畏号战列舰是英国皇家海军建造的战列舰,它彻底改变了海军力量。它的名字和以它命名的整个战舰等级都源于古英语,其中“无畏”的意思是“无所畏惧的人”。无畏号于 1906 年投入使用,代表了海军技术的进步,它的名字与整整一代战列舰“无畏舰”以及以它命名的战舰等级联系在一起。被它淘汰的那代战舰被称为“前无畏舰”。海军部第一海务大臣约翰·“杰基”·费舍尔上将被誉为无畏舰之父。上任后不久,他下令设计一艘仅配备 12 英寸(305 毫米)火炮、航速为 21 节(39 公里/小时;24 英里/小时)的战列舰。他召集了一个“设计委员会”来评估备选设计并协助进行详细设计工作。该委员会的一个附带好处是,它可以保护他和海军部免受政治指控,即他们在设计如此完全不同的战舰之前没有咨询顶尖专家。
无畏号是当时第一艘拥有统一主炮的战列舰,而不是几门大炮加上重型副炮。它也是第一艘由蒸汽涡轮机驱动的主力舰,这使它成为当时世界上速度最快的战列舰。无畏号的下水引发了一场海军军备竞赛,世界各地的海军,尤其是德国帝国海军,在第一次世界大战前夕争相与之匹敌。
尽管当时人们热衷于更快地横渡大西洋,但泰坦尼克号并非为打破世界纪录而建造。
泰坦尼克号悬挂军旗,因为船上有军士和军官
新变量:Trim、Fate、Wealth、Survival_Trim
通过引入新变量,我们可以将泰坦尼克号数据的典型分类分析转变为连续变量分析。使用 Trim 来明确表示您不能只说幸存/RIP。如果您是撤离队伍中的第一批人或最后一批人,情况就会有所不同。命运表明,有些人本应幸存下来,但却牺牲了,比如乘客中的工程师、牧师、音乐家、带着孩子的妇女……

使用新变量建模可以找到具有更好 AUC 的模型(从原始模型的 0.72 到 0.85)。但是,为什么我们找不到更好的模型呢?我们查看了错误分类率,特别是那些根据模型应该幸存但却死亡的错误分类的乘客。我们在 XXX 中通过更翔实的数据发现,许多错误分类的乘客拒绝离开船,牺牲,或者只是不会说英语,并在船上迷路了。

您可以在期刊中找到更多见解