더 보기...Discovery Summit Frankfurt: Titanic Revisited: All Hands on Deck!(EU2018 202)에 대한 요약
레벨: 초보자
Alfredo López Navarro, 웹 인텔리전스 지식 관리자, Digital Command Center, Telefónica Germany
1912년 빙산과 충돌하여 침몰한 RMS 타이타닉호의 재난에 대한 잘 알려지지 않은 몇 가지 사실을 설득력 있게 설명하고 싶습니다. 우리 모두는 역사를 알고 있습니다. 적어도 그렇게 생각합니다. JMP로 구동되는 Telefónica의 Discovery Methodology 덕분에 우리는 데이터 포인트의 바다로 깊이 뛰어들어 잊혀진 통찰력을 구출하는 탐험에 착수할 것입니다. " 인터넷 오픈 " 기능을 사용하여 데이터를 스크랩합니다. 풍부한 통찰력을 제공할 수 있는 향상된 데이터베이스를 만들 때까지 테이블을 조인, 연결 및 업데이트합니다. 그런 다음 ANOVA, 범주형 및 시각적 분석을 통해 매혹적인 데이터 기반 스토리를 들려드리겠습니다. 마지막 순간의 놀라움을 기대하세요! 물론, 모든 사람이 손을 대야 합니다. 모든 것이 문서화되고 설명되어 JMP 사용자 커뮤니티에 업로드됩니다. 다른 사람들이 이를 기반으로 구축할 수 있는 대화를 시작하고 싶습니다. 저희와 함께 하세요!
첨부 파일은 다음과 같습니다.
- 타이타닉 백과사전에서 구명보트 정보를 얻는 데 사용한 가져오기 스크립트입니다. 그러나 전체 데이터에 액세스하려면 백과사전에 등록해야 합니다. 그렇지 않으면 기본 정보만 얻을 수 있습니다.
- JMP 14에서 사용할 보관된 JMP 프로젝트 파일에 있는 저널 및 데이터 테이블. 프로젝트는 JMP 14에서 도입되었으므로 JMP 13 또는 이전 버전에서는 열리거나 작동하지 않습니다. 01_Titanic.jmp 파일에 저장된 일부 모델은 JMP Pro로 생성되므로 이러한 모델에 대한 저장된 스크립트는 JMP에서만 실행되지 않습니다.
- 저널과 관련 데이터 테이블을 포함하여 JMP 13용 .zip 파일도 있습니다. JMP 14의 경우 일부 모델은 JMP Pro에서만 실행되지만, 이는 저널 내에서 호출되는 분석에는 영향을 미치지 않습니다.
스토리를 전달하는 방식은 JMP를 넘어서 JMP의 분석과 보고서를 사용합니다. 이는 @Telefonica 분석 결과를 다른 보고서에도 통합해야 하기 때문입니다. 타이타닉 데이터 세트를 기반으로 한 정보 그래프가 어떻게 보일지 더 잘 이해하려면 이 책자를 읽어보는 것이 좋습니다.
인생은 지저분하고 데이터도 마찬가지입니다.
우리는 이것이 쉬울 것이라고 생각했습니다. 그렇지 않았습니다. 처음에는 JMP "인터넷 오픈" 데이터 스크래퍼(첨부된 ImportScript.jsl)가 잘 작동했지만 현실은 -항상 그렇듯이- 더 까다로웠습니다. 데이터가 일관되지 않다는 것을 발견했고(다른 소스 간) 무엇보다도 누락된 데이터가 있다는 것을 발견했습니다.
(참고: Encyclopedia Titanica는 다운로드 규칙을 변경했습니다. 불행히도 이제 전체 데이터를 얻으려면 구독해야 합니다. 해당 스크립트만 사용하면 이름, 나이, 학년/부서 및 그림 링크만 제공됩니다. 철저한 분석에는 정보가 너무 적습니다. 전체 데이터 세트에는 훨씬 더 많은 정보가 포함되어 있으며, 곧 여기에 포함시킬 것입니다.)
우리는 관계형 데이터베이스의 TRIPLET 일반 형식을 준수하는 "정리된 데이터"를 위해 노력합니다.
- 각 변수는 열을 형성합니다.
- 각 관찰 결과는 행을 형성합니다.
- 각 유형의 관찰 단위는 표를 형성합니다..
데이터 품질을 수정하는 데는 JMP의 Recode 기능이나 join, concatenate, ...와 같은 데이터 테이블 도구를 사용하더라도 몇 달 동안 밤샘 작업을 해야 했습니다. 주로 데이터 자체를 수동으로 교정하여 올바른 일치 여부를 확인해야 했기 때문입니다. 이름과 ID가 항상 올바르게 일치하지 않았고, 일부 사람들은 참여해야 했지만 참여하지 않았습니다. 그리고 우리의 목표는 추가 분석을 위한 기반으로 매우 견고한 데이터 테이블을 얻는 것이었습니다.
타이타닉 참사에 대한 고전적 관점: 부자, 여자, 아이들이 살아남았다
마음속으로 짧은 목록을 만들어 보세요. 타이타닉 재앙에 대해 생각할 때 가장 먼저 떠오르는 두 가지가 무엇인가요? 아마도 부자, 여성, 어린이가 살아남았다는 것과 같은 것일 겁니다. 데이터 준비라는 번거로운 작업을 마치고 나면 이제 JMP의 환상적인 탐색적 데이터 분석 도구를 사용하여 생존율의 주요 요인을 이해할 수 있습니다.
첫째, RIP 또는 생존자의 연령 분포에서 큰 차이가 보이지 않습니다. 더 깊이 파고들어 계층과 여성/어린이/남성의 분포를 살펴보겠습니다. 여성과 상류 계층은 생존율이 더 좋습니다. 더 깊이 파고들어 보겠습니다. 모든 여성과 어린이에게 이것이 사실인 것은 아니며, 3류 계층은 생존율이 더 나쁩니다. 성별, 연령, 부의 간단한 모델을 사용하면 좋은 결과가 나타나고 이러한 견해가 확인됩니다. 그러나 우리는 이것이 완전한 진실일 수 없다고 생각했습니다. 특히 데이터 준비 작업을 마친 후에는 이것을 믿기가 어려웠습니다.
새로운 접근 방식: 새로운 변수와 그 시대의 정신
우리는 전통적인 분석에 더 많은 변수를 추가했습니다. 즉, " 기원 "입니다. 국적 , 민족적 기원 및 거주지 가 분리된 집합이 아니기 때문에 이것은 소금 한 알과 함께 받아들여야 합니다. 따라서, 특히 제국 시대에는 매우 미묘한 주제였습니다. 
우리가 고려한 또 다른 중요한 사실은 이 재난 동안 대피에 엄청난 영향을 미친 그 시대의 사고방식이었습니다. 빙산이 배에 부딪힌 후에도 타이타닉호를 계속 운항하기 위해 희생한 엔지니어들의 운명이 없었다면 훨씬 더 빨리 가라앉았을 것이고 훨씬 더 많은 사람들이 죽었을 것입니다. 훈련된 해군 장교와 가능한 한 엄격하게 명령을 따르려는 사고방식이 없었다면 훨씬 더 많은 사람들이 구조되었을 것입니다. 항구에 있던 해군 장교가 "여성과 어린이가 먼저"라는 명령을 "여성과 어린이만"으로 취급한 것은 배의 좌현 승객 수, 성별, 계층에 영향을 미쳤습니다. 그 시대를 더 살펴보겠습니다.
블루리본
타이타닉호가 처녀 항해를 했을 때 기계, 특히 왕복 엔진에 세심한 주의를 기울여야 했으며, 항해 기간 동안 점차적으로 최대 출력까지 가동되었을 것입니다. 4월 15일에 계획된 최대 출력 가동은 기록을 깨려는 시도가 아니라 단순히 엔진이 설계된 출력을 지속적으로 달성할 수 있는지 확인하기 위한 것이었습니다. 타이타닉호가 "블루 리본"을 깰 가능성은 없었습니다. 단순히 충분히 강력하지 않았습니다. 모리타니아호와 루시타니아호는 더 작은 톤수를 기록적인 속도로 추진하기 위해 약 75,000마력이 필요했고 타이타닉호 엔진이 생산할 수 있는 최대 출력은 약 45,000마력이었습니다.
머독이 빙산을 발견한 직후에 다리에 있는 기관실 전신을 두 엔진 모두에 "전진 후진"으로 울렸다는 의견이 제시되었고, 모든 기록에 따르면 그때부터 충돌까지 30~40초가 걸렸습니다. 따라서 충돌 전에 엔진이 전진 후진했을 가능성은 낮습니다. 빙산이 너무 가까워서 엔진이 충돌에 영향을 미칠 수 없었습니다. 의심할 여지 없이 엔진은 멈췄지만 충돌 전에 영향을 미칠 시간이 충분하지 않았습니다. 시험 정보에서 볼 수 있듯이 엔진은 제어 장치에 빠르게 반응했지만 충돌 당시에는 여전히 진행 중이었습니다. 엔지니어가 제어 장치에 도달하는 데 시간이 걸렸고 엔진이 반응하는 데 더 많은 시간이 걸렸기 때문입니다.
블루 리본은 대서양을 정기 운항으로 횡단하는 여객선에 수여하는 비공식적인 찬사이며, 기록적인 최고 속도를 자랑합니다. 이 용어는 경마에서 빌려온 것으로, 1910년 이후에 널리 사용되었습니다. 전통적으로 기록은 선박이 다른 경로를 따라가기 때문에 통과 시간보다는 평균 속도를 기준으로 합니다. 또한 동쪽과 서쪽으로 가는 속도 기록은 별도로 계산되는데, 걸프 스트림과 우세한 기상 시스템에 비해 더 어려운 서쪽으로 가는 기록적인 항해는 일반적으로 평균 속도가 낮아지기 때문입니다.
대부분의 선박은 상선의 Red Duster를 날렸습니다. Royal Naval Reserve의 사령관이라는 지위 때문에 Smith 선장은 RNR의 Blue Duster를 날릴 수 있는 명예를 얻었습니다.
일반 파란색 깃발은 세 가지 범주의 민간 선박에서 착용할 수 있었습니다. 그중 하나는 일부 영국 상선으로, 그 장교와 승무원 중에는 은퇴한 왕립 해군 인원이나 왕립 해군 예비군이 포함되거나, 정부 영장을 소지한 왕립 해군 예비군 장교가 지휘하는 경우가 있습니다.
HMS 드레드노트는 영국 해군을 위해 건조되어 해군력에 혁명을 일으킨 전함이었습니다. 그녀의 이름과 그녀의 이름을 딴 전함의 전체 유형은 "드레드노트"가 "두려움 없는 사람"을 의미하는 고어한 영어에서 유래했습니다. 1906년 드레드노트가 취역하면서 해군 기술이 크게 발전하여 그 이름이 전함의 전체 세대인 "드레드노트"와 그 이름을 딴 함선과 연관되게 되었습니다. 그녀가 쓸모없게 만든 세대의 함선은 "프리드레드노트"로 알려지게 되었습니다. 해군성 위원회의 제1해군 대신인 존 "재키" 피셔 제독은 드레드노트의 아버지로 여겨집니다. 그는 취임 직후 12인치(305mm) 함포만 장착하고 21노트(39km/h; 24mph)의 속도를 낼 수 있는 전함에 대한 설계 연구를 명령했습니다. 그는 대안 설계를 평가하고 세부 설계 작업을 지원하기 위해 "설계 위원회"를 소집했습니다. 위원회의 보조적 이점 중 하나는 그와 해군성이 그렇게 근본적으로 다른 전함을 설계하기 전에 주요 전문가와 상의하지 않았다는 정치적 비난으로부터 보호받을 수 있다는 것입니다.
드레드노트는 몇 개의 대형 포에 소형 포의 중무장 보조 무장을 더한 것이 아니라 균일한 주포를 장착한 최초의 전함이었습니다. 또한 증기 터빈으로 구동되는 최초의 주력함으로, 완성 당시 세계에서 가장 빠른 전함이었습니다. 그녀의 진수는 전 세계 해군, 특히 독일 제국 해군이 1차 세계 대전을 앞두고 이에 맞서기 위해 서두르면서 해군 군비 경쟁을 촉발하는 데 도움이 되었습니다.
타이타닉호는 대서양을 더 빨리 횡단하려는 움직임이 있었음에도 불구하고 세계 기록을 경신하려는 의도는 없었습니다.
타이타닉호는 선원과 장교들이 탑승했기 때문에 군기 아래 있었습니다.
새로운 변수: 트림, 운명, 부, 생존_트림
새로운 변수를 도입하면서 타이타닉 데이터에 대한 전형적인 범주형 분석을 연속 변수 분석으로 바꿀 수 있었습니다. 트림은 단순히 생존/RIP이라고 말할 수 없다는 것을 분명히 하는 데 사용되었습니다. 대피에서 첫 번째인지 마지막인지에 따라 다릅니다. 운명은 승객들 속의 엔지니어, 사제, 음악가, 아이를 둔 여성 등 살아남아야 했지만 희생된 사람들이 있다는 것을 보여줍니다.
새로운 변수로 모델링하면 훨씬 더 나은 AUC(원래 모델의 0.72에서 0.85로)를 가진 모델을 찾을 수 있습니다. 하지만 왜 더 나은 모델을 찾을 수 없었을까요? 우리는 오분류율과 특히 모델에 따라 살아남아야 하지만 사망한 오분류 승객을 살펴봅니다. 우리는 XXX에서 더 많은 정보를 바탕으로 오분류 승객 중 다수가 배에서 내리기를 거부하거나 희생하거나 영어를 하지 못해 배에서 길을 잃었다는 것을 알아냈습니다.
저널에서 더 많은 통찰력을 찾을 수 있습니다.
