Voir plus...Discovery Summit Frankfurt : Résumé de Titanic revisité : Tous sur le pont ! (EU2018 202)
Niveau : Débutant
Alfredo López Navarro, Responsable des connaissances en intelligence Web, Centre de commandement numérique, Telefónica Allemagne
Nous souhaitons vous fournir une description convaincante de faits méconnus concernant la catastrophe du RMS Titanic, qui a coulé en 1912 après une collision avec un iceberg. Nous connaissons tous l'histoire, du moins c'est ce que nous pensons. Grâce à la méthodologie Discovery de Telefónica, optimisée par JMP, nous allons nous lancer dans une expédition explorant une multitude de données pour en extraire des informations. Nous extrairons des données grâce à la fonctionnalité « Internet Open ». Nous joindrons, concaténerons et mettrons à jour des tables jusqu'à créer une base de données enrichie, capable de fournir de nombreuses informations. Ensuite, grâce à des ANOVA et des analyses catégorielles et visuelles, nous raconterons une histoire fascinante, basée sur les données. Attendez-vous à une surprise de dernière minute ! Bien sûr, tout le monde sera sur le pont : tout est documenté et expliqué pour être mis en ligne sur la communauté des utilisateurs JMP. Nous aimerions ouvrir une discussion pour que d'autres puissent s'appuyer sur ces informations. Rejoignez-nous !
Les fichiers joints sont :
- Script d'importation utilisé pour obtenir les informations sur les canots de sauvetage de l'Encyclopédie du Titanic. Cependant, pour accéder à l'intégralité des données, il est nécessaire d'être inscrit à l'Encyclopédie. Sinon, vous n'obtiendrez que des informations de base.
- Notre journal et nos tables de données sont archivés dans un fichier de projet JMP à utiliser dans JMP 14. Les projets ont été introduits dans JMP 14 et ne fonctionneront donc pas dans JMP 13 ni dans les versions antérieures. Certains modèles enregistrés dans le fichier 01_Titanic.jmp ont été créés avec JMP Pro ; par conséquent, les scripts enregistrés pour ces modèles ne s'exécuteront pas uniquement avec JMP.
- Il existe également un fichier .zip pour JMP 13, incluant le journal et les tables de données associées. Concernant JMP 14, certains modèles ne fonctionneront qu'avec JMP Pro. Cependant, cela n'aura aucun impact sur l'analyse exécutée depuis le journal.
La présentation de l'histoire à raconter va au-delà de JMP et s'appuie sur les analyses et les rapports de JMP. En effet, @Telefonica souhaite que les résultats d'analyse soient également intégrés à d'autres rapports. Pour mieux comprendre à quoi pourrait ressembler un graphique pertinent basé sur l'ensemble de données du Titanic, vous pouvez commencer à lire ce livret.
La vie est compliquée, et les données aussi
Nous pensions que ce serait facile : ce ne fut pas le cas. Au début, le scraper de données JMP « Internet Open » (ImportScript.jsl ci-joint) fonctionnait correctement, mais la réalité, comme toujours, s'est avérée plus complexe : nous avons découvert que les données n'étaient pas cohérentes (entre différentes sources) et, pire encore, qu'il manquait des données.
(Remarque : l'Encyclopédie Titanica a modifié les règles de téléchargement. Malheureusement, vous devez désormais vous abonner pour obtenir les données complètes. L'utilisation de ce script uniquement fournirait le nom, l'âge, la classe/le département et un lien vers l'image. Beaucoup trop peu d'informations pour une analyse approfondie. L'ensemble de données complet contient beaucoup plus d'informations, nous les inclurons bientôt ici).
Nous nous efforçons d'obtenir des « données ordonnées » conformes à la forme normale TRIPLET des bases de données relationnelles :
- Chaque variable forme une colonne.
- Chaque observation forme une ligne.
- Chaque type d'unité d'observation forme un tableau.
La correction de la qualité des données a nécessité des mois de travail acharné, même avec les fonctionnalités de JMP comme Recode ou les outils de table de données comme join, concatenate, etc. Principalement parce que les données elles-mêmes devaient être vérifiées manuellement pour vérifier les correspondances, car les noms et les identifiants ne correspondaient pas toujours, et que certaines personnes étaient censées être impliquées, mais ne l'étaient pas. Notre objectif était d'obtenir une table de données très solide comme base pour nos analyses ultérieures.
Vision classique du désastre du Titanic : les riches, les femmes et les enfants ont survécu
Dressez une courte liste des deux premières choses qui vous sont venues à l'esprit en pensant au désastre titanesque. Probablement les riches, les femmes et les enfants qui ont survécu. Après le travail fastidieux de préparation des données, nous pouvons désormais utiliser les formidables outils d'analyse exploratoire de JMP pour comprendre les principaux facteurs du taux de survie.
Premièrement, nous ne constatons pas de différence significative dans la répartition par âge des personnes RIP ou survivantes. Examinons de plus près la répartition par classe sociale et par sexe, ainsi que la répartition femmes/enfants/hommes. Les femmes et les classes supérieures ont un meilleur taux de survie. Allons plus loin. Ce n'est pas le cas pour toutes les femmes et tous les enfants ; les classes supérieures ont un taux de survie plus faible. L'utilisation d'un modèle simple prenant en compte le sexe, l'âge et la richesse donne de bons résultats et confirme cette hypothèse. Cependant, nous avons pensé que cela ne pouvait pas être la vérité absolue, d'autant plus que nous étions réticents à y croire après tout notre travail de préparation des données.
Nouvelle approche : nouvelles variables et mentalité de l'époque
Nous avons ajouté des variables à l'analyse traditionnelle, notamment « ORIGINE ». Ce point est à prendre avec précaution, car la nationalité , l'origine ethnique et le lieu de résidence ne sont pas des ensembles disjoints. Il s'agit donc d'un sujet très subtil, surtout à l'époque impériale . 
Un autre fait important que nous avons pris en compte est la mentalité de l'époque, qui a eu un impact considérable sur l'évacuation lors de cette catastrophe. Sans le sort des ingénieurs qui se sont sacrifiés pour maintenir le Titanic en état de marche après l'impact de l'iceberg, le navire aurait coulé beaucoup plus vite et beaucoup plus de personnes auraient péri. Sans les officiers de marine entraînés et leur volonté d'obéir aux ordres le plus strictement possible, beaucoup plus de personnes auraient pu être sauvées. Un officier de marine au port qui a traité l'ordre « Femmes et enfants d'abord » comme « Femmes et enfants seulement » a eu un impact sur le nombre, le sexe et la classe des passagers à bâbord du bateau. Revenons sur cette époque.
Ruban bleu
Lors de son voyage inaugural, le Titanic a dû accorder une attention particulière à la machinerie, notamment aux moteurs à pistons, qui ont progressivement atteint leur pleine puissance au cours du voyage. La pleine puissance prévue pour le 15 avril n'avait pas pour but de battre un record, mais simplement de vérifier que les moteurs pouvaient atteindre la puissance prévue de manière constante. Le Titanic n'avait aucune chance de battre le « Ruban Bleu », sa puissance n'était tout simplement pas suffisante. Le Mauritania et le Lusitania nécessitaient environ 75 000 ch pour propulser leur plus petit tonnage à des vitesses record, et les moteurs du Titanic ne pouvaient produire qu'environ 45 000 ch.
Il a été suggéré que Murdoch, sur la passerelle, ait actionné les télégraphes de la salle des machines pour que les deux moteurs soient en marche arrière toute peu après l'apparition de l'iceberg. De toute évidence, il s'est écoulé entre 30 et 40 secondes entre ce moment et l'impact. Il est donc peu probable que les moteurs aient été en marche arrière toute avant l'impact ; l'iceberg était trop proche pour que les moteurs puissent influencer la collision. Les moteurs se sont sans doute arrêtés, mais leur action n'a pas été suffisamment rapide avant la collision. Les moteurs ont réagi rapidement aux commandes, comme le montrent les données des essais, mais ils continuaient de fonctionner au moment de l'impact, car il a fallu du temps aux mécaniciens pour atteindre les commandes, puis encore du temps pour que les moteurs réagissent.
Le Ruban Bleu est une distinction officieuse décernée au paquebot ayant traversé l'océan Atlantique en service régulier et enregistré le record de vitesse. Ce terme, emprunté aux courses hippiques, n'a été largement utilisé qu'après 1910. Traditionnellement, le record est basé sur la vitesse moyenne plutôt que sur la durée de traversée, car les navires empruntent des itinéraires différents. De plus, les records de vitesse vers l'est et vers l'ouest sont comptabilisés séparément, car la traversée record vers l'ouest, plus difficile, contre le Gulf Stream et les conditions météorologiques dominantes, entraîne généralement des vitesses moyennes plus faibles.
La plupart des navires arboraient le Red Duster de la marine marchande. En tant que commandant de la Royal Naval Reserve, le capitaine Smith avait l'honneur de pouvoir piloter le Blue Duster de la Royal Navy.
Le pavillon bleu uni était autorisé sur trois catégories de navires civils. Parmi celles-ci, certains navires marchands britanniques dont les officiers et l'équipage comprennent un certain nombre de retraités de la Royal Navy ou de réservistes, ou sont commandés par un officier de la Royal Naval Reserve titulaire d'un brevet gouvernemental.
Le HMS Dreadnought était un cuirassé construit pour la Royal Navy qui a révolutionné la puissance navale. Son nom, ainsi que le type de la classe de navires de guerre qui lui a été attribué, provient d'un anglais archaïque où « dreadnought » signifie « personne intrépide ». L'entrée en service du Dreadnought en 1906 représentait une telle avancée technologique navale que son nom en est venu à être associé à toute une génération de cuirassés, les « dreadnoughts », ainsi qu'à la classe de navires qui porte son nom. La génération de navires qu'il a rendue obsolète est devenue connue sous le nom de « pré-dreadnoughts ». L'amiral Sir John « Jacky » Fisher, premier Lord de la Marine du Conseil de l'Amirauté, est considéré comme le père du Dreadnought. Peu après son entrée en fonction, il a commandé des études pour un cuirassé armé uniquement de canons de 305 mm (12 pouces) et capable d'atteindre une vitesse de 21 nœuds (39 km/h). Il convoqua un « Comité de conception » pour évaluer les variantes et contribuer aux travaux de conception détaillés. L'un des avantages de ce comité était qu'il le protégerait, lui et l'Amirauté, de toute accusation politique selon laquelle ils n'auraient pas consulté d'éminents experts avant de concevoir un cuirassé aussi radicalement différent.
Le Dreadnought fut le premier cuirassé de son époque à disposer d'une batterie principale uniforme, plutôt que de quelques gros canons complétés par un lourd armement secondaire de canons plus petits. Il fut également le premier navire capital à être propulsé par des turbines à vapeur, ce qui en fit le cuirassé le plus rapide du monde à son achèvement. Son lancement contribua à déclencher une course aux armements navals, les marines du monde entier, notamment la marine impériale allemande, se précipitant pour l'égaler à l'approche de la Première Guerre mondiale.
Le Titanic n'était pas destiné à battre des records du monde, même s'il y avait une ruée vers une traversée plus rapide de l'Atlantique.
Le Titanic était sous pavillon militaire en raison des sergents et des officiers à bord
Nouvelles variables : Trim, Fate, Wealth, Survival_Trim
L'introduction de nouvelles variables a permis de transformer l'analyse catégorielle classique des données du Titanic en une analyse de variables continues. Trim a été utilisé pour préciser qu'on ne peut pas simplement dire « Survécu/Reposez-vous ». Être le premier ou le dernier à évacuer fait une différence. Le destin nous apprend que certaines personnes auraient dû survivre, mais se sont sacrifiées, comme les ingénieurs parmi les passagers, les prêtres, les musiciens, les femmes avec enfants, etc.
La modélisation avec les nouvelles variables permet de trouver des modèles avec une AUC bien meilleure (de 0,72 à 0,85 du modèle original). Cependant, pourquoi ne pourrions-nous pas trouver un modèle encore meilleur ? Nous examinons les taux d'erreur de classification et en particulier les passagers mal classés qui, selon le modèle, auraient dû survivre, mais qui sont décédés. Grâce à des données plus précises dans XXX, nous avons découvert que nombre de ces passagers mal classés refusaient de quitter le bateau, se sacrifiaient ou ne parlaient tout simplement pas anglais et étaient perdus à bord.
Vous trouverez plus d'informations dans le Journal
