Vedi altro...Discovery Summit Frankfurt: Abstract per Titanic Revisited: All Hands on Deck! (EU2018 202)
Livello: Principiante
Alfredo López Navarro, Responsabile della conoscenza Web Intelligence, Digital Command Center, Telefónica Germania
Vorremmo fornire una descrizione avvincente di alcuni fatti poco noti sul disastro del RMS Titanic, che affondò nel 1912 dopo la collisione con un iceberg. Conosciamo tutti la storia, o almeno così pensiamo. Grazie alla Discovery Methodology di Telefónica, basata su JMP, ci imbarcheremo in una spedizione che si tufferà in un mare di punti dati per salvare informazioni dall'oblio. Elimineremo i dati utilizzando la funzionalità " Internet aperto ". Uniremo, concateneremo e aggiorneremo le tabelle fino a creare un database avanzato in grado di fornire molte informazioni. Quindi, tramite analisi ANOVA, categoriali e visive, racconteremo un'affascinante storia basata sui dati. Aspettatevi una sorpresa dell'ultimo minuto! Naturalmente, ci sarà il lavoro di tutti: tutto è documentato e spiegato per essere caricato sulla JMP User Community. Vorremmo aprire una conversazione affinché altri possano costruire su questo. Unitevi a noi!
I file allegati sono:
- Import Script che abbiamo usato per ottenere le informazioni sulla scialuppa di salvataggio dalla Titanic Encyclepedia. Tuttavia, per accedere ai dati completi è necessario registrarsi all'Enciclopedia. Altrimenti si ottengono solo informazioni di base.
- Il nostro Journal e le tabelle dati in un file di progetto JMP archiviato da utilizzare in JMP 14. I progetti sono stati introdotti in JMP 14, pertanto non si apriranno/funzioneranno in JMP 13 o nelle versioni precedenti. Alcuni modelli salvati nel file 01_Titanic.jmp sono creati con JMP Pro e pertanto gli script salvati per questi modelli non verranno eseguiti solo con JMP.
- Esiste anche un file .zip per JMP 13, che include il Journal e le tabelle dati correlate. Per quanto riguarda JMP 14, alcuni modelli funzioneranno solo con JMP Pro. Tuttavia, ciò non avrà alcun impatto sull'analisi richiamata dall'interno del journal.
Il modo di presentare la storia da raccontare va oltre JMP ma utilizza l'analisi e i report di JMP. Questo perché @Telefonica i risultati dell'analisi devono essere incorporati anche in altri report. Per avere un'idea migliore di come potrebbe apparire un grafico informato basato sul set di dati del Titanic, potresti voler iniziare a leggere questo opuscolo
La vita è disordinata, e lo sono anche i dati
Pensavamo che sarebbe stato facile: non lo è stato. All'inizio, lo scraper di dati JMP "internet Open" (ImportScript.jsl allegato) ha funzionato bene, ma la realtà, come sempre, si è rivelata più complicata: abbiamo scoperto che i dati non erano coerenti (tra diverse fonti) e, cosa peggiore, che mancavano dei dati.
(Nota: l'Enciclopedia Titanica ha cambiato le regole di download. Purtroppo ora devi abbonarti per ottenere i dati completi. Utilizzando solo quello script forniresti Nome, Età, Classe/Dipartimento e un collegamento all'immagine. Troppe poche informazioni per un'analisi approfondita. Il set di dati completo include molte più informazioni, presto le includeremo qui).
Ci impegniamo per ottenere “dati ordinati” conformi alla forma normale TRIPLET dei database relazionali:
- Ogni variabile forma una colonna.
- Ogni osservazione forma una riga.
- Ogni tipo di unità di osservazione forma una tabella.
La correzione della qualità dei dati ha richiesto mesi di lavoro notturno, anche con le funzionalità di JMP come Recode o strumenti di tabelle dati come join, concatenate, ... . Principalmente perché i dati stessi dovevano essere verificati manualmente per corrispondenze corrette, poiché nomi e ID non sempre corrispondevano correttamente, e alcune persone avrebbero dovuto essere a bordo, ma non lo erano. E il nostro obiettivo era ottenere una tabella dati molto solida come base per la nostra ulteriore analisi.
Visione classica del disastro del Titanic: ricchi, donne e bambini sono sopravvissuti
Fai una breve lista nella tua mente, quali sono le prime due cose che ti sono venute in mente quando hai pensato al disastro del Titanic. Probabilmente qualcosa come i ricchi, le donne e i bambini sono sopravvissuti? Dopo il faticoso lavoro di preparazione dei dati, ora possiamo usare i fantastici strumenti di analisi dei dati esplorativi di JMP per comprendere i fattori chiave del tasso di sopravvivenza.
Innanzitutto non vediamo una grande differenza nella distribuzione dell'età delle persone RIP o sopravvissute. Approfondiamo ulteriormente e diamo un'occhiata alla classe e alla divisione donne/bambini/uomini. Le donne e la classe superiore hanno un tasso di sopravvivenza migliore. Approfondiamo ulteriormente. Non è vero per tutte le donne e i bambini, la terza classe ha un tasso di sopravvivenza peggiore. Utilizzando un semplice modello di genere, età, ricchezza si ottiene un buon risultato e si conferma questa visione. Tuttavia, abbiamo pensato che questa non potesse essere la verità assoluta, soprattutto perché eravamo restii a crederci dopo tutto il nostro lavoro di preparazione dei dati.
Nuovo approccio: nuove variabili e la mentalità di quei tempi
Abbiamo aggiunto più variabili all'analisi tradizionale, ovvero " ORIGINE ". Questo dovrebbe essere preso con le pinze perché nazionalità , origine etnica e luogo di residenza non sono insiemi separati. Pertanto, è un argomento molto sottile, specialmente in quei tempi imperiali . 
Un altro fatto importante che abbiamo preso in considerazione è stata la mentalità di quell'epoca, che ha avuto un impatto incredibile sull'evacuazione durante questo disastro. Senza il destino degli ingegneri che si sono sacrificati per mantenere in funzione il Titanic dopo che l'iceberg ha colpito la nave, questa sarebbe affondata molto più velocemente e molte più persone sarebbero morte. Senza gli ufficiali della marina addestrati e la loro mentalità di seguire gli ordini il più rigorosamente possibile, molte più persone avrebbero potuto essere salvate. Un ufficiale della marina sul porto che ha trattato l'ordine "Donne e bambini prima" come "Solo donne e bambini" ha avuto un impatto sul numero, il genere e la classe dei passeggeri sul lato sinistro della nave. Diamo un'occhiata più da vicino all'epoca.
Nastro blu
Poiché il Titanic era nel suo viaggio inaugurale, si dovette prestare molta attenzione ai macchinari, in particolare ai motori alternativi, che saranno stati gradualmente portati alla massima potenza per tutta la durata del viaggio. La corsa a piena potenza programmata per il 15 aprile non era un tentativo di battere un record, ma semplicemente di verificare che i motori potessero raggiungere costantemente la potenza progettata. Non c'era alcuna possibilità che il Titanic rompesse il "Blue Riband", semplicemente non era abbastanza potente. La Mauritania e la Lusitania necessitavano di circa 75.000 CV per spingere il loro tonnellaggio più piccolo a velocità record e il massimo che i motori del Titanic potevano produrre era di circa 45.000 CV.
Si è ipotizzato che Murdoch sul ponte abbia suonato i telegrafi della sala macchine per "Tutta indietro" per entrambi i motori subito dopo l'avvistamento dell'iceberg e, a detta di tutti, ci sono voluti tra i 30 e i 40 secondi da quel momento all'impatto. È improbabile, quindi, che i motori stessero andando tutta indietro prima dell'impatto; l'iceberg era troppo vicino perché i motori potessero avere qualche influenza sulla collisione. Senza dubbio i motori si sono fermati, ma non c'è stato abbastanza tempo perché avessero qualche effetto prima della collisione. I motori hanno risposto rapidamente ai comandi, come si può vedere dalle informazioni delle prove, ma stavano ancora andando avanti al momento dell'impatto, poiché ci è voluto del tempo perché i tecnici raggiungessero i comandi e poi altro tempo perché i motori reagissero.
Il Blue Riband è un riconoscimento non ufficiale dato alla nave passeggeri che attraversa l'Oceano Atlantico in servizio regolare con la velocità record più elevata. Il termine è stato preso in prestito dalle corse di cavalli e non è stato ampiamente utilizzato fino al 1910. Tradizionalmente, il record si basa sulla velocità media piuttosto che sul tempo di passaggio perché le navi seguono rotte diverse. Inoltre, i record di velocità verso est e verso ovest vengono calcolati separatamente, poiché il viaggio record verso ovest più difficile, contro la Corrente del Golfo e i sistemi meteorologici prevalenti, in genere si traduce in velocità medie inferiori.
La maggior parte delle navi volava sul Red Duster della marina mercantile. Grazie alla sua posizione di comandante nella Royal Naval Reserve, il capitano Smith aveva la particolarità di poter volare sul Blue Duster della RNR
La semplice insegna blu era autorizzata a essere indossata da tre categorie di imbarcazioni civili. Una di queste era costituita da alcune imbarcazioni mercantili britanniche i cui ufficiali ed equipaggi includono un certo numero di membri del personale in pensione della Royal Navy o riservisti della Royal Navy, oppure sono comandate da un ufficiale della Royal Naval Reserve in possesso di un mandato governativo.
La HMS Dreadnought era una corazzata costruita per la Royal Navy che rivoluzionò la potenza navale. Il suo nome e il tipo dell'intera classe di navi da guerra che prese il suo nome derivano dall'inglese arcaico in cui "dreadnought" significa "persona senza paura". L'entrata in servizio della Dreadnought nel 1906 rappresentò un tale progresso nella tecnologia navale che il suo nome finì per essere associato a un'intera generazione di corazzate, le "dreadnought", così come alla classe di navi che prese il suo nome. La generazione di navi che rese obsolete divenne nota come "pre-dreadnought". L'ammiraglio Sir John "Jacky" Fisher, Primo Lord del Mare del Consiglio dell'Ammiragliato, è accreditato come il padre della Dreadnought. Poco dopo aver assunto l'incarico, ordinò studi di progettazione per una corazzata armata esclusivamente con cannoni da 12 pollici (305 mm) e una velocità di 21 nodi (39 km/h; 24 mph). Convocò un "Comitato sui progetti" per valutare i progetti alternativi e per assistere nel lavoro di progettazione dettagliato. Un beneficio accessorio del Comitato fu che avrebbe protetto lui e l'Ammiragliato dalle accuse politiche di non aver consultato i principali esperti prima di progettare una corazzata così radicalmente diversa.
La Dreadnought fu la prima corazzata della sua epoca ad avere una batteria principale uniforme, anziché avere pochi grandi cannoni completati da un pesante armamento secondario di cannoni più piccoli. Fu anche la prima nave capitale ad essere alimentata da turbine a vapore, il che la rese la corazzata più veloce al mondo al momento del suo completamento. Il suo varo contribuì a innescare una corsa agli armamenti navali mentre le marine di tutto il mondo, in particolare la Marina imperiale tedesca, si affrettarono a eguagliarla nella preparazione della prima guerra mondiale.
Il Titanic non era destinato a battere un record mondiale, nonostante la corsa per una traversata atlantica più veloce.
Il Titanic era sotto bandiera militare a causa dei marinai e degli ufficiali a bordo
Nuove variabili: Trim, Fate, Wealth, Survival_Trim
Con l'introduzione di nuove variabili potremmo trasformare la tipica analisi categoriale dei dati del Titanic in un'analisi di variabili continue. Trim è stato utilizzato per chiarire che non puoi semplicemente dire Sopravvissuto/R.I.P. Fa differenza se eri il primo o l'ultimo in fila all'evacuazione. Il destino mostra che ci sono persone che avrebbero dovuto sopravvivere ma si sono sacrificate, come ingegneri tra i passeggeri, preti, musicisti, donne con bambini, ...
La modellazione con le nuove variabili consente di trovare modelli con un AUC molto migliore (da 0,72 del modello originale a 0,85). Tuttavia, perché non siamo riusciti a trovare un modello ancora migliore? Esaminiamo i tassi di classificazione errata e in particolare i passeggeri classificati erroneamente che dovrebbero sopravvivere in base al modello ma sono morti. Abbiamo scoperto con dati più informati in XXX che molti di questi passeggeri classificati erroneamente si sono rifiutati di lasciare la nave, si sono sacrificati o semplicemente non parlavano inglese e si sono persi sulla nave.
Ulteriori approfondimenti li troverete nel Journal
