"La curiosité et la créativité sont indéniablement innées, mais l'intuition des données provient du temps passé à l'explorer", déclare Michael Berry, directeur de l'intelligence économique chez TripAdvisor.


Berry et Gordon Linoff, qui ont cofondé le cabinet de conseil Data Miners Inc. et co-écrit le livre Techniques d'exploration de données pour le marketing, les ventes et la gestion de la relation client , étaient nos invités pour la diffusion Web de ce mois-ci d’Analytically Speaking. Si vous avez manqué le webcast, c'est maintenant disponible sur demande .En raison du grand nombre de questions posées par notre auditoire lors de la diffusion en direct sur le Web, nous n'avons pas pu traiter toutes les demandes. Mais Berry et Linoff ont donné des réponses à certaines de ces questions sur l'analyse.
Question: Existe-t-il un processus spécifique que vous suivez pour une analyse exploratoire lorsque vous obtenez de nouvelles données? Par exemple, par quels graphiques partez-vous?
Linoff: C'est une question très générale, et cela dépend beaucoup de l'apparence des données. Parfois, les données sont déjà traitées en signatures de clients, qui conviennent à la modélisation. Dans ce cas, les statistiques univariées sont le point de départ. S'il existe un élément temporel dans les données, par exemple le moment où un client démarre, j'examinerais la répartition des valeurs par heure, généralement à l'aide de diagrammes de dispersion ou de graphiques à barres. Pourquoi tant de clients commencent-ils en janvier? Ou pourquoi les arrêts de non-paiement sont-ils plus élevés en mai? Les données brutes peuvent être plus délicates. Pour avoir une confiance totale dans les données, vous devez comprendre le traitement afin de vous assurer que les données sont cohérentes. Les diagrammes de dispersion des valeurs et les diagrammes à barres en fonction du temps sont essentiels ici.
Baie: La première chose que je regarde est la distribution de chaque variable individuelle. J'utilise des histogrammes pour cela. Ensuite, je vais probablement utiliser des diagrammes de dispersion pour visualiser les relations entre les variables que je pense être liées.
Question: Combien de temps recommanderiez-vous de stocker des données historiques?
Linoff: Le stockage étant peu coûteux, cela devient moins problématique avec le temps. Dans certaines entreprises, il est clairement nécessaire de stocker de nombreuses années de données. Dans d’autres, comme le commerce électronique, le besoin est peut-être moins évident. Cependant, vous souhaitez généralement que les données soient comparées d'une année à l'autre sur au moins 13 mois. Vous voulez souvent plus. Si, par exemple, vous êtes un site d'actualités de premier plan sur le Web et que vous souhaitez comprendre comment les informations électorales déterminent le comportement des lecteurs, vous souhaitez savoir ce qui s'est passé en 2008 et peut-être même en 2004.
Baie: Il n'y a pas de réponse prédéfinie, mais je dirais "dans la mesure où cela pourrait être utile". Certains types de données doivent être sauvegardés "à jamais". Cela inclut les détails de la relation client tels que le canal d'acquisition et le produit original acheté.
Question: Qu'est-ce qui vous motive à écrire et à enseigner sur l'exploration de données?
Linoff: LOL. C'est ce que je fais. Je suis fondamentalement un nerd dans l'âme, et l'exploration de données est une excellente intersection de données, de statistiques et de bon sens.
Baie: Je trouve vraiment le sujet fascinant et j'aime partager mon enthousiasme avec le monde entier.
Question: Que puis-je faire pour que ma culture d'entreprise passe de la prise de décision «en boyau» à la prise de décision basée sur les données?
Linoff: Vous avez besoin d'un buy-in élevé. UNE revue de Harvard business Un numéro dédié aux mégadonnées est un signe que les dirigeants s’intéressent ou devraient s’occuper de ces problèmes. Cependant, la prise de décision basée sur les données peut aller à l’encontre de la culture d’entreprise actuelle. Parfois, vous devez attendre des échecs évidents et être prêt à tirer parti des opportunités qu’ils offrent. Par exemple, dans un cas, nous n’avions pu mettre en place un système de prévision de la survie que lorsque le système de prévision précédent était si éloigné que les hauts responsables ont constaté l’écart.
Baie: Les changements culturels sont très difficiles, mais certains succès seront remarqués. Commencez par quelque chose dont les avantages sont faciles à mesurer et à comprendre, tels qu'un taux de conversion accru ou une rétention accrue.