349217_fr-FR

liliconcom

Maximiser le succès de la science des données avec la qualité de l'information (InfoQ) et JMP® (2021-EU-45MP-750)

https://www.jmp.com/en_us/whitepapers/book-chapters/infoq-support-with-jmp.html

Niveau: intermédiaire

 

Ron Kenett, président, KPA Group et Samuel Neaman Instiute, Technion
Christopher Gotwalt, directeur JMP, R&D statistique, SAS

 

L'analyse des données - des expériences conçues, de la régression généralisée à l'apprentissage automatique - est déployée à un rythme accéléré. Dans le même temps, les préoccupations concernant la reproductibilité des résultats et l'interprétation erronée de la valeur p indiquent que des analyses statistiques bien intentionnées peuvent conduire à des conclusions erronées et à de mauvaises décisions. Pour qu'un projet d'analyse de données atteigne correctement ses objectifs, il faut évaluer la portée et la force des conclusions tirées des données et des outils disponibles. Cette focalisation sur la stratégie statistique nécessite un cadre qui isole les composantes du projet: les objectifs, la procédure de collecte des données, les propriétés des données, l'analyse fournie, etc. Le cadre InfoQ fournit des procédures structurées pour effectuer cette évaluation. De plus, il est facile d'opérationnaliser InfoQ dans JMP. Dans cette présentation, nous fournissons un aperçu d'InfoQ ainsi que des études de cas d'utilisation, tirées de la recherche auprès des consommateurs et de la fabrication pharmaceutique, pour illustrer comment JMP peut être utilisé pour faire une évaluation InfoQ, en mettant en évidence des situations d'InfoQ à la fois élevé et faible. Nous donnons également des conseils montrant comment JMP peut être utilisé pour augmenter la qualité de l'information grâce à une conception améliorée de l'étude, sans nécessairement acquérir plus de données. Cette conférence s'adresse aux statisticiens, aux experts en apprentissage automatique et aux data scientists dont le travail consiste à transformer les chiffres en informations.

 

 

Transcription générée automatiquement ...

 

Conférencier	Transcription
	Salut.
	Je m'appelle Ron Kenett. Ce
	est une discussion commune avec Chris
	Gotwalt et nous fondamentalement
	avoir deux messages
	qui devrait sortir de la
	parler. La première est que nous devrions
	être vraiment préoccupé par
	informations et informations
	qualité. Les gens ont tendance à parler
	sur les données et la qualité des données, mais
	les données ne sont vraiment pas le problème.
	Nous sommes des statisticiens. Nous sommes
	scientifiques des données. Nous tournons les nombres,
	données en informations afin que
	notre objectif devrait être de nous assurer
	que nous générons de haute qualité
	informations. L'autre message
	est-ce que JMP peut vous aider
	réaliser cela, et c'est
	se révélant être en fait
	manières surprenantes. Donc en combinant
	l'expertise de Chris et d'un
	introduction à l'information
	qualité, nous espérons que ces deux
	des messages viendront à travers
	clairement. Donc si je devais
	résumer ce que nous
	veux parler, après tout,
	tout est question d'information
	qualité. J'ai donné une conférence à
	au Sommet de Prague quatre ans
	il y a et ce discours était générique.
	Il parlait de déplacer le
	voyage de la qualité par la conception.
	Mon parcours à faire des informations
	qualité. Dans cette conférence, nous nous concentrons
	sur la façon dont cela peut être fait avec
	JMP. Ceci est un plus détaillé
	et un discours technique que le
	discours général que j'ai donné à Prague.
	Vous pouvez regarder ce discours.
	Il y a un lien répertorié ici. Tu peux
	trouvez-le sur la communauté JMP.
	Alors on va parler de
	la qualité de l'information, qui est
	le potentiel de l'ensemble de données, un
	ensemble de données spécifiques, pour atteindre un
	un objectif particulier, un objectif spécifique,
	avec la méthode empirique donnée.
	Donc, dans cette définition, nous avons
	trois composants qui sont
	listé. L'une est une certaine donnée
	ensemble. Voici les données. Le
	le deuxième est le but,
	le but de l'analyse, quoi
	c'est ce que nous voulons réaliser.
	Et le troisième est comment nous allons
	faire ça, c'est-à-dire avec quoi
	méthodes que nous allons générer
	l'information, et ce potentiel
	va être évalué avec le
	fonction d'utilité. Et je le ferai
	commencez par une introduction à
	la qualité de l'information, puis
	Chris prendra le relais,
	discuter de l'étude de cas et et
	vous montrer comment mener une
	évaluation de la qualité de l’information.
	Finalement, cela devrait
	répondez à la question de savoir comment JMP
	prend en charge InfoQ, que
	seraient les points à puces
	que vous pouvez ... les points à emporter
	de la conversation. La configuration pour
	c'est que nous encourageons
	ce que j'ai appelé une vue du cycle de vie
	des statistiques. En d'autres termes,
	pas seulement l'analyse des données.
	Nous devrions savoir ... nous devrions faire partie
	de l'elicitation du problème
	phase. Aussi, l'objectif
	phase de formulation, qui mérite
	une discussion. Nous devrions
	être évidemment impliqué dans la
	système de collecte de données si c'est
	par des expériences ou par
	enquêtes ou par observation
	Les données. Ensuite, nous devrions également prendre
	temps pour la formulation du
	découvertes et pas seulement sortir
	rapports imprimés le
	coefficients de régression
	estimations et et leurs
	signification, mais nous devrions
	discutez également des
	résultats? Opérationnalisation de
	résultats signifiant, OK, que pouvons-nous
	faire avec ces résultats? Que sont
	les implications de la
	résultats? Cela devrait ...
	doit être communiqué au
	les bonnes personnes de la bonne manière,
	et finalement nous devrions faire un
	analyse d'impact à comprendre,
	OK, nous avons fait tout cela; ce qui a
	été la valeur ajoutée de notre
	travailler? J'ai parlé de la vie
	cycle de vos statistiques quelques années
	depuis. C'est la condition préalable,
	la perspective de quoi
	Je vais parler de. Alors comme je
	mentionné, les informations
	la qualité est le potentiel d'un
	ensemble de données particulier pour atteindre un
	objectif particulier en utilisant donné
	méthodes d'analyse empirique. Ce
	est identifié par quatre
Composants	l'objectif, les données,
	la méthode d'analyse, et le
	mesure d'utilité. Donc dans un dans un
	expression mathématique, le
	utilité d'appliquer f à x,
	condition sur l'objectif, c'est comment nous
	identifier InfoQ, informations
	qualité. Cela a été publié dans
	la Royal Statistical Society
	Série A en 2013 avec huit
	discutants, donc c'était amplement
	discuté. Certaines personnes pensaient
	c'était fantastique et certains
	les gens ont eu beaucoup de critiques sur
	cette idée, donc c'est un plus large
	examen de la portée de ce
	les statistiques sont sur. Nous avons aussi
	écrit en 2006, nous nous rencontrons
	et Galit Shmueli, un livre intitulé
	Qualité de l'information. Et en
	le contexte de l'information
	qualité nous avons fait ce qu'on appelle
	déconstruction. David Hand a
	un article intitulé Deconstruction
	des statistiques. C'est le
	déconstruction de l'information
	qualité en huit dimensions. je
	couvrira ces huit dimensions.
	C'est ma part dans le discours et
	puis Chris montrera comment cela
	est implémenté dans un
	étude de cas.
	Un autre aspect qui concerne
	c'est un autre livre que j'ai.
	C'est récent, il y a un an
	intitulé Le vrai travail des données
	La science et nous parlons de quoi
	est le rôle des données
	scientifiques dans les organisations et
	dans ce contexte, nous avons souligné
	le besoin du data scientist
	être impliqué dans la génération
	d'informations en tant que ... informations
	la qualité comme répondant aux objectifs de
	l'organisation. Alors laisse moi
	couvrir les huit dimensions. C'est
	c'est mon intro. Le
	le premier est la résolution des données. Nous
	avoir un objectif. OK, nous le ferions
	aime connaître le niveau de la grippe
	parce que dans le pays ou dans le
	région où nous vivons, parce que
	aura un impact sur notre décision sur
	s'il faut aller au parc où
	nous pourrions rencontrer des gens ou aller à
	a ... à un concert de jazz. Et cela
	le concert est demain.
	Si nous recherchons les données CDC sur
	le niveau de grippe, ces données sont
	mis à jour chaque semaine, afin que nous puissions obtenir
	la ligne rouge dans le graphique vous
	avons en face de vous, donc nous
	pourrait obtenir des données de quelques jours
	il y a, peut-être bon, peut-être pas bon
	assez pour notre or. Google Flu,
	qui est basé sur des recherches
	lié à la grippe, est mis à jour
	momentanément, donc il est mis à jour
	en ligne, cela donnera probablement
	nous une meilleure information. Donc pour
	notre objectif, la ligne bleue, le
	Tendance Google ... la grippe Google
	L'indicateur de tendances, est probablement
	plus approprié. La deuxième
	la dimension est la structure des données.
	Pour atteindre notre objectif, nous allons
	regardez les données. Nous devrions ... nous
	devrait identifier les sources de données
	et la structure de ces données
	sources. Ainsi, certaines données pourraient être
	texte, certains pourraient être vidéo, certains
	pourrait être, par exemple, le
	réseau de recommandations. Ce
	est une image d'Amazon sur la façon dont si
	tu regardes le livre, tu es
	va en avoir
	autres livres recommandés. Et si
	vous allez à ces autres livres,
	vous allez avoir plus de données
	conseillé. Donc les données
	la structure peut être de toutes sortes
	de formes et de formes et cela peut
	être du texte. Cela peut être fonctionnel
	Les données. Cela peut être des images. Nous sommes
	pas confiné maintenant à ce que nous avons utilisé
	pour appeler des données, c'est ce que vous
	trouver dans une feuille de calcul Excel.
	Les données pourraient être corrompues,
	pourrait avoir des valeurs manquantes, pourrait
	ont des motifs inhabituels qui
	ce qui serait
	quelque chose à examiner. Quelques
	modèles, où sont les choses
	répété. Peut-être certaines des données
	c'est juste copier et coller et nous
	aimerait être averti
	ces options. Le troisième
	la dimension est l'intégration des données.
	Lorsque nous considérons les données de
	ces différentes sources, nous sommes
	va les intégrer afin que nous
	peut faire un lien d'analyse
	via une pièce d'identité. Par exemple, nous
	ferait cela, mais ce faisant,
	nous pourrions créer des problèmes, car
	exemple, dans la divulgation de données
	qui devrait normalement être
	anonymisé. Données
	intégration, ouais, ça va
	nous permettent de faire des choses fantastiques,
	mais si les données sont perçues comme
	avoir une certaine exposition à la vie privée
	problèmes, alors peut-être la qualité
	des informations du
	analyse que nous allons faire
	va va être
	affecté. Donc intégration de données
	devrait être examiné très, très
	soigneusement. C'est ce que les gens
	probablement utilisé pour appeler ETL
	extraire, transformer et charger. Nous
	ont maintenant de bien meilleures méthodes pour
	faire ça. L'option de jointure, pour
	exemple, dans JMP offrira
	options pour faire cela.
	Pertinence temporelle. Ok c'est
	assez clair. Nous avons des données. Il est
	estampillé en quelque sorte. Si nous allons
	faire l'analyse plus tard, plus tard
	après la collecte des données, et
	si le déploiement que nous
	considérer est encore plus tard, alors le
	les données peuvent ne pas être temporelles
	pertinent. Dans un commun
	situation, si nous voulons comparer
	que se passe-t-il maintenant, nous le ferions
	aime pouvoir faire ça
	comparaison avec des données récentes ou
	données avant la pandémie
	commencé, mais pas 10 ans
	plus tôt. Les statistiques officielles
	sur les dossiers de santé, il y en avait deux
	ou trois ans de retard en termes
	du timing, ce qui en a fait un
	difficile l'utilisation de l'officiel
	statistiques dans l'évaluation
	que se passe-t-il avec le
	pandémie. Chronologie des données et
	l'objectif est lié à la décision
	que nous faisons à la suite de notre
	objectif. Donc si, par exemple, notre
	l'objectif est de prévoir la qualité de l'air,
	nous allons en utiliser
	modèles prédictifs sur l'air
	Indice de qualité rapporté sur un
	base quotidienne. Cela nous donne un
	à six échelle de dangereux à
	bon. Il y a quelques valeurs
	qui représentent des niveaux de
	problème de santé. Zéro-50 est bon;
	300-500 est dangereux et le
	chronologie des données et objectif
	signifie que nous devrions pouvoir
	faire une prévision quotidiennement
	base. Donc les méthodes que nous utilisons
	devrait être mis à jour quotidiennement
	base. Si, au contraire,
	notre objectif est de comprendre comment
	cet indice AQI calculé, puis nous
	ne sont pas vraiment liés par le
	l'opportunité de l'analyse.
	Vous savez, nous pourrions prendre notre
	temps. Il n'y a pas d'urgence dans
	faire l'analyse sur un
	base quotidienne. Généralisabilité,
	la sixième dimension, est d'environ
	prendre nos découvertes et
	considérant où cela pourrait
	appliquer en termes plus généraux,
	autres populations, toutes
	situations. Ceci peut être fait
	intuitivement. Directeurs marketing qui
	ont vu une étude sur le
	marché, appelons-le A, pourrait
	comprenez déjà quels sont les
	implications pour le marché B
	sans données. Les gens qui sont
	les physiciens pourront
	faire des prédictions basées sur
	mécanique sur les premiers principes
	sans sans données.
	Donc, une partie de la généralisabilité
	se fait avec des données. C'est le
	base de statistiques
	généralisation, d'où nous venons
	l'échantillon à la population.
	Les inférences statistiques concernent
	généralisation. Nous généralisons
	de l'échantillon au
	population. Et certains peuvent être
	basé sur un domaine, en d'autres termes,
	en utilisant des connaissances d'experts, domaine
	expertise, pas nécessairement avec
	Les données. Nous devons reconnaître que
	la généralisabilité n'est pas seulement
	fait avec des statistiques.
	La septième dimension est
	construire l'opérationnalisation,
	qui est vraiment ce que c'est
	que nous mesurons. Nous voulons
	évaluer le comportement, les émotions, quoi
	c'est qu'on peut mesurer, que
	nous donnera des données qui reflètent
	comportement ou émotions.
	L'exemple que je donne ici
	est généralement la douleur.
	Nous savons ce qu'est la douleur. Comment faire
	on mesure ça? Si vous allez dans un
	l'hôpital et vous demandez à l'infirmière,
	comment évaluez-vous la douleur, ils
	vous dira, nous avons une échelle,
	1 à 10. Il est très
	qualitatif, pas très
	scientifique, je dirais. Si nous
	veulent mesurer le niveau de
	alcool chez les conducteurs le ...
	la route, il sera difficile de
	mesure. Donc nous pourrions mesurer
	la vitesse comme mesure de substitution.
	Une autre partie de
	l'opérationnalisation est l'autre
	fin de l'histoire. En d'autre
	mots, la première partie, le
	construire est ce que nous mesurons,
	qui reflète notre objectif. Le le
	fin ... le résultat final ici est que
	nous avons des résultats et nous voulons
	faites quelque chose avec eux. Nous voulons
	pour opérationnaliser notre découverte.
	C'est ce que l'action
	l'opérationnalisation est sur.
	Il s'agit de ce que vous faites avec le
	découvertes et ensuite être
	présenté ici sur un podium. Nous
	avait l'habitude de poser trois questions.
	Ce sont très importants
	questions a poser. Une fois que tu as
	fait une analyse, vous avez
	quelqu'un devant toi qui
	dit, oh, merci beaucoup,
	vous avez terminé ... vous, le statisticien
	ou le data scientist. Donc ça
	cela vous prend une étape supplémentaire,
	vous amener à demander à votre client
ces questions simples	Qu'est-ce que
	vous voulez accomplir? Comment sera
	tu fais ça et comment vas-tu
	savoir si tu as accompli
	cette? Nous pouvons vous aider à répondre, ou
	au moins soutenir, certains de ces
	questions auxquelles nous avons répondu.
	La huitième dimension est
	la communication. Je te donne un
	exemple d'un vieux très célèbre
	carte du 19e siècle, qui
	montre la marche de la
	Armée Napoléonienne de France à
	Moscou à la Russie. Vous voyez le
	les nombres sont la largeur de
	le chemin indique la taille
	de l'armée, puis sur
	noir tu vois ce qui est arrivé à
	sur le chemin du retour.
	Donc, fondamentalement, c'était un
	marche désastreuse. Nous nous nous nous
	peut associer cette ancienne carte à
	cartes existantes, et il y a un
	Complément JMP, que vous pouvez
	trouver sur la communauté JMP, pour
	vous montrer avec des graphiques à bulles,
	bulle dynamique trace ce que
	ressemble à. Alors j'ai couvert
	très rapidement les huit informations
	dimensions de qualité. Mon dernier
	la diapositive c'est ce dont j'ai parlé
	à propos d'un historique
	perspective, vraiment mettre un peu
	proportions de ce que je dis.
	Je pense que nous sommes vraiment à l'époque
	de la qualité de l’information. Nous avons utilisé
	se préoccuper du produit
	qualité au 18ème siècle, le
	17ème siècle. Nous avons ensuite déménagé à
	qualité des processus et service
	qualité. Ceci est un bref mémo
	sur la proposition d'une carte de contrôle,
	1924, je pense.
	Ensuite, nous passons à la gestion
	qualité. C'est le Juran
	trilogie de conception, amélioration
	et contrôle. Six Sigma (définir,
	mesurer, analyser, améliorer)
	le processus de contrôle est le
	processus d'amélioration de Juran,
	et Juran était le grand-père
	de Six Sigma dans ce sens.
	Puis dans les années 80, Taguchi est venu
	dans. Il parle de robuste
	conception. Comment pouvons-nous gérer
	variabilité des intrants par
	décisions de conception? Et maintenant nous sommes
	à l'ère de l'information
	qualité. Nous avons des capteurs. Nous
	avoir des systèmes flexibles. Nous sommes
	en fonction de l'IA et de la machine
	l'apprentissage et l'exploration de données et nous
	se rassemblent gros gros gros
	des nombres, mais que nous appelons grands
	Les données. L'intérêt pour l'information
	la qualité doit être primordiale
	intérêt. Je vais essayer et
	vous convaincre, avec l'aide
	de Chris, ça.
	Nous sommes ici et JMP peut
	aidez-nous à atteindre cet objectif dans un
	manière vraiment inhabituelle.
	Ce que vous verrez à la fin de
	l'étude de cas que Chris va
	montrer est aussi comment le faire un
	évaluation de la qualité de l'information et
	sur une étude spécifique, essentiellement
	générer une qualité d'information
	But. Donc si nous allons de haut en bas, je
	peut vous dire cette étude, cette
	travail, cette analyse est peut-être 80% ou
	peut-être 30% ou peut-être 95%.
	Et à travers l'exemple vous allez
	voyez comment faire cela. Il y a un
	Complément JMP pour fournir ceci
	évaluation. C'est en fait
	assez facile. Il y a
	rien de vraiment sophistiqué
	à propos de ça. Alors j'ai fini et
	Chris, après toi. Merci, Ron. Alors
	maintenant je vais passer par le
	analyse d'un ensemble de données d'une manière
	qui appelle explicitement le
	divers aspects de l'information
	qualité et montrez comment JMP peut être
	utilisé pour évaluer une amélioration
	pour InfoQ. Alors d'abord, je suis
	va passer par l'InfoQ
	Composants. Le premier InfoQ
	le composant est le but, donc dans
	dans ce cas, l'énoncé du problème
	était-ce une entreprise chimique
	voulait une formulation qui
	rendement du produit maximisé tout en
	minimiser une impureté nuisible
	qui résultait de la réaction.
	C'était donc l'objectif de haut niveau.
	En termes statistiques, nous voulions
	pour trouver un modèle qui avec précision
	prédit une réponse sur une donnée
	ensemble pour que nous puissions trouver un
	combinaison d'ingrédients et
	étapes de traitement qui conduiraient
	à un meilleur produit.
	Les données sont mises en place dans 100
	formulations expérimentales avec
	un ingrédient principal, X1, et
	10 additifs. Il y a aussi un
	facteur de traitement dans 13
	réponses. Les données sont
	complètement fabriqué mais étaient
	simulé pour illustrer le même
	forces et faiblesses du
	données originales. Les données
	la formulation a été faite était aussi
	enregistré. Nous examinerons
	ces données de près, donc je veux
	élaborer au-delà de l'indication
	qu'ils ont été recueillis dans un
	manière ad hoc, en changeant un ou deux
	additifs à la fois plutôt que
	en tant que conçu ou randomisé
	expérience. Il y a beaucoup de
	moyens d'analyser ces données, le
	le plus typique étant le moins
	modélisation de carrés avec avant
	sélection sur les réponses sélectionnées.
	C'était mon intention initiale
	pour cette conférence, mais quand j'ai montré
	les données à Ron, il a immédiatement
	reconnu les colonnes de réponse
	sous forme de séries chronologiques issues de l'analyse
	chimie. Même si les données
	ont été simulés, il pouvait voir le
	structure. Il pouvait voir des choses
	dans les données que je n'ai pas vues
	et ne l'a pas lu. j'ai trouvé
	ceci pour être frappant
	Impressionant. C'est au-delà de la
	la portée de cet entretien, mais il y a
	une approche encore meilleure basée sur
	modélisation d'ensemble utilisant
	pondéré en fraction
	bootstrap. Phil Ramsey,
	Wayne Levin et moi en avons un autre
	parler de cette méthodologie à
	la découverte européenne
	Conférence cette année. Le
	approche est prometteuse car elle
	peut adapter des modèles aux données avec
	interactions plus actives que
	il y a des pistes. Le quatrième et dernier
	composante de la qualité de l'information
	est l'utilité, c'est à quel point nous
	sont en mesure d'évaluer nos objectifs. Ou
	comment mesurons-nous à quel point nous
	évalué nos objectifs? Il y a un
	aspect de domaine qui est dans ce
	cas où nous voulons avoir un
	formulation qui conduit à
	maximisation des rendements et minimisation des
	déchets en post-traitement des
	Matériel. Les statistiques
	l'utilitaire d'analyse fait référence à
	modèle que nous adaptons. Qu'est ce qui était
	aller car il y a le moins
	précision des carrés de notre modèle en
	les termes de notre capacité à
	prédire ce que ... ce qui
	résultat du candidat
	combinaisons de formulation ... de
	facteurs de mélange. Maintenant je m'en vais
	passer en revue une série de questions
	qui composent un InfoQ détaillé
	évaluation telle qu'organisée dans le
	huit dimensions de l'information
	qualité. Je veux souligner
	que toutes les questions ne seront pas
	tout aussi pertinent pour différents
	science des données et statistique
	projets, et que ce n'est pas
	destiné à être un dogme rigide mais
	plutôt un ensemble de choses qui sont
	une bonne idée à se poser.
	Ces questions représentent une sorte
	de la sagesse analytique des données qui
	regarde plus largement que juste le
	application d'un particulier
	technologie statistique. Une copie
	d'une feuille de calcul avec ces
	questions ainsi que des pointeurs vers
	Les fonctionnalités JMP les plus
	utile pour répondre à un
	un particulier sera téléchargé
	à la communauté JMP avec
	avec cette conférence pour que vous puissiez l'utiliser. Comme
	Je continue à travers les questions,
	Je vais faire une démonstration d'une analyse de
	les données dans JMP. Alors question 1
est	est l'échelle de données utilisée
	aligné sur l'objectif déclaré? Alors
	les X que nous avons consistent en
	une seule variable catégorielle
	traitement et le 11 en continu
	contributions. Ceux-ci sont mesurés
	en pourcentages et sont également
	enregistré à un demi pour cent. Nous
	n'ont pas les montants totaux de
	les ingrédients, seuls les
	pourcentages. Les totaux sont
	des informations qui ont été soit perdues
	ou jamais enregistré. Il y a
	autre potentiellement important
	des informations qui sont
	manquant ici. Le temps entre
	la formulation des lots et
	prendre les mesures est parti
	et il aurait pu y avoir d'autres
	informations de niveau de covariable qui
	manque ici qui aurait
	décrit les conditions sous
	la réaction s'est produite.
	Sans plus d'informations que moi
	ai, je ne peux pas dire à quel point
	ce type d'information sur les covariables
	aurait été. On possède
	informations le jour du
	lot, de sorte que cela puisse être utilisé comme
	un substitut peut-être. Globalement nous
	avoir ce qui est, espérons-le, le plus
	des intrants importants, ainsi que
	mesures des réponses que nous
	souhaitent optimiser. Nous pourrions avoir
	avait plus d'informations, mais ceci
	semble assez prometteur pour essayer
	et analyse avec. La deuxième
	question relative aux données
	la résolution est la fiabilité et la
	précis sont les appareils de mesure
	et les sources de données. Et le fait
	c'est que nous n'avons pas beaucoup de
	informations spécifiques ici. Le
	statisticien interne le
	l'entreprise aurait eu plus
	informations. Dans ce cas, nous
	n'ont pas d'autre choix que de croire que
	les chimistes ont formulé et
	bien enregistré les mélanges. Le
	troisième question relative aux données
la résolution est	est les données
	analyse adaptée aux données
	niveau d'agrégation? Et le
	réponse ici est oui, en supposant
	que leur système de mesure est
	exactes et que les données sont
	assez propre. Ce que nous allons
	finir par faire, c'est
	nous allons utiliser le
	Explorateur de données fonctionnelles pour
	extraire le principal fonctionnel
	composants, qui sont des données
	type dérivé de données
	agrégation. Et puis nous sommes
	va modéliser ceux-ci
	composants principaux fonctionnels
	en utilisant les variables d'entrée. Alors
	maintenant nous passons aux données
	dimension de la structure et
	La première question que nous posons est, est-ce que
	données utilisées alignées sur les
	objectif déclaré? Et je pense que le
	La réponse est un oui clair ici. Étaient
	essayer de maximiser
	rendement. Nous avons des mesures pour
	cela, et les entrées sont
	enregistré comme Xs. Les secondes données
	la question de la structure est où
	les choses commencent vraiment à devenir
	intéressant pour moi. Alors ceci est
	sont les détails d'intégrité
	(valeurs aberrantes, valeurs manquantes, données
	corruption) les problèmes décrits et
	manipulé de manière appropriée? Donc de
	ici, nous pouvons utiliser JMP pour pouvoir
	pour comprendre où les valeurs aberrantes
	sont, déterminez des stratégies pour
	que faire des valeurs manquantes,
	observer leurs modèles et ainsi
	sur. Alors c'est ici que
	les choses vont devenir un peu
	un peu plus intéressant. La première
	ce que nous allons faire, c'est que nous
	va déterminer s'il y a
	toute valeur aberrante dans les données que nous
	doivent être préoccupés. Alors
	pour faire ça, on va y aller
	dans les valeurs aberrantes d'exploration
	plateforme hors de la projection
	menu. Nous allons charger le
	variables de réponse, et parce que
	il s'agit d'un paramètre multivarié,
	nous allons utiliser une nouvelle fonctionnalité
	dans JMP Pro 16 appelé Robust
	PCA Outliers. Alors on voit où
	les gros résidus sont dans ceux
	sorte de parcelles de type Pareto.
	Il y a un instantané montrant où
	il y en a potentiellement
	observations inhabituellement importantes. je
	ne pense pas vraiment que cela ressemble
	trop inhabituel ou inquiétant pour moi.
	Nous pouvons sauver les grandes valeurs aberrantes
	à une table de données, puis regardez
	eux dans la distribution
	plate-forme et ce que nous voyons en quelque sorte
	ressemble à une distribution normale
	avec le milieu retiré. Donc je
	pense que ce sont des données qui sont
	venant du même genre
	population et il n'y a rien
	vraiment à s'inquiéter ici,
	du point de vue des valeurs aberrantes. Donc une fois que nous
	pris soin de la valeur aberrante
	situation dans laquelle nous allons et explorons
	valeurs manquantes. Alors qu'est-ce que nous sommes
	va faire en premier est nous allons
	pour charger les Y comme ... dans le
	plate-forme, et puis nous allons
	utiliser la valeur manquante
	instantané pour voir quels modèles
	ils sont parmi nos disparus
	valeurs. Il ressemble au
	les valeurs manquantes ont tendance à se produire dans
	grappes horizontales, et il y a
	également les mêmes valeurs manquantes
	à travers les lignes. Donc tu peux voir ça
	avec les taches noires ici.
	Et puis nous irons appliquer un
	imputation automatisée des données,
	qui va de l'avant et sauve
	colonnes de formules qui imputent
	valeurs manquantes dans le nouveau
	colonnes utilisant un type de régression
	algorithme développé par
	un de mes doctorants nommé Milo
	Page à NC State. Pour que nous puissions jouer
	un peu autour et obtenir un
	sens de la façon dont l'ADI
	l'algorithme fonctionne. Alors c'est
	créé ces colonnes de formules
	qui décollent des éléments de
	la colonne ADI impute, qui est
	une colonne de formule vectorielle, et le
	notation fonction imputer
	calcule la valeur attendue
	valeur des cellules manquantes donnée
	les cellules non manquantes, à chaque fois
	il a une valeur manquante. Et son
	juste en passant par un non
	valeur manquante. Pour que vous puissiez voir 207
	en YO ... Y6 là-bas. C'est initialement
	207 mais ensuite je le change en
	manquant et c'est maintenant
	imputé à 234.
	Alors je vais faire ça plusieurs fois alors
	vous pouvez en quelque sorte voir comment c'est
	travail. Alors ici je vais mettre un gros
	valeur pour Y7 et c'est maintenant.
	été remplacé. Et si nous descendons
	et nous ajoutons une ligne,
	alors toutes les valeurs manquantes sont là
	initialement et la colonne signifie
	sont remplacés pour le
	imputations. Si je devais partir
	à venir et ajouter des valeurs pour certains
	ces cellules manquantes, ce serait
	commencer à faire le conditionnel
	attente des toujours portés disparus
	cellules utilisant les informations
	c'est dans celui qui manque ... le
	non manquants. Alors notre prochain
	question sur la structure des données est
	sont les méthodes d'analyse
	convient-il à la structure des données?
	Nous avons donc 11 entrées de mélange
	et une variable de traitement qui
	catégorique. Ceux-là vont
	être des entrées dans au moins
	modèle de type carré. Nous avons
	13 réponses continues et
	nous pouvons les modéliser en utilisant ...
	individuellement en utilisant le moins
	carrés. Ou nous pouvons modéliser
	principal fonctionnel
	Composants. Le ... maintenant il y a
	problèmes. Les X sont ... les
	les variables d'entrée n'ont pas été
	randomisé du tout. Il est très
	clair qu'ils allaient muck
	autour avec un ou plusieurs des
	les composés puis se déplacer
	sur un autre. Alors le
	ordre dans lequel le
	les variables d'entrée étaient variées
	était un peu au hasard. C'est un
	manque évident de randomisation, et
	ça va négativement
	impact sur notre ... la généralisabilité
	et la force de nos conclusions.
	L'intégration des données est la troisième
	Dimension InfoQ. Ces données
	sont des notes de laboratoire saisies manuellement
	composé principalement de mélange
	pourcentages et équipement
	lectures. Nous ne pouvons que supposer
	que les données ont été saisies
	correctement et que les X sont
	correctement aligné sur les réponses.
	Si ce n'est pas le cas, alors le
	le modèle aura un biais sérieux
	problèmes et avoir
	problèmes de généralisabilité.
	L'intégration est plus un problème
	avec des données d'observation
	problèmes scientifiques dans la machine
	exercices d'apprentissage, que le laboratoire
	des expériences comme celle-ci. Même si
	ça ne s'applique pas ici, je vais
	faites remarquer que la vie privée et
	les problèmes de confidentialité peuvent être
	identifié en modélisant le
	partie sensible des données utilisant
	le composant à publier
	aux données. Si le résultat
	modèle est prédit, puis un
	devrait être préoccupé par le fait que la vie privée
	les préoccupations ne sont pas satisfaites. Temporel
	la pertinence fait référence au
	séquencement du temps de fonctionnement
	collecte de données, analyse et
	déploiement et si les lacunes
	entre ces étapes conduit à un
	diminution de l'utilité de
	les informations contenues dans l'étude.
	Dans ce cas, nous ne pouvons que simplement
	espérons que le matériel fournit
	sont raisonnablement cohérents et
	que l'équipement d'essai est
	raisonnablement précis, ce qui est un
	hypothèse invérifiable à ce
	point. La résolution temporelle que nous
	avoir lorsque la collecte de données est
	au niveau du jour, ce qui signifie
	qu'il n'y a pas grand-chose à faire
	nous pouvons vérifier s'il reste du temps
	variation dans chaque jour.
	La chronologie des données et de l'objectif est
	sur la disponibilité de
	variables pertinentes à la fois en termes
	de savoir si la variable est
	présent du tout dans les données ou
	si la bonne information
	sera disponible lorsque le modèle
	est déployé. Pour prédictif
	modèles, cela concerne les modèles
	être adapté à des données similaires à
	ce qui sera présent à l'époque
	le modèle sera évalué sur
	nouvelles données. De cette façon, nos données
	l'ensemble est certainement très bien. Pour
	établir la causalité, cependant,
	nous ne sommes pas aussi bien
	forme parce que le manque de
	la randomisation implique que le temps
	les effets et les effets des facteurs peuvent
	être confondu, conduisant à des préjugés
	dans nos estimations. Endogénéité,
	ou inverser la causalité, pourrait
	clairement être un problème ici, car
	des variables comme la température et
	le temps de réaction pourrait clairement être
	impactant les réponses, mais
	été laissé non enregistré. Globalement,
	il y a beaucoup de choses que nous ne savons pas
	à propos de cette dimension dans un
	sens de la qualité de l'information.
	Le reste de l'InfoQ
	l'évaluation va être
	dépend du type de
	analyse que nous faisons. Alors à ça
	point je vais aller de l'avant et
	effectuer une analyse de ces données
	en utilisant les données fonctionnelles
	Plateforme Explorer dans JMP Pro
	qui me permet de modéliser à travers
	toutes les colonnes simultanément
	d'une manière basée sur
	composants principaux fonctionnels,
	qui contiennent le montant maximum
	d'informations sur tous ces
	colonnes représentées dans le
	format le plus efficace possible.
	Je vais travailler sur le
	versions imputées des colonnes
	que j'ai calculé plus tôt dans le
	présentation. Et je vais
	fais remarquer que je vais être
	travailler pour trouver des combinaisons de
	les facteurs de mélange qui permettent
	aussi étroitement que possible dans un
	le moindre sens carré, un idéal
	courbe créée par le
	praticien qui maximise le
	quantité de produit potentiel qui
	pourrait être dans un lot pendant
	minimiser la quantité de
	impuretés qu'ils
	pensé de manière réaliste un lot
	pourrait contenir. Alors je commence le
	analyse en allant à l'analyse
	menu, afficher le Fonctionnel
	Explorateur de données. Cela a des lignes comme
	les fonctions. Je vais charger mon
	lignes imputées, puis je vais
	mettre dans ma formulation
	composants et mon traitement
	colonne en supplément
	variable. Nous avons une pièce d'identité
	fonction, c'est l'ID de lot. Ici je
	Montez. Je peux voir les fonctions,
	à la fois la superposition au total, et
	Je peux voir les fonctions individuelles.
	Ensuite, je peux charger la cible
	fonction, qui est l'idéal.
	Et cela changera le
	analyse qui résulte une fois que je
	commencez à entrer dans la modélisation
	pas. Alors ce sont jolis
	fonctions simples, donc je suis juste
	va les modéliser avec
	B splines.
	Et puis je vais entrer dans mon
	analyse fonctionnelle DOE.
	Cela va s'adapter au modèle
	qui connecte les entrées dans
	le principal fonctionnel
	composants, puis connectez tous
	le chemin à travers le
	fonctions propres pour le rendre ainsi
	nous sommes en mesure de récupérer le
	fonctionne globalement car ils
	changé, car nous modifions le
	facteurs de mélange. Le
	composant principal fonctionnel
	l'analyse a indiqué que
	il y a quatre dimensions de
	variation de ces réponses
	les fonctions. Pour comprendre quoi
	ils veulent dire, allons-y et
	explorez avec le profileur FPC.
	Alors regardez ce volet ici comme
	J'ajuste FPC 1 et on voit
	auquel ce FPC est associé
	hauteur du pic. FPC2, ça ressemble
	comme si c'était une sorte de pic
	étroitesse. C'est presque comme un
	principal de résolution
	composant. Le troisième est
	lié à une sorte de genou sur
	la gauche du pic dominant.
	Et Peak 4 a l'air d'être
	principalement lié à la
	impureté, c'est donc ce que
	le sens sous-jacent est de
	ces quatre fonctionnels
	composants principaux.
	Nous avons donc caractérisé notre objectif
	comme maximisant le produit et
	minimiser l'impureté, et
	nous l'avons communiqué dans le
	analyse à travers cet idéal ou
	courbe d'or que nous avons fournie à
	le début du FDE
	exercice que nous faisons. Pour obtenir comme
	au plus près de cet idéal
	courbe, nous allumons la désirabilité
	les fonctions. Et puis on peut y aller
	et maximiser la désirabilité.
	Et nous trouvons que l'optimum
	la combinaison d'entrées concerne
	4,5% des
	Ingrédient quatre, 2% de
	Ingrédient 6. 2,2% de
	Ingrédient 8 et 1,24% de
	Ingrédient 9 utilisant le traitement
	méthode deux. Voyons comment
	nous sommes arrivés ici. Nous d'abord
	a calculé la réponse manquante
	Colonnes. Ensuite, nous avons trouvé B-spline
	modèles qui correspondent à ces fonctions
	bien dans la plate-forme FDE. UNE
	composants principaux fonctionnels
	l'analyse a déterminé que là
	étaient quatre fonctions propres
	caractérisant la variation de
	ces données. Ces quatre
	les fonctions propres ont été déterminées
	via le profileur FPC à chaque
	avoir un sujet raisonnable
	la signification de la matière. Le fonctionnel
	L'analyse DOE consistait en
	application élagué vers l'avant
	sélection à chacun des
	scores FPC individuels en utilisant le
	Facteurs DOE comme variables d'entrée.
	Et nous voyons ici que ceux-ci ont
	trouvé des combinaisons de
	interactions et principaux effets
	qui étaient les plus prédictifs pour
	chacun des principaux fonctionnels
	les scores des composants individuellement.
	Le profileur fonctionnel DOE
	a tout capturé avec élégance
	aspects en une seule représentation
	qui nous permet de trouver le
	étape de traitement de la formulation qui
	est prévu d'avoir souhaitable
	propriétés mesurées par
	rendement et faible impureté.
	Alors maintenant, nous pouvons faire un InfoQ
	évaluation de la
	généralisabilité des données dans
	l'analyse. Donc dans ce cas,
	nous sommes plus intéressés par
	généralisabilité scientifique, comme
	l'expérimentateur est un
	chimiste expérimenté travaillant
	avec ce composé. Étaient donc
	va compter davantage sur
	leur expertise en la matière
	puis sur les principes statistiques
	et des outils comme les tests d'hypothèse
	et ainsi de suite. Le but est
	principalement prédictif, mais le
	la généralisabilité est en quelque sorte
	problématique car le
	l'expérience n'a pas été conçue. Notre
	capacité à estimer les interactions
	est affaibli pour des techniques comme
	sélection avant et impossible
	via l'analyse des moindres carrés de
	le modèle complet. Parce que le
	l'étude n'a pas été randomisée, là
	pourrait être une heure non enregistrée dans
	effets d'ordre. Nous n'avons pas
	covariable potentiellement importante
	des informations telles que la température et
	temps de réaction. Cela crée
	un autre grand point d'interrogation
	concernant la généralisabilité.
	Répétabilité et
	la reproductibilité de l'étude est
	aussi un inconnu ici comme nous l'avons
	aucune information sur le
	variabilité due à la
	système de mesure. Heureusement,
	nous avons des outils comme JMP
	évaluer la conception pour comprendre
	la conception existante ainsi que
	augmenter la conception qui peut grandement
	améliorer la généralisation
	réalisation de l'analyse.
	Augment peut améliorer les informations
	sur les effets principaux et
	interactions, et un deuxième tour
	d'expérimentation pourrait être
	randomisé pour améliorer également
	généralisabilité. Alors maintenant je suis
	va passer par quelques
	étapes simples pour montrer comment
	améliorer la généralisation
	réalisation de notre étude en utilisant
	outils de conception dans JMP. Avant que je
	fais ça, je tiens à souligner
	que je devais prendre les données et
	le convertir pour qu'il soit
	proportions plutôt qu'en
	pourcentages. Sinon le design
	les outils n'étaient pas vraiment d'accord
	avec les données très bien. Alors on
	aller dans le concepteur d'évaluation
	puis nous chargeons nos Y et
	nos Xs. J'ai demandé la possibilité de
	gérer les interactions de second ordre.
	Alors ... ouais, j'ai cette alerte
	en disant, hé, je ne peux pas faire ça
	parce que nous ne pouvons pas
	estimer toutes les interactions
	étant donné un facteur à la fois
	données dont nous disposons. Alors j'ai soutenu
	en haut. Nous allons à l'augmentation
	designer, chargez tout,
	set augment. Nous choisirons et je-
	conception optimale parce que nous
	vraiment préoccupé par
	performances prévues ici.
	Et moi
	définissez le nombre d'exécutions sur 148.
	Le concepteur personnalisé a demandé
	141 au minimum, mais je suis allé à
	148 juste pour être sûr
	que nous avons toute la capacité de
	estimer l'ensemble de nos interactions
	plutôt bien. Après cela, il
	prend environ 20 secondes pour
	construire la conception. Alors maintenant
	que nous avons le design, je suis
	va montrer les deux plus
	des outils de diagnostic importants
	le concepteur d'augmentation pour
	évaluer une conception. Sur le
	à gauche, nous avons la fraction de
	parcelle de l'espace de conception. C'est
	montrant que 50% du volume
	de la conception a
	une variance de prédiction qui est
	Moins que 1. Donc 1 serait
	équivalent au résidu
	Erreur. Nous sommes donc en mesure d'obtenir
	mieux que l'erreur de mesure
	prédictions de qualité sur
	majorité de la conception. Sur le
	à droite, nous avons la carte des couleurs sur
	corrélations. Cela montre
	que nous pouvons estimer
	tout assez bien. Il y a
	certains ... à cause du mélange
	contrainte, nous en obtenons
	de fortes corrélations entre
	interactions et principaux effets.
	Dans l'ensemble, les effets sont assez
	faire le ménage. Et les interactions sont
	assez bien séparé d'un
	un autre, et les principaux effets
	sont assez bien séparés de
	les uns les autres aussi. Après
	en regardant le design
	diagnostics, nous pouvons faire le
	table. Ici, j'ai montré le
	13 premières courses augmentées
	et nous voyons que nous avons ... nous
	avoir plus de randomisation. Nous ne
	avoir le même effet principal
	maintes et maintes fois des stries.
	C'est la preuve de mieux
	randomisation et globalement
	le design va pouvoir
	bien mieux estimer le principal
	effets et interactions ayant
	reçu de meilleure qualité, de meilleure qualité
	informations dans cette deuxième étape
	d'expérimentation. Donc, l'entrée
	les variables, les X, sont exactes
	représentations du mélange
	proportion, donc c'est un clair
	intérêt objectif. Le
	les réponses sont de proches substituts
	pour le montant du produit
	et la quantité d'impureté qui se trouve dans
	les lots. Nous sommes plutôt bons sur
	7.1. là. Les justifications
	sont clairs. Après l'étude, nous
	peut bien sûr aller préparer un
	lot qui est la formulation
	qui a été recommandé par le FDOE
	profileur. Essayez-le et voyez si
	nous obtenons le genre de
	la performance que nous recherchions
	pour. Il est très clair que
	serait la façon dont nous pouvons
	évaluer dans quelle mesure nous avons réussi
	nos objectifs d'étude. Alors maintenant sous le
	dernière dimension InfoQ
	La communication. En décrivant le
	courbe idéale comme cible
	fonction, le DOE fonctionnel
	Profiler fait le but et le
	résultats de l'analyse cristal
	dégager. Mais cela peut être exprimé
	à un niveau qui est facilement
	interprété par les chimistes et
	responsables de l’installation de R&D.
	Et comme nous l'avons fait notre détaillé
	évaluation de la qualité de l'information,
	nous avons été francs sur le
	forces et faiblesses du
	conception de l'étude et données
	collection. Si les résultats font
	pas généraliser, nous avons certainement
	savoir où chercher où
	les problèmes étaient. Une fois que vous devenez
	familiarisé avec les concepts,
	il y a un joli complément écrit
	par Ian Cox que vous pouvez utiliser pour
	faire un InfoQ quantitatif rapide
	évaluation. Le complément a
	curseurs pour le haut et le bas
	limites de chaque dimension InfoQ.
	Ces dimensions sont combinées
	en utilisant une fonction de désirabilité
	approche pour un intervalle global
	pour l'InfoQ sur la gauche.
	Voici une évaluation de la
	données et analyses que j'ai couvertes
	cette présentation. Le complément est
	aussi un outil de réflexion utile qui
	vous fera considérer chacun des
	les dimensions InfoQ. C'est aussi un
	moyen pratique de communiquer
	Évaluations InfoQ à votre
	clients ou à votre direction, comme
	il offre une vue de haut niveau sur
	qualité de l'information sans
	en utilisant beaucoup de techniques
	concepts et jargon. Le complément
	est également utile comme base pour
	une comparaison InfoQ. Mon
	espoir original pour cela
	la présentation devait être un peu
	un peu plus ambitieux. j'ai espéré
	pour couvrir l'analyse que j'avais
	vient de passer, ainsi que
	un autre plus simple, celui où je saute
	saisir les réponses et faire
	un simple linéaire multivarié
	modèle de régression de la réponse
	Colonnes. Aujourd'hui, je ne peux que
	offrir une évaluation finale de cela
	approcher. Comme tu peux le voir,
	plusieurs des InfoQ
	les dimensions souffrent considérablement
	sans le plus sophistiqué
	Analyse. Il est très clair que
	la simple analyse conduit à
	score InfoQ beaucoup plus faible.
	La limite supérieure du simple
	l'analyse n'est pas beaucoup plus élevée
	que la limite inférieure du plus
	sophistiqué. Avec
	expérience, vous gagnerez
	l'intuition de ce qu'est un bon InfoQ
	le score est pour la science des données
	projets dans votre industrie et
	prenez de meilleures habitudes en tant que vous
	ne sera plus aveugle à la
	goulots d'étranglement de l'information dans votre
	collecte de données, analyse et
	déploiement de modèle. Informations
	qualité avec une utilisation simple
	interface. C'était ma première
	qualité de l'information formelle
	évaluation. Pour ma part,
	la qualité de l'information
	cadre a donné des mots et
	structure à beaucoup de choses que je
	savait déjà instinctivement. Il
	est déjà changé comment je
	aborder une nouvelle analyse de données
	projets. Je t'encourage à y aller
	à travers ce processus vous-même sur
	vos propres données, même si ces données
	et l'analyse est déjà très
	familier à vous. je garantie
	que tu seras plus sage et
	data scientist plus efficace
	à cause de ça. Merci.

ÉclaterBICHEModélisation prédictive