Conférencier | Transcription |
| Stan Young | haha. |
| Sara Doudt | vous permettre de. |
| Stan Young | tout voir maintenant. |
| D'accord, oh non, je vais lancer les diapositives de mon côté. |
| Sara Doudt | ouais ouais comme vous le feriez pour une réunion normale. |
| On y va bien cool assurez-vous que j'ai tout si je suis proche Ok, nous enregistrons j'ai besoin de Je vais éteindre ma caméra juste pour info et puis. |
| D'accord. |
| Stan Young | Pour faire ce plein écran alors maintenant, il suffit de trier. |
| de la façon de faire que la seconde. |
| Sara Doudt | c'est qu'en bas comme là-dedans, là où ça dit des notes sur leur conduite aux 34% c'est celui qui ressemble à ça. |
| En bas du bateau oui désolé pour celui-là mauvais, de l'autre côté de la personne qui. |
| Un oui, ce gars. |
| Stan Young | haha. |
| Sara Doudt | Vous y allez, et je veux dire je vais y aller, nous allons commencer dans une seconde mais je vais me rencontrer, avez-vous des questions avant de commencer. |
| Stan Young | ou pas vraiment tu vas m'enregistrer ainsi que les slides. |
| Sara Doudt | ouais ouais ils ont demandé que vous ayez le. |
| La caméra ici. |
| Plus c'est bien. |
| Droit. |
| D'accord. |
| Stan Young | Je suis prêt à partir. |
| Sara Doudt | Je vais me mettre en sourdine, et si vous avez des questions ou avez besoin d'arrêter, faites le moi savoir mais sinon je vous laisserai. |
| Stan Young | Aller. |
| Je vais vous présenter aujourd'hui les compléments et scripts JMP pour l'évaluation de plusieurs études. Ou vous pouvez appeler cela comment attraper les p-hackers, les gens qui trichent avec des statistiques ou pourquoi la plupart des affirmations scientifiques sont fausses. |
| Je vais d'abord décrire les pièces du puzzle et comment elles s'emboîtent. La plupart des réclamations ne parviennent pas à se répliquer. Ce sont des affirmations scientifiques. |
| Je soutiens, et mes co-auteurs soutiennent, que cela est dû au p-hacking et que c'est un problème majeur. Nous allons utiliser une méta-analyse et des diagrammes de valeurs P pour les attraper, alors voici comment attraper un escroc. |
| Les compléments et les scripts JMP sont des valeurs P issues des ratios de risque et des limites de confiance. Ils sont issus d'une méta-analyse. |
| Et puis la combinaison des valeurs P de Fisher, une technique ancienne qui est similaire à la technologie de méta-analyse. Et puis nous allons présenter un graphique de valeurs p, et nous avons un petit script qui va nettoyer cela et en faire un présentable |
| image. |
| Eh bien, nous voyons un lapin dans le ciel. Il y a beaucoup de nuages dans le ciel, et si vous vous asseyez par une belle journée et regardez autour de vous, vous pouvez probablement trouver un lapin. |
| Il s'agit donc d'un événement aléatoire. Les lapins ne sont pas réellement dans le ciel, bien sûr. |
| Gelman et Loken ont en fait publié un petit article et ont parlé de la crise statistique dans la science, donc les gens utilisent les statistiques, disent-ils, de manière incorrecte et c'est ce dont nous parlerons aujourd'hui. |
| Faisons une expérience d'épidémiologie. |
| Nous avons des dés à 10 faces, rouges, blancs et bleus. Ils deviendront des chiffres (.046 dans ce cas particulier). Regardons simplement cela se produire sous nos yeux. |
| Nous avons maintenant une valeur P. C'est aléatoire. Vous l'avez fait vous-même. C'est tellement amusant, pourquoi ne pas le faire une fois de plus ? |
| Rouge blanc, |
| et bleu. |
| Maintenant, si vous faites cela 60 fois, vous pouvez remplir le tableau ici. Voici une simulation que j'ai faite avec des dés à 10 faces. Et vous pouvez voir les valeurs P dans quatre colonnes et 15 lignes. Cela fait donc 60 valeurs P. Ma plus petite valeur P est de 0,004. |
| Et avec 60 valeurs P, vous pouvez calculer les probabilités. Environ 95 % du temps, vous aurez au moins une valeur P inférieure à 0,05. |
| En voici un réalisé par ma fille. Elle avait trois valeurs P inférieures à 0,05 ; ils sont encerclés ici. Et puis mener une expérience d'épidémiologiste est si facile |
| que même ma femme Pat peut le faire, et elle a trois articles potentiels ici qu'elle pourrait écrire en lançant des dés et en faisant tourner une bonne histoire. |
| Les valeurs P ont une valeur attendue qui leur est attachée. Donc, à droite, nous avons des valeurs P de 0,004, 0,016 et 0,012. Attaché à chaque valeur P est un écart normal. Vous pouvez voir que mon .004 aurait un écart normal de 2,9 et ainsi de suite. Et à gauche, nous avons |
| la taille de l'échantillon, l'écart attendu et la valeur P attendue pour la plus petite valeur P, puis l'écart. Donc, si nous avions 400 |
| questions que nous examinions, la valeur P attendue serait de 0,00487 et l'écart serait de 2,968. Maintenant, c'est cet écart qui est reporté des expériences de base dans les calculs d'une méta-analyse, et nous verrons cela au fur et à mesure. |
| Combien d'affirmations en épidémiologie sont vraies ? J'ai publié un article en 2011 et j'ai pris des affirmations qui avaient été faites dans des études observationnelles. |
| Et pour chaque affirmation dans les études observationnelles, j'ai trouvé un essai clinique randomisé qui examinait exactement la même question. Ainsi, dans les 12 études, il y avait |
| 52 revendications qui pourraient être faites et testées. |
| Si vous regardez la colonne sous positif, zéro de ces 52 revendications répliquées dans la bonne direction. |
| Les épidémiologistes étaient donc passés de 0 à 52 en termes de revendications. Il y avait en fait cinq affirmations qui étaient statistiquement significatives, mais elles allaient dans le sens opposé à ce qui avait été affirmé dans les... dans les études observationnelles. |
| Nous allons regarder un |
| question folle. Les céréales déterminent-elles le genre humain ? Donc, si vous mangez des céréales au petit-déjeuner, êtes-vous plus susceptible d'avoir un garçon ? Eh bien, c'est ce que disait le premier journal. |
| Cet article a été publié dans la Royal Society B, qui est leur principale revue de biologie. Ces trois co-auteurs ont donc affirmé que si vous mangez des céréales pour le petit-déjeuner, vous êtes plus susceptible d'avoir un bébé garçon, de manger des céréales pour le petit-déjeuner au moment de la conception. |
| Deux de mes cohortes et moi avons regardé cela, nous avons demandé les données. Nous avons obtenu les données, puis nous avons publié un contredit au premier article disant que la sélection du sexe induite par les céréales est très probablement un faux positif de tests multiples. |
| au moment de juste avant la conception... la conception prévue, et juste au moment de la conception. Et il y avait 131 aliments dans chacun de ces questionnaires, soit un total de 262 tests statistiques. |
| Vous calculez les valeurs P pour ces tests, les classez du plus petit au plus grand et tracez-les par rapport aux nombres entiers (c'est le classement en bas), |
| vous voyez ce qui ressemble à une assez bonne ligne à 45 degrés. Nous envisageons donc une distribution uniforme. Maintenant, leur demande venait du coin inférieur gauche de cela et ils ont dit, eh bien, voici une petite valeur P. La petite valeur P indique que manger des céréales ... les céréales du petit-déjeuner entraîneront plus de |
| bébés garçons. |
| Assez clairement un faux positif statistique. |
| Parcelles de valeurs P. Nous allons donc beaucoup utiliser les diagrammes de valeurs P. Sur la gauche, nous voyons un graphique de valeurs P pour une hypothèse nulle probablement vraie. |
| L'entraînement physique à long terme des personnes âgées n'entraîne pas de mortalité ou de risque de mortalité. À droite, nous avons le tabagisme et le cancer du poumon. |
| Et nous voyons toute une série de valeurs P assez proches de zéro, tout au long de la page et quelques retardataires sur la droite. Donc, cette image de droite est la preuve d'un effet réel et l'image de gauche est le support de l'hypothèse nulle, pas d'effet. |
| parlons d'une méta-analyse parce que je vais les utiliser au cours de cette conférence. Sur la gauche, on voit un entonnoir et on voit plein de papiers tomber dans l'entonnoir. |
| L'épidémiologiste ou quiconque fait la méta-analyse choisit ce qu'il pense être des articles de haute qualité et les utilise pour une analyse plus approfondie. Sur la droite, on voit la...sorte de |
| hiérarchie des preuves. Une méta-analyse sur de nombreuses études est envisagée |
| informations de haut niveau, puis en bas, avis d'experts et ainsi de suite et ainsi de suite. Donc, plus vous montez dans la pyramide, |
| les gens soutiennent que la preuve est meilleure. |
| Nous allons examiner deux exemples de documents de méta-analyse. Le premier article est d'Orellano. |
| oxyde nitrique, ozone, |
| petites particules et ainsi de suite. Et il a recueilli des données de partout dans le... partout dans le |
| monde, et cela a été parrainé par le |
| L'OMS, c'est donc un financement de haute qualité, un papier de haute qualité. |
| Et c'est une méta-analyse. Nous allons voir si les affirmations de cette méta-analyse tiennent le coup. |
| Celui du bas était vraiment drôle. Modèles de consommation de viande rouge et transformée et risque de cancer du poumon et de crises cardiaques. |
| Il y a eu beaucoup de littérature dans la littérature sur la nutrition, disant que vous ne devriez vraiment pas manger de viande rouge. On va voir si ça... si ça a du sens. |
| Revenons en arrière et regardons les pièces du puzzle, puis voyons comment elles s'emboîtent. |
| Nous savons d'après la littérature ouverte que la plupart des affirmations ne se reproduisent pas. C'est ce qu'on appelle une crise scientifique. Le P-hacking est un problème. Le P-hacking exécute de nombreux tests en essayant ceci et en essayant cela, puis, lorsque vous trouvez une valeur P inférieure à 0,05, |
| vous pouvez écrire un papier. |
| Nous allons utiliser la méta-analyse et les diagrammes de valeurs P pour attraper les personnes qui sont essentiellement du P-hacking, et j'appelle le P-hacking une sorte de tricherie avec des statistiques. |
| D'autres sont, vous savez, peu... l'ont décrit un peu différemment. Nous allons utiliser des compléments JMP. Ces compléments JMP ont été écrits par Paul Fogle. |
| Et ils nous permettent de commencer avec un document de méta-analyse et de produire rapidement et facilement un graphique de la valeur P. Nous allons également décrire la combinaison de valeurs P de Fisher, puis nous allons... |
| ayez un petit script qui prendra le tracé bidirectionnel qui sort de JMP, puis le nettoiera, de sorte que les marges gauche et droite soient plus... plus attrayantes. |
| Eh bien, voici l'exposition à long terme à la pollution de l'air et |
| causant de l'asthme, dit-on. Sur la gauche, nous avons ce qu'on appelle un diagramme en arbre. C'est le... |
| ça ressemble un peu à un sapin de Noël. |
| Les valeurs moyennes sont données sous forme de points, puis les limites de confiance sont les moustaches qui sortent de chaque côté. À gauche se trouvent les noms des articles... les articles qui ont été sélectionnés par ces auteurs et à droite sont les |
| les ratios de risque et les limites de confiance. Maintenant, vous pouvez souvent simplement supprimer les ratios de risque et les limites de confiance et les déposer dans un |
| Ensemble de données JMP, et nous voyons donc l'ensemble de données JMP sur la droite. |
| Maintenant, le tracé de la valeur P. |
| chose écrite par Paul Fogle va convertir ces ratios de risque et P... et les limites de confiance en valeurs P. |
| On voit ici que c'est fait. |
| Les limites de confiance peuvent vous donner l'erreur standard. |
| Avec le rapport de risque et l'erreur standard, vous pouvez calculer une statistique Z. Et puis vous pouvez prendre la statistique Z et obtenir une valeur P. Sur la droite ici, nous voyons apparaître un graphique de valeurs P, tout comme il le fait en quelques clics dans JMP. |
| Là encore, à gauche, nous avons le tracé approximatif de la valeur P, et à droite, après avoir utilisé un petit script, nous ajoutons la ligne zéro, nous ajoutons la ligne pointillée pour .05, et nous nettoyons et développons le numéros sur le |
| Axes X et Y. Et ainsi nous pouvons regarder maintenant et juger toutes les études qui étaient dans cette chose, mais nous voyons une chose plutôt étrange. Nous voyons que le |
| tout cela ici, il y a quelques valeurs P inférieures à 0,05, puis beaucoup de valeurs P qui augmentent, et nous avons donc une situation ambiguë. |
| Certaines des valeurs P semblent indiquer que l'affirmation est correcte, et d'autres semblent être simplement des résultats aléatoires. |
| Jetons un coup d'œil à la combinaison de valeurs P de Fisher. A gauche, nous avons la formule. Vous prenez la valeur P, prenez le logarithme naturel, qui les additionne fois -2. |
| Et cela vous donne un Chi au carré. Vous recherchez le Chi au carré dans le tableau. Donc cette... cette méta-analyse, nous avons les valeurs P. Sous la valeur P, nous avons -2ln, et vous voyez qu'il y a peu de valeurs P petites qui ajoutent considérablement à la sommation. |
| Si vous réfléchissez un peu, la sommation est comme toutes les sommes, elle est sujette à des valeurs aberrantes manipulées... modifiant considérablement l'équilibre. |
| Ainsi, les quelques petites valeurs P (0,0033, 0,0073) s'ajoutent considérablement à la somme du Chi au carré. En fait la sommation n'est pas robuste. Une valeur aberrante... une valeur aberrante extrême peut faire basculer l'ensemble... toute l'équation. |
| Maintenant, gardez à l'esprit que le piratage P peut conduire à de petites valeurs P et aussi, |
| les scientifiques assez souvent, si une étude s'avère non significative, ils ne la publieront tout simplement pas. |
| Et s'ils trouvent quelque chose d'important, ils le feront généralement. Il y a donc un biais de publication. Toute la littérature est jonchée de petites valeurs P |
| et ceci probablement... c'est la pointe de l'iceberg. Sous l'iceberg se trouvent toutes les publications qui auraient pu arriver, mais elles n'étaient pas statistiquement significatives. |
| Nous allons maintenant examiner une étude sur la pollution de l'air. Mustafic en 2012 |
| a publié un article dans JAMA et il a examiné les six pollutions atmosphériques typiques |
| le monoxyde de carbone, l'oxyde nitreux, les petites particules (c'est-à-dire les PM 2,5), le dioxyde de soufre, etc. |
| Si vous regardez ces diagrammes de valeurs P, ils ressemblent tous essentiellement à des bâtons de hockey. Il existe un certain nombre de valeurs P inférieures à 0,05. |
| Mais alors il y a un nombre substantiel de valeurs P qui montent le long d'une ligne à 45 degrés, indiquant qu'il n'y a pas d'effet. |
| Nous prétendons qu'il s'agit d'un mélange. Nous examinons un mélange d'études significatives et d'études non significatives. |
| Et nous soutenons en outre que les études importantes proviennent en grande partie du P-hacking. Il existe d'autres moyens qui peuvent survenir, mais nous pensons que le P-hacking est la solution. Donc, si vous regardez sur le côté gauche ici, |
| dans la case rouge, on donne le nombre médian |
| de modèles ou de tests qui pourraient être menés dans une étude, les études qui figuraient dans l'article de Mustafic. |
| Nous avons compté le nombre de |
| résultats, prédicteurs et covariables, et si vous multipliez tout cela, le nombre médian, que nous appelons l'espace de recherche, l'espace de recherche médian est de 12 288. |
| Cela signifie que les auteurs, en moyenne, ont eu 12... dans la médiane, ont eu 12 000 occasions d'obtenir une valeur P inférieure à 0,05. Ils avaient une marge de manœuvre importante pour obtenir un résultat statistiquement significatif. |
| Nous allons examiner le comptage simple ici pour les études nutritionnelles. Nous avons donc ici 15 études. Les auteurs, ou les premiers auteurs de l'article. |
| Et puis en haut, vous voyez les résultats, les prédicteurs, les covariables, les tests, les modèles et l'espace de recherche. Les résultats, s'ils examinaient trois résultats pour la santé, par exemple, Dixon, et s'ils avaient 51 |
| aliments dans leur étude, qui seront... ceux-là seraient des prédicteurs. Maintenant, s'ils utilisent des covariables, |
| cela ajouterait considérablement à l'espace de recherche. Et vous pouvez voir que pour Dixon, théoriquement, il avait 20 millions d'analyses possibles qu'il aurait pu faire. |
| Et si vous regardez la colonne de l'espace de recherche, vous pouvez voir un nombre important d'analyses possibles qui pourraient être effectuées. |
| Les études nutritionnelles ont été faites avec des cohortes. Une cohorte est un groupe de personnes qui est rassemblé, |
| ils sont d'abord mesurés par des questions, puis ils attendent au fil du temps, puis ils examinent les effets sur la santé. |
| Chacune de ces cohortes porte le nom d'un ensemble de données que la cohorte utilise. |
| Et les cohortes, une fois assemblées, peuvent être utilisées pour poser, vous savez, un million de questions. |
| Si |
| la valeur P pour l'une de ces questions est significative |
| et ils ont l'impression qu'ils peuvent écrire un article, très souvent ils le font. |
| Ainsi, dans les deux dernières colonnes, on voit le nombre de papiers |
| qui pourrait survenir. C'est plus... nous avons utilisé Google Scholar et nous l'avons vérifié. Voici donc le nombre d'articles parus dans la littérature |
| associés à chacune de ces cohortes. J'ajouterai que nous avons examiné un grand nombre de ces articles et qu'aucun de ces articles ne contient d'ajustement pour les tests multiples ou la modélisation multiple. |
| L'épidémiologie nutritionnelle, l'épidémiologie environnementale, ce sont celles dont nous avons parlé ici. L'épidémiologie nutritionnelle utilise un questionnaire, le questionnaire de fréquence alimentaire (FFQ). |
| Dans un FFQ, vous pouvez avoir un certain nombre d'aliments. |
| Au départ, ils ont commencé avec 61 aliments et j'ai vu des études de la FFQ où il y avait 800 aliments. Je ne voudrais pas être celui qui remplirait ce questionnaire. |
| Mais voici le nombre de journaux qui utilisent les FFQ au fil du temps. |
| Depuis 1985... la technique a été inventée en 1986... depuis 1985, il y a eu 74 000 articles FFQ, et d'après ce que nous les avons examinés, aucun de ces articles n'a été ajusté pour des tests multiples et tous avaient des espaces de recherche statistiques considérablement grands . |
| Epidémiologie environnementale, j'ai simplement fait une recherche Google sur le mot "pollution de l'air" dans le titre de l'article. |
| Et ici, nous voyons qu'au fil du temps, 28 à 29 000 articles ont été écrits sur la pollution de l'air. |
| Pour autant que je sache, sur la base de nombreuses recherches, aucun de ces articles ne s'adapte aux tests multiples ou à la modélisation multiple, et tous ces articles ont de grands ... essentiellement tous ces articles ont de très grands espaces de recherche. |
| La méta-analyse prend le nom de revue systématique et de méta-analyse et, récemment, à partir de 2005, |
| les revues ont |
| utilisé ce terme dans le titre de l'article. Donc, à partir de 2005, j'ai demandé si les mots « examen systématique » et « méta-analyse » figuraient dans le titre de l'article, et vous pouvez voir que cela commençait à peine, 1 500 articles par an. |
| 1 500 articles au cours de cette période de cinq ans et enfin en 2021, il y a |
| ont été un total de 27 000 journaux, il s'agit donc d'une industrie artisanale. Ces papiers peuvent être retournés relativement facilement. |
| Une équipe, souvent en Chine de 10 ou 5 à 15 personnes, peut produire une méta-analyse par semaine. |
| Et leur salaire est évalué sur le nombre d'articles qu'ils publient et ainsi de suite et ainsi de suite. |
| Pour autant que je sache, ce sont toutes... la moitié de ces études sont des études d'observation et l'autre moitié sont... proviennent d'essais cliniques randomisés. |
| Pratiquement aucun de ceux-ci et dans tous ceux que nous avons examinés, jusqu'à présent, en particulier dans les études d'observation, ont ce bâton de hockey, comme s'il y avait des valeurs P qui sont petites et il y a un tas de valeurs P qui ressemblent complètement aléatoire. |
| Je dirai que toutes les... essentiellement toutes ces études sont financées par vos impôts ou par l'argent des contribuables. Ils sont très généreusement financés par les deniers publics, c'est une façon de le dire. |
| De nombreuses affirmations n'ont aucun support statistique. Les papiers de base ne corrigent pas les tests multiples et la modélisation multiple. Les papiers de base ont de grands espaces de recherche d'analyse. |
| Et nous avons vu des exemples d'épidémiologie environnementale et d'épidémiologie nutritionnelle que la plupart des gens, je dirais sur la base des preuves, ne sont pas fiables. |
| Je dis et d'autres l'ont dit aussi, nous avons un désastre scientifique et statistique et l'utilisation de la méta-analyse et des graphiques de valeur P, ces affirmations peuvent être vérifiées ou non. |
| Nous avons ici quatre situations de smog. En haut à gauche est Londres 1952 ; |
| la droite est Los Angeles 1948. |
| En bas à gauche, c'est Singapour et je ne suis pas sûr... Je ne me souviens pas de l'année exacte pour cela. Et puis nous avons Pékin. Ceux-ci sont récents. |
| Dans le cas du brouillard de Londres, l'analyse statistique des décès... les décès quotidiens et tout indique qu'il y a eu plus de 4 000 décès sur une période de trois ou quatre jours à Londres en 1952. Cela a suscité l'intérêt des épidémiologistes pour ce qui était le tueur. |
| Les trois autres diapositives ou les trois autres images montrent une augmentation non signalée des décès au cours de ces périodes. |
| La sonnerie est qu'à Londres, ils brûlaient du charbon |
| pour le chauffage et tout le reste. Il y a eu une inversion de température et l'affirmation est que l'acide dans l'air a été transporté par des particules dans les poumons inférieurs et que les individus sensibles, généralement les personnes âgées et faibles, sont morts en nombre accru, mais cela ne se produit pas maintenant. |
| autour du monde. Il y a toutes sortes de pollution dans le monde et nous ne voyons pas de pics de taux de mortalité qui y sont associés. |
| Escroqueries ? Ha ha. J'adore les arnaques. |
| Sont-ce des arnaques ? La pollution de l'air tue. Toute allégation d'une étude de la FFQ, par exemple, si vous buvez du café, vous êtes plus susceptible d'avoir un cancer du pancréas. C'est l'une des affirmations qui n'est probablement pas vraie. |
| Les niveaux naturels d'ozone tuent-ils ? Je pense que ce n'est pas vrai non plus. Oestrogènes environnementaux. Toute allégation provenant d'une méta-analyse utilisant des études observationnelles. |
| Gardez à l'esprit que les preuves dans la littérature publique indiquent que 80 % de toutes les affirmations scientifiques, provenant généralement de l'université, ne se sont pas reproduites lorsqu'elles ont été testées rigoureusement, par exemple dans des essais cliniques randomisés. |
| Émotion et peur. Tout le but de la politique pratique est de garder la population menacée, effrayée et donc clameur d'être conduite à la sécurité en menaçant la population avec une série interminable de hobgobelins, tous imaginaires. |
| Flim flam, tromperie, jeux de confiance impliquant... impliquant une persuasion habile ou une manipulation habile de la victime. Alors HL Mencken dans les années 1930 a déclaré que la politique pratique est en grande partie une politique de la peur. |
| Nous terminons avec les auteurs de ceci dans cette discussion. Je suis Stan Young et je peux être contacté à genetree@bellsouth.net. Warren Kindzierski est un épidémiologiste canadien et il travaille en étroite collaboration avec moi depuis quelques années sur des articles qui |
| sont basés sur les choses que nous avons vues ici aujourd'hui. Paul Fogel est un statisticien très intéressant, vit à Paris et il a été responsable de la rédaction du |
| compléments et scripts que nous pouvons utiliser. Je dirai que les scripts vous permettront de passer d'une méta-analyse à une évaluation en probablement un peu moins d'une heure. |
| Je voudrais recommander le rapport de la National Association of Scholars, Shifting Sands Report 1, cette URL vous y mènera. |
| Ce rapport est un rapport statistique long et complexe, mais simple et simple, qui traite de la qualité de l'air et des effets sur la santé. |
| Et avec cela, je ferai également la déclaration suivante, si quelqu'un qui regarde cela veut essayer ce qui se passe, nous vous donnerons les scripts et les compléments pour JMP et ensuite je vous aiderai même |
| regardez et interprétez votre analyse particulière d'une méta-analyse. Sur ce, je vais m'arrêter et je suis prêt à répondre à vos questions. Merci. |
