Vocero
|
Transcripción
|
| mike anderson |
Hola. |
| |
Hablemos de la nueva característica de JMP 16, límites de detección. |
| |
De lo que voy a hablar hoy es de los antecedentes de la definición de los límites de detección. |
| |
Quiero repasar algunas consideraciones estadísticas, si ignora los límites de detección. |
| |
Miré a mi alrededor y encontré lo que creo que es evidencia del mundo real de falta de solidez en algunos productos diseñados, específicamente las pruebas de diagnóstico de COVID-19, y estos productos incorporan los límites de detección. |
| |
Y finalmente, le mostraré cómo usar realmente los límites de detección en JMP, le mostraré cómo ingresarlos, cómo configurarlo en el diseño de experimentos y cómo analizar sus datos usando límites. de detección. |
| |
¿Cómo sabemos si hay algo ahí? |
| |
Esto puede sonar un poco como una pregunta esotérica, pero cuando se utiliza un método analítico es menos una pregunta esotérica y más una pregunta sobre qué tan bueno es su sistema. |
| |
Entonces, por ejemplo, si estamos tratando de encontrar una cantidad muy pequeña de impureza en algo, en algún momento, nuestro sistema con el que estamos detectando no va a poder detectar cantidades que estén por debajo de cierto nivel y que límite que se llama límite de detección. |
| |
Hay muchos tipos diferentes de definiciones de límites de detección. |
| |
Ellos son, |
| |
varían según el campo y también según el método analítico, así que he puesto un par aquí, dice la FDA, para un ensayo de diagnóstico molecular la detección limitada es la concentración más baja de un objetivo que se puede detectar en el 95% de las mediciones repetidas. |
| |
Ahora, si vamos y miramos lo que dice el mundo de la química, definen un método de detección limitado, como la concentración más pequeña o cantidad absoluta. |
| |
de un analito que la señal es significativamente mayor que la de un blanco adecuado. Entonces, en estas dos definiciones se trata inherentemente de algunos métodos diferentes. |
| |
Y revisé más literatura y si estás haciendo algo como cromatografía líquida de alto rendimiento, hablan de relaciones señal-ruido cuando miras las curvas. |
| |
Si está haciendo curvas de calibración, existen ciertas metodologías para eso y hay varias definiciones diferentes. |
| |
De los límites de detección, animaría a todos a buscar el que tenga más sentido para su método analítico y luego seguir también las pautas específicas de su industria. |
| |
En JMP, |
| |
definimos los límites de detección, ya que... es una propiedad de columna y más allá de la cual |
| |
la respuesta no se puede medir, por lo que la limita y lo que esto realmente hace cuando analizamos los datos es censurarlos. |
| |
Entonces el ejemplo que di antes de buscar una cantidad muy pequeña de impureza que sería un límite inferior y que quedaría censurada. |
| |
Pero también podría ser un límite superior, por lo que, por ejemplo, si aplica presión a un objeto, su manómetro puede detenerse en algún límite superior. |
| |
En realidad, podrías aplicarle más presión, pero tu indicador simplemente no sube más y ese sería un límite superior y esos datos estarían censurados, pero todos se manejan exactamente de la misma manera en JMP. . |
| |
Entonces, quiero mostrar un ejemplo de lo que sucedería si simplemente ignoramos los límites de detección cuando analizamos nuestros datos. |
| |
Entonces en este ejemplo, |
| |
En el histograma a continuación, puede ver que tengo una población real y esas son todas mis barras verdes, pero supongamos que tengo una detección limitada. |
| |
A 10 y no puedo obtener una medida precisa por debajo de eso, por lo que no es cero. |
| |
No sé cuánto hay ahí, sea lo que sea que estoy tratando de medir, cuántas partículas hay, así que el método estadístico correcto para esto nuevamente es la censura y hay una muy buena charla de Michael Crotty de JMP en Descubrimiento 2017 |
| |
y si desea obtener más detalles estadísticos, debería ver su charla. |
| |
Muy bien, veamos este ejemplo, digamos que tenemos esta detección limitada de 10 y |
| |
lo que vamos a hacer es tratar a esa parte de la población como |
| |
que realmente no sabemos qué es, así que |
| |
Aquí tengo un histograma, así que nuevamente a la derecha está mi población real. |
| |
Y tengo un par de escenarios diferentes aquí, así que si digamos que mi límite de detección es 10 |
| |
y luego otra vez son las 11 y luego son las 12. Entonces, lo que estoy haciendo aquí es tomar estos datos y, de hecho, los estoy elevando hasta 10. |
| |
Déjame mostrarte cómo se ve esto. Entonces esto no es algo que sucede automáticamente con los límites de detección, este es un ejemplo que he construido. |
| |
Entonces, si miras, por ejemplo, en la fila 7, mi valor real es 9,22. |
| |
Pero si tengo un límite de detección de 10. |
| |
Entonces no lo soy, en realidad no conocería ese valor de 9,22 y lo mejor que podría hacer es escribirlo como 10. |
| |
Alternativamente, podría ponerlo como faltante o cero, pero creo que 10 podría ser un poco más realista. |
| |
Ahora, si mi detección limitada fuera 11, tendría que mover ese número hasta 11 y, de la misma manera, si mi detección limitada fuera 12, movería ese punto de datos y lo convertiría en 12. |
| |
Entonces, lo que vemos es que, especialmente si miras aquí en 12, realmente he agrupado mis datos aquí. |
| |
El efecto que esto tiene sobre la media es que, en mi población real, mi media es aproximadamente 10,5. |
| |
En cuanto a 10, llega a 10,7 y luego mi media aumenta, llega a 11,2 y luego es 12. En realidad, la media está en ese límite de detección cuando tomo todos esos valores y los convierto en ese límite inferior. |
| |
Así que me estoy alejando mucho de mi verdadera media aquí de 10,5. |
| |
Pero mire lo que sucede con nuestras medidas de variación; mi desviación estándar es uno en mi población real, |
| |
y va a 0,8 si el límite de detección es 10 y luego va a 0,4 para 11 y luego baja hasta 0,2. |
| |
Así que mis medidas de variación son cada vez más pequeñas y cada vez tengo más confianza en la medición que estoy haciendo, que está muy lejos de lo que realmente es la población real. |
| |
Así que he resumido que en los siguientes gráficos en el medio aquí, pueden ver, tengo mi población real. |
| |
Y estoy conectando los medios de los otros en los que he impuesto este nivel falso de detección y pueden ver que los medios se están volviendo dramáticamente más altos y más alejados de la verdad. |
| |
Las barras aquí son la desviación estándar y, como pueden ver, se están haciendo más pequeñas y luego el sombreado naranja es el intervalo de confianza del 95 % de mi nombre. |
| |
Aquí a la derecha, en el gráfico superior, he graficado tanto la media como la mediana y pueden ver que se comportan de manera similar. |
| |
lo cual es sorprendente porque uno pensaría que la mediana sería un poco más sólida, pero no es en esta situación que realmente no te está ayudando. |
| |
Y debajo tengo mis medidas de variación y puedes ver que se hacen más pequeñas a medida que imponemos esos límites cada vez más altos. |
| |
Entonces parece que lo estamos haciendo muy bien, ¿verdad? Mi confianza en la medición de mi media realmente está disminuyendo bastante, |
| |
bastante pequeño, pero la verdad es que me estoy alejando cada vez más de ese verdadero valor de población y tengo más confianza cuanto más me alejo. |
| |
Así que realmente te preocupa que no necesariamente puedas detectar lo que realmente está sucediendo y tengas una falsa confianza en las cosas. |
| |
Entonces, cuando ampliamos los límites de detección a experimentos diseñados, |
| |
Lo que verán en una DEMOSTRACIÓN dentro de un momento es que no encontraremos nuestros factores críticos y tampoco descubriremos la verdadera relación entre nuestros factores. |
| |
Ahora, antes de mostrarles esto en JMP, realmente revisé la literatura y traté de encontrar evidencia del mundo real, donde pensé que podía encontrar una falta de solidez. |
| |
relacionados con los límites de detección en un producto diseñado. Y lo que hice fue descubrir que existe una buena comparación interna con las pruebas de diagnóstico de COVID-19. |
| |
Entonces, a principios de 2020, |
| |
Hubo más de 20 pruebas a las que la FDA otorgó autorización de uso de emergencia. |
| |
Y todas son pruebas de PCR en tiempo real y prueban la carga viral, es decir, cuántas copias del genoma del virus tienes. |
| |
Ahora bien, inicialmente, como no había un estándar -porque es algo completamente nuevo que nunca habíamos visto antes- las empresas podían desarrollar y utilizar su propio estándar interno. |
| |
Ahora, más adelante en el año, la FDA creó su propio estándar, lo distribuyó y reevaluó las pruebas de diagnóstico. Entonces, puedo comparar estos dos momentos diferentes de la misma prueba usando estándares diferentes. |
| |
Entonces, lo que decidí que debía hacer es simplemente hacer el orden de clasificación de las pruebas. ¿Cómo saber qué es una buena prueba y una mala prueba? ¿Cómo voy a clasificarlos? |
| |
Bueno, podemos observar la relación analítica entre la carga viral, que nuevamente es el número de copias del genoma que produce el virus. |
| |
y la sensibilidad clínica de la prueba diagnóstica. Entonces, aquí en el eje X, tenemos cuántas copias del genoma hay por mililitro, es decir, la carga viral. |
| |
Y los más pequeños detectan casos leves. Y si llegamos aquí, muy a la derecha, en realidad solo detectaremos individuos muy infectados, es decir, súper propagadores. |
| |
Y luego, cuál es el eje y aquí, esta es la fracción de casos detectados. Y nuevamente, esta es evidencia real aquí, entonces lo que podemos ver en esta línea negra es que existe una relación de sensibilidad clínica con qué tan bueno, |
| |
Lo siento, hasta qué punto |
| |
carga viral que podemos detectar. Entonces, detectar una carga viral más pequeña es bueno y eso es lo que uso para el orden de clasificación. |
| |
Así que tengo dos momentos diferentes, el 2 de abril y el 15 de septiembre, y luego, para cada momento hice el orden de clasificación del límite de detección basado en cada estándar. |
| |
Entonces, si se hicieran pruebas de diagnóstico, si se hicieran de manera sólida, esperaríamos más o menos el mismo orden de clasificación y límites de detección similares. |
| |
Si hubiera una falta de solidez en el diseño de estas pruebas, entonces esperaríamos ver un cambio en el orden de clasificación y límites de detección variables. |
| |
Entonces, ¿qué encontré? |
| |
Así que aquí he graficado los datos que encontré y tengo cuatro |
| |
paneles aquí en mi gráfico. |
| |
Y dentro de cada panel voy conectando la misma prueba diagnóstica en las dos fechas diferentes. Entonces, por ejemplo, en la línea violeta de la izquierda, estoy conectando |
| |
del rango del 2 de abril al del 15 de septiembre y esta prueba de diagnóstico en particular originalmente ocupaba el puesto 16 y luego llegó hasta el número 1. |
| |
Y también estoy graficando, grafiqué, los límites finales de detección. Entonces, este habría sido mucho peor en un panel diferente si estuviera graficando el valor inicial del 2 de abril, por lo que este es el valor final. |
| |
Entonces esta prueba mejoró mucho, mucho y lo que vemos es que hay un par de otras pruebas que aumentaron dramáticamente su capacidad para detectar un aumento dramático. |
| |
el límite de detección y su capacidad para detectar cargas virales cada vez más pequeñas. |
| |
Pero también vemos pruebas que empeoraron muchísimo y nuevamente están cambiando en varios órdenes de magnitud, así que, por ejemplo, esta de abajo aquí en rojo, fue el 2 de abril la tercera mejor prueba, pero luego cayó hasta el número 14. |
| |
Entonces creo que lo que esto muestra es que, en general, es simplemente una falta de solidez y de cómo se realizaron inicialmente estas tareas. |
| |
No sé cómo se hicieron estas pruebas. |
| |
No sé si usaron JMP y un experimento diseñado y límites de detección, pero creo que la aplicación de este tipo de técnicas ciertamente podría hacer que cualquier cosa que use límites de detección sea mucho más sólida. |
| |
Así que vayamos y miremos JMP. |
| |
Entonces, ¿cómo configuro los límites de detección? |
| |
Bueno, puedes hacerlo directamente en el diseñador personalizado. De hecho, ahora hay un cuadro donde simplemente puede escribir los límites de detección. |
| |
Cuando hace esto en el diseñador personalizado en su tabla de salida, crea una propiedad de columna que contiene los límites de detección. |
| |
Cuando analizas esto en regresión generalizada, la regresión generalizada tratará, |
| |
utilizará esos límites de detección y tratará las variables fuera de esos límites de detección como valores censurados. |
| |
Déjame mostrarte cómo hacer esto en JMP. |
| |
Así es como se vería una tabla de datos, que configuré en el diseño de experimentos, así que llegué aquí: fui al DOE, diseñador personalizado. |
| |
Y pueden ver que aquí es donde pondría mis límites de detección para cada una de mis respuestas. |
| |
Es aburrido verme escribir, así que déjame mostrarte cómo ya tengo esta configuración para esta tabla de datos en particular. |
| |
Y aquí tengo varias respuestas. |
| |
Y tengo una variedad de diferentes tipos de límites de detección, por lo que tengo un límite de detección superior e inferior para un par de mis respuestas. Puedes tener un lado en cualquier dirección. |
| |
Así que aquí solo tengo un límite de detección inferior y aquí solo tengo un límite de detección superior. |
| |
Y ciertamente puedes dejarlo en blanco si no tienes un límite de detección. |
| |
Y si miramos. |
| |
En la tabla de datos, lo que podemos ver es que en realidad se puede ver esto como un límite de detección. |
| |
Pero puedo seleccionar todos estos. |
| |
Y simplemente desplácese por ellos y le mostrará cómo es el límite de detección. Entonces es solo otro elemento en la propiedad de la columna. Así que aquí está mi superior e inferior. |
| |
Y nuevamente, tengo una superior y una inferior. |
| |
En este, este es mi límite inferior y en el siguiente, este es solo mi límite superior. |
| |
Ahora bien, la viscosidad no tiene ninguno en absoluto, así que si quisiera regresar y agregar esto manualmente o si estás usando límites de detección para el análisis, pero no lo configuraste en un experimento de diseño, |
| |
simplemente puede ir a las propiedades de la columna y estará aquí en la lista. Todas estas son propiedades de columna que se aplican a un experimento diseñado. |
| |
Simplemente agregue límites de detección y luego podremos escribir el valor que queramos, por lo que podríamos decir 1300. |
| |
Y |
| |
para un límite unilateral. |
| |
Y eso debería simplemente agregarlo y luego estará allí. |
| |
Así es como se establecen los límites de detección. |
| |
tablas de datos y propiedades de columnas de columnas. |
| |
Muy bien, ahora hablemos de cómo analizar datos que tienen límites de detección. |
| |
Para esto, quiero analizar un experimento que se organizó con un diseñador personalizado y el objetivo de este experimento era optimizar la determinación de un pesticida a partir de muestras de agua. |
| |
Es un experimento de tres factores y tuvo 32 ejecuciones y un diseño óptimo. |
| |
Nueve de esas observaciones estuvieron por debajo del límite de detección del 1%. |
| |
Entonces te mostraré cómo analizar los datos en JMP. |
| |
Pero también quiero hacer esta comparación adicional. ¿Y qué si no usáramos o no tuviéramos límites de detección? |
| |
Bueno, mi detección limitada es del 1% y nuevamente no estamos seguros de cuáles son esos valores reales, así que supongo que podríamos tomar cero para un caso y luego. |
| |
Entonces no hay ningún pesticida en la muestra de agua, o podemos decir que está justo en ese límite de detección y usar el valor de uno. Entonces esos son los dos escenarios alternativos. Y lo que verán es que si no usamos los límites de detección, |
| |
No vamos a encontrar todos nuestros factores y, de hecho, nuestros resultados serán tremendamente engañosos e inexactos. |
| |
Déjame mostrarte cómo hacer esto en JMP. |
| |
Entonces esto es lo que mi. |
| |
El diseño parece tener Metacrate como respuesta y aquí están mis límites de detección superior e inferior. |
| |
Aquí están mis tres factores. |
| |
Y acabo de hacer una superficie de respuesta |
| |
diseñar para que sea cada uno |
| |
factor, y luego la interacción cuadrática y bidireccional y terminé haciendo un diseño de 32 corridas. |
| |
Así es como se ven los datos. |
| |
De nuevo, estos son los resultados en mi diseño de experimento y en los casos en los que he |
| |
cero, así que eso es lo que dice mi máquina, mi máquina dijo que no detecté nada, pero el caso real es que está censurado, y aquí es donde tengo límites de detección al configurar mi diseño de experimento. |
| |
Y vamos a analizar esto con regresión generalizada. |
| |
Tiene límites de detección o no en mínimos cuadrados regulares. Entonces, si bien puedo ejecutar este script, quiero mostrarles cómo lo configuro realmente. |
| |
Entonces tengo Metacrate como mi variable de resultado y vamos a usar regresión generalizada. |
| |
Y aquí lo normal es una buena distribución que se ajusta a los datos, pero da como resultado valores de predicción negativos y no existe un valor negativo para la cantidad de pesticida que tengo. |
| |
Entonces, para mantenerlo positivo, voy a cambiarlo a un registro normal para que todos mis valores de predicción sean positivos. |
| |
Y observe que no tengo que poner nada para censurar. Tengo la opción aquí, pero JMP se encargará automáticamente de esto. |
| |
Cuando hacemos un diseño de análisis experimental y generalizamos la regresión, la selección directa es una buena opción, es muy similar a hacer una regresión por pasos o por pasos con la que quizás esté familiarizado. |
| |
en la plataforma del modelo en forma. |
| |
Entonces, lo que podemos ver en el resumen de mi modelo es que me recuerda que tiene límites de detección. |
| |
Y mi RSquare es 0,91, por lo que encaja muy bien. |
| |
Y si miramos los detalles de lo que está pasando aquí, |
| |
Si no está familiarizado con una ruta de solución y generaliza la regresión, lo que está viendo es cómo los parámetros ingresaron al modelo, entonces nuevamente es selección directa, |
| |
y luego se escalan según la magnitud del efecto, por lo que el primero que entró fue mi diclorometano, y tiene un efecto positivo en el resultado. |
| |
Pero después vino la cuadrática, y tiene un valor negativo, |
| |
un efecto negativo, es decir, literalmente, una estimación negativa. |
| |
Por eso, es divertido verlo e interactuar con él y, en general, el mejor modelo basado en la puntuación mínima de AIC tiene cinco pasos. |
| |
Ahora me gusta visualizar la ecuación con el generador de perfiles de predicción. |
| |
Y voy a simplificar esto por un minuto y hacerlo un poco más grande. |
| |
Entonces, lo que nos muestra el perfilador de predicción es nuestra variable de resultado Metacrate y aquí es el eje y, entonces cada cuadrado es uno de los factores de nuestro experimento. |
| |
Y lo que estamos viendo es la ecuación, o la relación |
| |
gráficamente. Entonces podemos ver interacciones porque la forma cambia para los otros factores cuando cambio esto cuando cambio dicloralmetano, y ciertamente se puede ver que hay mucha curvatura en estos parámetros. |
| |
También tengo mi real por predicho |
| |
trama y eso realmente se ve bastante bien. |
| |
Entonces, lo que quiero hacer es maximizar la cantidad de Metacrate que puedo detectar, por eso hice mi experimento. Entonces le pediré a JMP que encuentre el nivel máximo. |
| |
Y lo que encontré es que la cantidad máxima de Metacrate que pude detectar es 38,6. |
| |
Y eso es para estos ajustes de factores, por lo que mi muestra de agua es un poco menos de seis para esta cantidad de metanol y esta cantidad de diclorometano. |
| |
Este es el resultado de mi experimento y me gustaría volver atrás y probarlo y asegurarme de que funciona. |
| |
Ahora, ¿qué pasa si ignoro los límites de detección y simplemente intento algo más? |
| |
Entonces aquí tengo exactamente los mismos datos. |
| |
Con Metacrate con cero, pero lo que hice fue agregar un par de columnas. Y una columna, dije, bueno, tal vez en realidad esté en el límite inferior, está en la derecha, así que en lugar de cero simplemente cambié estos valores a uno. |
| |
Y luego, alternativamente, bueno, ¿qué pasaría si no hubiera nada que encontrar en esas muestras, y entonces eso sería cero y en este caso no puedo usar cero porque es log normal, así que simplemente elegí una pequeña , un valor muy pequeño |
| |
entonces uno multiplicado por 10 elevado a menos 12 a la derecha, entonces el punto .00000000001 creo que es el número correcto de ceros. |
| |
Entonces, analicemos los datos con estas dos condiciones y nuevamente no usaremos los límites de detección. |
| |
Entonces, en lugar de Metacrate, voy a colocar el primero, donde simplemente vamos a restablecer todos esos valores, esos valores justo en el límite inferior de detección. |
| |
Vamos a hacer una selección hacia adelante. |
| |
Así que no, pueden ver que no hay límites de detección aquí como los había antes de que mi RSquare estuviera justo por debajo de 0.7. |
| |
Pero puedes ver tanto en mi ruta de solución como en mi tabla de estimación de parámetros, |
| |
Solo tengo tres pasos, pasos adelante para mi modelado y no recogí muchas cosas, tengo muchos espacios en blanco aquí y, si miramos la foto de mi |
| |
ecuación aquí abajo en el generador de perfiles, pueden ver que en realidad me falta uno de mis factores, podemos compararlo con este de aquí, me perdí por completo el metanol. |
| |
Y si maximizo |
| |
para encontrar la mayor cantidad de Metacrate que pude encontrar, son solo alrededor de 16. |
| |
Y mi trama real prevista no se ve muy bien, no parece muy feliz. |
| |
Así que esa es una situación una y otra vez, por lo que simplemente pasamos por alto uno de nuestros factores y simplemente no lo detectamos. |
| |
Y luego veamos la otra situación si, en lugar de uno, ¿qué pasa si es casi cero? |
| |
No del todo cero, pero sí muy, muy cerca. |
| |
Selección hacia adelante. |
| |
Nuevamente, no estamos usando límites de detección aquí, pero mire esto, mi RSquared es 0,997. |
| |
Entonces cree que encontró una muy buena opción. |
| |
Pero todavía hay algo extraño que está sucediendo aquí, solo tengo tres pasos en mi modelo. Realmente no encontré mucho en absoluto, encontré |
| |
mi diclorometano y apenas terminé, recogí mi volumen de muestra. |
| |
Si miramos el perfilador de predicción de predicción. |
| |
Nuevamente me falta metanol, por lo que no tengo uno de mis factores. Mi trama real prevista se ve regular, pero ¿qué diablos está pasando aquí donde diablos está la parte superior de mi curva? |
| |
Voy a activar este eje y adaptativo para asegurarme de poder verlo todo. |
| |
Y tiene valores de predicción que rondan los cientos y si tan solo, |
| |
No lo haré, podría ejecutar maximizar la deseabilidad, pero puedes ver que es más de 470, incluso si intento elegir algo manualmente. Ahora recuerda, |
| |
Mi límite de detección era 99, por lo que estos valores ni siquiera tienen sentido. |
| |
Y |
| |
Me perdí un factor, no tiene sentido, pero parte del motivo por el que realmente quiero mostrar este ejemplo es que lo he visto con clientes. |
| |
y no pude explicarles lo que estaba pasando, así que sé que esto realmente sucede si las personas no utilizan los límites de detección, |
| |
obtienes un resultado muy, muy extraño porque has tomado una decisión sobre cómo tratar los datos en tu análisis, los has tratado, es uno o cero. |
| |
En este caso, estos son los dos escenarios alternativos, pero están muy, muy lejos de la realidad real de cuál es la capacidad real de detectar este pesticida en el agua y del resultado de mi experimento de diseño. |
| |
Entonces. |
| |
La conclusión clave que realmente quiero que todos se queden es la número uno: los límites de detección son muy importantes. |
| |
Y no debes ignorarlos y no reemplazarlos con el que tiene el valor alto o bajo y realmente estarás |
| |
debe incorporar esa incertidumbre en el análisis real. Y JMP hace que esto sea muy fácil de hacer. Puedes hacerlo en la plataforma de diseño de experimentos, puedes hacerlo en una propiedad de columna. |
| |
Y luego, una vez que estén ahí, usando regresión generalizada, puedes hacer un análisis que incorpore los límites de detección y te dará el mejor modelo, encontrarás tus factores y las relaciones reales entre ellos. |
| |
Y finalmente, en JMP realmente alentamos a las personas a volver atrás y volver a analizar los datos, donde es posible que hayan visto algunos de estos resultados extraños. |
| |
Podría ser así, deberías saber cuándo tienes un límite de detección basado en algún tipo de método analítico. |
| |
y realmente creemos que la gente debería volver atrás y volver a analizar esos datos y usar límites de detección en el diseño de experimentos realmente lo llevará a donde está tratando de ir mucho más rápido y con mayor precisión. |
| |
Muchas gracias por escuchar mi charla y si tiene alguna pregunta o desea realizar algún seguimiento, no dude en comunicarse con nosotros. |