¿Debo usar el análisis de componentes principales o el análisis de conglomerados k-means?Hola, estoy tratando de decidir el mejor método de análisis de conglomerados (por ejemplo, análisis de componentes principales, k-medias, etc.) para usar en la siguiente situación.Tengo un conjunto de datos mapeado con 12 928 registros, cada uno correspondiente a un pozo con resultados de muestra.Cada fila de datos (cada ubicación en mi mapa) tiene un nombre de pozo, latitud, longitud y resultados del compuesto A, compuesto B, compuesto C, compuesto D, compuesto E, etc. (8 compuestos químicos en total).Estos pozos han sido contaminados por una de tres fuentes: 1) deposición de aire, 2) desechos del proceso o 3) una combinación de los dos (mixtos).Y cada fuente está asociada con una firma de fuente única (por ejemplo, la fuente de deposición de aire tiende a tener un alto contenido de compuesto X y un bajo contenido de compuesto Y, mientras que el agua de proceso tiende a tener un alto contenido de compuesto Y y Z y un contenido bajo de compuesto X).Entonces, cada fila (es decir, la ubicación del pozo) de mi conjunto de datos está asociada con una de las tres fuentes de contaminación. Mi objetivo es identificar qué fuente es más probable para cada registro (es decir, ubicación del pozo) en mi conjunto de datos.
Es importante destacar que se sabe que un subconjunto de ~800 registros en mi conjunto de datos está asociado con la firma de la fuente de deposición en el aire.Como tal, este subconjunto de datos puede usarse como un conjunto de entrenamiento para la firma de deposición aérea.También puedo generar un subconjunto de ~50 registros que son representativos de la firma de la fuente de desechos del proceso.
Cualquier enfoque sugerido en JMP o JMP Pro sería muy apreciado.¡Gracias de antemano!
Modelado Estadístico AvanzadoAnálisis y modelado de datos básicosExploración y visualización de datosModelado predictivo y aprendizaje automáticoRe: ¿debo usar el análisis de componentes principales o el análisis de conglomerados de k-medias?Consulte la hoja de cálculo de Excel adjunta para obtener una muestra de los datos.
Re: ¿debo usar el análisis de componentes principales o el análisis de conglomerados de k-medias?No he mirado la hoja de cálculo de Excel, pero no estoy seguro de que los métodos de análisis de datos exploratorios, como el agrupamiento o los métodos de reducción de dimensionalidad, como PCA, sean los más adecuados para la aplicación de su problema práctico. Mi interpretación de su publicación original se basa en gran medida en la última oración de su primer párrafo. "Mi objetivo es identificar qué fuente es más probable para cada registro...". Para mí, esto suena como un problema de modelado de clasificación donde la fuente de contaminación es la variable dependiente y los compuestos son las variables de predicción. Si estoy en el camino correcto, hay varios métodos de modelado en JMP y JMP Pro adecuados para problemas de clasificación. Puede comenzar con la regresión logística nominal, probar cualquier número de métodos de árbol o tal vez la plataforma PLS-Discriminant Analysis en JMP Pro, por nombrar solo algunos. Si tiene JMP Pro y sus datos admiten métodos de validación cruzada, le recomiendo que también incluya esos métodos en su flujo de trabajo... ¿lo está insinuando con una de las fuentes, por lo que parece que también puede utilizar esos métodos?
Re: ¿debo usar el análisis de componentes principales o el análisis de conglomerados de k-medias?Hola P_Bartell, muchas gracias por tu respuesta.Intentaré aclarar mi objetivo.Cada registro representa una muestra de pozo mapeada que muestra los resultados (concentraciones) de muchos compuestos PFAS diferentes (cada compuesto es un campo diferente).Son posibles tres fuentes de contaminación en mi área de estudio: (1) una fuente de deposición de aire, que presumiblemente está asociada predominantemente con el compuesto "PMPA", (2) una fuente de desechos del proceso, que presumiblemente está asociada con "PFMOAA", y ( 3) una mezcla de deposición de aire y desechos del proceso.Por supuesto, el mundo no es tan limpio y ordenado, por lo que ambos compuestos (PMPA y PFMOAA) se producirán en casi todos los pozos, independientemente de su proximidad a cualquiera de las fuentes, además de otros compuestos, por supuesto.Es el concentraciones relativas de los compuestos que ayudarán a identificar si el pozo está afectado por una fuente u otras.Y, ¿puede ser que otros compuestos sean mejores sustitutos o indicadores?....tbd.
Mi objetivo es decidir qué áreas (es decir, pozos) están contaminadas por qué fuente.(La hoja de cálculo que adjunté es solo una muestra de los datos, pero le da una idea de mi formato de datos). Es importante destacar que los pozos más alejados de una fuente naturalmente tendrán concentraciones decrecientes de los diferentes compuestos que componen ese pozo, pero las proporciones relativas y los compuestos asociados con esa fuente deberían continuar.Por lo tanto, la ubicación de un pozo es parte de la historia (es decir, el lugar donde se encuentra un pozo puede afectar su composición compuesta).
Entonces, dado lo anterior, si todavía piensa que el análisis discriminante (DA), por ejemplo, es un buen camino a seguir, tengo un par de preguntas.(1) ¿No se supone que mis muestras (resultados de pozos) son independientes?Y basado en mi descripción anterior, haría ¿ellos son?Parece que no son realmente independientes, ya que los que están cerca de un tipo de fuente se parecerían más a los que están cerca de una fuente diferente.¿Pensamientos? (2) Se supone que las concentraciones de cada uno de mis compuestos PFAS (variables independientes) se distribuyen normalmente.Dado que estos son datos de contaminantes ambientales, esta suposición a menudo no se cumple, a veces incluso con la normalización de registros.¿Es esto un problema? (3) Parece que mis variables predictoras (compuestos PFAS) serían naturalmente colineales.En otras palabras, una fuente dada estaría asociada con algunos compuestos que suben y bajan juntos, dependiendo de la proximidad a esa fuente.¿Es esto un problema?¡Gracias de antemano!
Re: ¿debo usar el análisis de componentes principales o el análisis de conglomerados de k-medias?Haré todo lo posible para responder a cada una de sus preguntas. (1) No necesariamente. La 'independencia' es uno de esos grandes mitos de respuesta a los requisitos urbanos, como la normalidad (vea mis próximos comentarios) que no requiere el uso de una multitud de métodos de modelado. (2) ¿Quién dice? Los datos de la vida real a menudo no se distribuyen normalmente en comparación con las variables independientes... ¿a quién le importa? (3) Aquí es donde brilla un método como PLS - Análisis Discriminante. A riesgo de simplificar un poco demasiado... lo que sucede en el fondo de todos los métodos basados en PLS (que brillan con variables predictoras colineales) es a través de algunas matemáticas muy elegantes, esas variables predictoras colineales se convierten en lo que se denomina "variables latentes". que tienen algunas propiedades muy buenas... es muy similar a hacer un análisis de componentes principales en los predictores ANTES de modelar. Hace mucho tiempo, cuando todavía era ingeniero senior de sistemas de JMP (ahora estoy jubilado), preparé un seminario web sobre cómo dominar JMP que todavía está disponible. Se titula "Uso de mínimos cuadrados parciales". Cuando la regresión por mínimos cuadrados ordinarios simplemente no funciona". ¿Quizás quieras verlo? Aquí hay un enlace: PAG. Bartell - PLS De hecho, cubro un problema de tipo de clasificación no muy diferente al tuyo al final del evento. Está utilizando datos del genoma humano (que normalmente no se distribuyen de ninguna manera) para clasificar el estado del receptor de estrógeno de las mujeres (una respuesta binaria... pero fácilmente extensible a su situación con 3 clasificadores posibles). Por último, si tiene JMP Pro, también echaría un vistazo serio a los diversos métodos de árbol. Luego guarde todos los modelos en el Formula Depot y compare cómo funcionan. Creo que mi seminario web se realizó con JMP Pro v 13. Entonces, las cosas pueden haber cambiado un poco en las capacidades y funcionalidades que muestro... ya que parece que podría estar ejecutando v 17, pero las ideas básicas aún se mantienen. ¡Buena suerte!
Re: ¿debo usar el análisis de componentes principales o el análisis de conglomerados de k-medias?Gracias P_Bartell!Echaré un vistazo a tu enlace y haré un poco de tarea.¡Agradezco sus respuestas detalladas!
Re: ¿debo usar el análisis de componentes principales o el análisis de conglomerados de k-medias?Vi tus videos, ¡muy útiles!Suponiendo que uso el análisis discriminante en JMP, mis covariables Y son obviamente todos mis numerosos campos compuestos de PFAS. Pero no está claro cómo se supone que funciona mi campo X, categoría/clase - "fuente".Digo esto porque no sé cuál es la fuente de la gran mayoría de mi conjunto de datos (por eso estoy haciendo este análisis).
Recuerde que mi conjunto de datos se ve así:
Puedo agregar un campo de origen a mi conjunto de datos y completarlo en aproximadamente el 10 % de mis filas (~1300 filas) debido a los atributos únicos de mi área de estudio.Sin embargo, puedo llenarlo solo para la fuente de "deposición de aire".Las otras dos fuentes ("desperdicio de proceso" y "mixto") no son fáciles de discernir... de ahí mi necesidad de analizar mi conjunto de datos (PLS, por ejemplo).Si lo presiono, probablemente también podría llenar la fuente de "desperdicio de proceso", pero solo para unas 30 filas, no más.Se desconoce el campo de origen de las otras 11.000 filas.
¿Estoy leyendo mal el flujo de trabajo aquí?
Re: ¿debo usar el análisis de componentes principales o el análisis de conglomerados de k-medias?No, no está malinterpretando el flujo de trabajo... si no puede completar la tabla de datos en la columna Loc con los tres niveles posibles de esa variable, entonces no puede construir un modelo, PLS o cualquier otro método. Así que le sugiero que vuelva a sus pensamientos originales sobre las herramientas de análisis de datos exploratorios multivariados, como el análisis de componentes principales o de agrupamiento en las variables compuestas... en el mejor de los casos, si surgen algunos grupos o emerge un número relativamente pequeño de componentes principales. Podrá verlos entre las variables compuestas.
Re: ¿debo usar el análisis de componentes principales o el análisis de conglomerados de k-medias?Voy a apilar a mi viejo amigo @P_Bartell la respuestaSolo en mi opinión, la agrupación en clústeres suena como un excelente lugar para comenzar con sus necesidades analíticas.K-Means o agrupamiento jerárquico debería funcionar bien y dado que tiene 3 posibles fuentes de contaminación, debe limitar su K-Means o agrupamiento jerárquico a 3 grupos.Cuando esté satisfecho con los resultados, guarde los conglomerados en la tabla de datos y esta columna se puede usar como parte de cualquier modelado adicional que realice.También puede guardar la fórmula del conglomerado en la tabla de datos y cuando ingrese datos nuevos en la tabla, obtendrá una predicción inmediata del conglomerado (fuente) de la contaminación.
Re: ¿debo usar el análisis de componentes principales o el análisis de conglomerados de k-medias?Un pensamiento adicional y tal vez una idea extravagante... si se trata de un problema del mundo real con el que está trabajando y no de un ejercicio académico inventado una vez que haya identificado algunos grupos y las ubicaciones geográficas asociadas con cada pozo, use el mapeo de Graph Builder herramientas para producir mapas de densidad de los pozos. Luego, con un poco de fisgoneo, apuesto a que podría hacer una suposición razonable sobre la vía de origen de los compuestos. Por suerte, y tenga en cuenta que no estoy ni cerca de ser un ingeniero geológico ambiental calificado/entrenado/educado, acabo de terminar de leer un libro sobre el asunto de Love Canal (Niagara Falls NY). Apostaría a que los pozos allí o las columnas cercanas tendrían perfiles de contaminación similares... y la fuente es bastante obvia... los desechos del proceso que fueron enterrados y dejados filtrar durante años. Ah, volver a ser ingeniero de sistemas de JMP... Siempre me gustó trabajar en este tipo de problemas 'desordenados' con mis clientes.
Re: ¿debo usar el análisis de componentes principales o el análisis de conglomerados de k-medias?Gracias a los dos.Comenzaré allí (análisis de conglomerados) y veré a dónde conduce.¡Aprecio la entrada!
