Herramientas espectralesDescripción
Spectral Tools es un esfuerzo colaborativo de @JeremyAshJMP y @Bill_Worley . Proporciona algunas funciones convenientes para analizar datos espectrales o datos relacionados (cromatogramas, etc.). La mayor parte de la funcionalidad ya se puede realizar en JMP, pero la intención era optimizar el proceso. Con suerte, esto ayudará a reducir la barrera de entrada para los nuevos usuarios y hará que las tareas rutinarias sean más rápidas para los usuarios experimentados. Ver parte 1 y parte 2 de nuestro blog que describe el flujo de trabajo del análisis espectral.
Uso
Datos de ejemplo: Un ejemplo de conjunto de datos espectrales de Martens et al. quimica anal2003 1 de febrero; 75 (3): 394-404.
Importar espectros: Al importar espectros, Spectral Tools asume que cada espectro está en un archivo separado en un solo directorio.
Importar espectros > Importar archivos de texto delimitados: Los espectros pueden estar en archivos de texto delimitados (.csv o .tsv, por ejemplo).Spectral Tools asume que la variable X está en la primera columna y la variable Y está en la segunda.
Importar espectros > Importar archivos JCAMP-DX: También se admite la variación más simple de los archivos JCAMP-DX.Esto significa archivos JCAMP-DX sin compresión y con una lista de variables XYDATA=(X++(Y..Y)).No he probado esto en diferentes variaciones del formato de archivo.Planeo agregar a esta publicación algunos datos con los que probé, una vez que obtenga el permiso de los propietarios.
Preprocesamiento > Estándar Normal Variante: Crea una nueva columna con la variación normal estándar aplicada a los espectros.Supone que sus datos están en formato apilado.
Preprocesamiento > Suavizado Savtizky-Golay: Inicia Graph Builder con un suavizador Savitzky-Golay aplicado a cada espectro. Seleccione su parámetro de suavizado (ancho local) y luego use el botón en la parte superior izquierda del informe para crear una nueva columna para el suavizador.Supone que sus datos están en formato apilado.Solo disponible en JMP 16 y superior.
Inicie el generador de gráficos: Inicia un gráfico de líneas de espectros para una columna de espectros o dos columnas de espectros para la comparación (por ejemplo, antes y después del preprocesamiento). Algunas de las funciones que quizás desee utilizar están configuradas para usted. Supone que sus datos están en formato apilado.
Ver esta entrada de blog para un complemento de filtro derivado de Savtizky-Golay y uso demostrado.
Descargo de responsabilidad
Hay un descargo de responsabilidad que aparece en cada cuadro de diálogo de inicio. Básicamente dice que esto es solo un prototipo.Esto no se ha probado rigurosamente y no hace mucho en términos de manejo de errores.No tenemos la intención de proporcionar mantenimiento o soporte regular, y este es solo un primer paso para hacer que el análisis de espectros sea más conveniente en JMP.
Dicho esto, sería genial si pudieras probarlo y darnos tu opinión en los comentarios, o por mensaje a @Bill_Worley .Probablemente no tengamos tiempo para implementar nuevas funciones en el complemento, pero sería útil para el desarrollo conocer las funciones que le gustaría ver en el futuro.La lista de deseos de JMP también es un excelente lugar para realizar solicitudes.
Spectral Tools es un esfuerzo colaborativo de @JeremyAshJMP y @Bill_Worley . Proporciona algunas funciones convenientes para analizar datos espectrales o datos relacionados (cromatogramas, etc.).
Visualización de datosAnálisis exploratorio de datosUtilidadesRe: Herramientas espectralesy lo que olvidé como opción de preprocesamiento: el clásico centrado y escalado medio a veces también sería bueno. La normalización (al área o al pico) también puede ayudar.
Re: Herramientas espectrales@JeremyAshJMP al agregar concentraciones de referencia, quiero decir que le daría una columna (o varias) al Addin que contiene la concentración de un químico, etc., que está tratando de analizar a través de sus espectros. La columna ID, espectros es un buen comienzo, pero a veces tengo más de un valor de referencia y tal vez los espectros tengan su propio nombre de muestra. O si utilizo la concentración como columna ID y tengo más de un espectro con la misma concentración pero diferente medida...
Con respecto a la deconvolución, también creo que tanto el 1 como el 2 serían un gran beneficio. MCR es excelente cuando tiene datos resueltos en el tiempo o ordenados de otra manera, 1 podría funcionar mejor cuando intenta resolver un solo espectro o (oportunamente) inconexos. El ajuste de picos es un gran clásico cuando se trata de espectros.
Re: Herramientas espectralesmuchas gracias espero verlo implementado
Re: Herramientas espectrales@Vincenzo El modelado de mezclas de espectros EPR es un ejemplo perfecto de una aplicación para 2 en la que estábamos pensando.Realmente útil escuchar que pudo hacer que JMP se ajuste a mezclas de picos con algunas suposiciones informadas en no lineal.
Parece que cree que tanto 1 como 2 serían útiles, ya que 1 a menudo le dará conjeturas informadas que necesita para obtener una buena solución para 2.Conozco personas que han modelado un tipo similar de espectros (XRD, por ejemplo) y tuvieron muchas dificultades para obtener las conjeturas necesarias para obtener un buen ajuste.A menudo tiene que probar diferentes números de componentes, inicializaciones, restricciones.Entonces, mi lectura en 2 es que hacer algo que funcione bien en general podría requerir una interfaz de usuario rica con muchas oportunidades para la intervención del usuario. Háganos saber si se siente diferente sin embargo.
Definitivamente estamos interesados en hacer que tanto 1 como 2 sean más fáciles de usar, y es bueno conocer sus casos de uso.
También es interesante conocer su caso de uso para MCR porque también lo han solicitado otros usuarios, ¡así que lo agregaré a nuestro registro de solicitudes!
¡Realmente lo aprecio, sigan llegando sugerencias!
Re: Herramientas espectralesHola Jeremy,
En el pasado, analicé los espectros EPR haciendo algo entre 1) y 2).Estaba ajustando las curvas usando un número fijo (definido a priori) de funciones gaussianas o lorentzianas. JMP se estaba comportando bien con un ajuste estable con algunas conjeturas iniciales informadas.
También estaba ajustando curvas SAXS y UV VIS, pero para aquellos el modelo de mezclas no era realmente útil, estaba descomponiendo curvas usando PCA como primer paso, estaba creando una mejor descomposición para ajustar el modelo cinético usando resolución de curva multivariante, sin embargo, este paso posterior no era posible en JMP.
En general, la quimiometría es un campo muy interesante con muchos métodos disponibles y con aplicaciones interesantes.Estaba específicamente interesado en analizar una serie de espectros generados a temperatura y tiempo variables e intentaba crear modelos de pseudocinética, entendiendo cuántos fenómenos independientes estaban pasando al mismo tiempo.
Re: Herramientas espectrales@Feli @Vincenzo ¿Podría obtener alguna aclaración sobre lo que está buscando en cuanto a la desconvolución?Esto a menudo se refiere a 1) detectar picos y calcular los parámetros de los picos, como las áreas de los picos, o 2) ajustar un modelo de mezcla completo a los espectros y estimar los componentes de la mezcla subyacente.2 sería más desafiante y, a menudo, es un proceso tedioso en otro software porque requiere muchos ajustes de parámetros en el ajustador de mezcla.Pero sería bueno saber si hay mucho interés de los usuarios en esto....
Re: Herramientas espectrales@Feli Gracias por esta retroalimentación. ¡Cualquier idea que tenga sobre las formas en que podemos mejorar el flujo de trabajo sería útil!
Restar un espectro de referencia sería fácil de agregar como una opción de preprocesamiento en el complemento, por lo que intentaré solucionarlo pronto.
Pasaré su otra sugerencia sobre PLS al desarrollo.Hemos estado considerando hacer algo así.
Sin embargo, no estoy seguro de entender tu última petición.¿Podría aclarar qué quiere decir con agregar concentraciones de referencia a los espectros?
Re: Herramientas espectralesCuando trabajé con SpectralTools recientemente (muy divertido ahora, ¡gracias!), Me faltaban dos características:
- fácil sustracción de un espectro de referencia (por ejemplo, agua)
- Me gusta saltar directamente de los espectros a un PLS. Desafortunadamente, PLS solo funciona en el formato de tabla ancha y no en el apilado, a diferencia de FDE. Sería bueno un botón para crear el formato desapilado correcto
La posibilidad de agregar concentraciones de referencia a los espectros (variable y en el PLS) también sería buena
Re: Herramientas espectrales@joelahn Lo siento por la respuesta tardía.Supongo que los datos se guardan en un archivo de texto delimitado, como un csv.Para los archivos de texto delimitados, las herramientas espectrales solo proporcionan una interfaz optimizada para el importador de archivos múltiples, que debería poder poner a trabajar para su tarea.¿Intentarías lo siguiente?
1. Vaya a Archivo >> Importar varios archivos.
2. Vaya al directorio de archivos y seleccione los archivos que desea importar.
3. Marque Agregar columna de nombre de archivo, si desea una columna de nombre de archivo.
4. Vaya a la configuración.En la sección de encabezado tenía. Establezca la primera línea de datos en 38. Su línea de encabezado está en la línea 37 y es una línea.
5. Haga clic en importar.
Ese procedimiento funcionó para mí en un conjunto de datos de prueba que acabo de imitar.Debería ser fácil agregar esta opción en el complemento, así que si esto funciona para usted, continuaré y lo haré.Gracias por la petición y el claro ejemplo de lo que necesitas!
Re: Herramientas espectrales¿Podrá darnos la opción al importar archivos en la carpeta para elegir en qué línea comenzarán los datos para las variables X e Y?
Nuestros datos espectrales para el formato de datos sin procesar de FTIR tienen 37 filas y 2 columnas de descripción de archivo. Entonces, la columna n. ° 1 tendrá etiquetas de caracteres, la columna n. ° 2 tendrá valores mixtos de caracteres y números. Después de eso, todas las filas a partir de la fila 38 en las columnas 1 y 2 tendrán números en formato de cifras científicas.
Entonces, en otras palabras, ¿podemos truncar todos los datos por encima del número de fila específico y apilar datos, incluidos los nombres de archivo, al importar?
A continuación se muestra un ejemplo de esto.
| RES | 4 |
| ABERTURA | ABIERTO |
| HAZ | EN T |
| DET | INT1 |
| FILTRAR | 1.2 |
| SENSIBILIDAD | 1 |
| SIM | SIM |
| UDR | 2 |
| ESCANEOS | 64 |
| EtiquetaEjeX | número de onda |
| YAxisLabel | Absorbancia |
| Título | Absorbancia |
| Separación de puntos | 1.93E+00 |
| Número de punto de partida | 207 |
| Ubicación máxima | 3555 |
| XLabel | 20402 |
| Etiqueta Y | 20502 |
| Tipo de archivo | 20602 |
| DisplayDirection | 20300 |
| Dirección del pico | 20312 |
| Posición X (mm) | 0 |
| Posición Y (mm) | 0 |
| Radio (mm) | 0 |
| theta (grados) | 90 |
| Número de sitio | 1 |
| Tiempo | 06302021_155524 |
| Receta | asdadsadsd |
| Fondo | |
| Velocidad de escaneo (kHz) | 5 |
| Método de línea de base | Local/Por tramos/Lineal |
| Suavizado utilizado | FALSO |
| Método de suavizado | Media móvil |
| Longitud de la ventana de suavizado | 3 |
| Orden polinomial de suavizado | 2 |
| Compensación Atmosférica Utilizada | CIERTO |
| Espectro de referencia de CO2 | ReferenciaSpectrumCO2_20210617T084605.csv |
| Espectro de referencia H2O | ReferenciaSpectrumH2O_20210617T084605.csv |
| número de onda | Absorbancia |
| 3.99263973E+02 | 4.29913431E-02 |
| 4.01192784E+02 | 4.45658502E-02 |
| 4.03121596E+02 | 4.56853577E-02 |
| 4.05050407E+02 | 4.88489802E-02 |
| 4.06979219E+02 | 5.18775801E-02 |
| 4.08908030E+02 | 5.25619803E-02 |
| 4.10836841E+02 | 5.26030929E-02 |
| 4.12765653E+02 | 5.19562901E-02 |
| 4.14694464E+02 | 5.12063073E-02 |
| 4.16623276E+02 | 5.23197525E-02 |
Re: Herramientas espectrales@Vincenzo Aceptar. La deconvolución espectral sería muy ingeniosa.
Re: Herramientas espectrales@Vincenzo Anotado gracias.¡Estos son los tipos de solicitudes que estamos buscando!
Re: Herramientas espectralessería útil construir también alguna capacidad de deconvolución de datos espectrales
Re: Herramientas espectrales@Feli , la actualización adjunta debería funcionar con 15.2. Tenga en cuenta que el suavizado de Savitsky-Golay solo está disponible en 16.Probé la compatibilidad con versiones anteriores del complemento a través de JMP 14. ¡Gracias!
Re: Herramientas espectralesGracias @Feli .Bueno, eso no fue muy elegante, ¿verdad?Parece que hay JSL en el complemento que depende de 16. No me di cuenta de que 16 aún no se habían enviado.Debería estar disponible a finales de marzo, creo.Estoy trabajando para hacer esto retrocompatible con 15.2.Espero tener una solución pronto.
Re: Herramientas espectrales¡Gracias a los dos! Siempre me faltaban mejores herramientas para el análisis espectral.
Desafortunadamente, tratar de usar el generador de gráficos de lanzamiento con los datos de muestra bloquea mi JMP 15.2
