363513_fr-FR

liliconcom

Outils spectraux

La description

Spectral Tools est un effort collaboratif de @JeremyAshJMP et @Bill_Worley . Il fournit des fonctions pratiques pour analyser des données spectrales ou des données connexes (chromatogrammes, etc.). La plupart des fonctionnalités peuvent déjà être exécutées dans JMP, mais l'intention était de rationaliser le processus. Espérons que cela aidera à réduire la barrière à l'entrée pour les nouveaux utilisateurs et à accélérer les tâches de routine pour les utilisateurs expérimentés. Voir partie 1 et partie 2 de notre blog décrivant le workflow d'analyse spectrale.

 

Usage

Exemple de données : Un exemple de jeu de données spectrales de Martens et al. Chimie anale.1er février 2003;75(3):394-404.

Importer des spectres : Lors de l'importation de spectres, Spectral Tools suppose que chaque spectre se trouve dans un fichier séparé dans un répertoire unique.

Importer des spectres > Importer des fichiers texte délimités : Les spectres peuvent être dans des fichiers texte délimités (.csv ou .tsv, par exemple).Spectral Tools suppose que la variable X est sur la première colonne et que la variable Y est sur la seconde.

Importer des spectres > Importer des fichiers JCAMP-DX : La variante la plus simple des fichiers JCAMP-DX est également prise en charge.Cela signifie des fichiers JCAMP-DX sans compression et avec une liste de variables XYDATA=(X++(Y..Y)).Je n'ai pas testé cela sur différentes variantes du format de fichier.Je prévois d'ajouter à cet article des données que j'ai testées, une fois que j'aurai obtenu la permission des propriétaires.

Prétraitement > Variable normale standard : Crée une nouvelle colonne avec la variable normale standard appliquée aux spectres.Suppose que vos données sont au format empilé.

Prétraitement > Lissage Savtizky-Golay : Lance Graph Builder avec un lisseur Savitzky-Golay appliqué à chaque spectre. Sélectionnez votre paramètre de lissage (largeur locale) puis utilisez le bouton en haut à gauche du rapport pour créer une nouvelle colonne pour le lissage.Suppose que vos données sont au format empilé.Uniquement disponible dans JMP 16 et supérieur.

Lancez le générateur de graphiques : Lance un tracé de lignes spectrales pour une colonne de spectres ou deux colonnes de spectres à des fins de comparaison (par exemple, avant et après le prétraitement). Certaines des fonctionnalités que vous pourriez souhaiter utiliser sont configurées pour vous. Suppose que vos données sont au format empilé.

 

Voir ce billet de blog pour un complément de filtre dérivé de Savtizky-Golay et une utilisation démontrée.

 

Clause de non-responsabilité

Une clause de non-responsabilité apparaît dans chaque boîte de dialogue de lancement. Fondamentalement, il dit que ce n'est qu'un prototype.Cela n'a pas été rigoureusement testé et ne fait pas grand-chose en termes de gestion des erreurs.Nous n'avons pas l'intention de fournir une maintenance ou une assistance régulières, et ce n'est qu'une première étape pour rendre l'analyse des spectres plus pratique dans JMP.

 

Cela étant dit, ce serait formidable si vous pouviez l'essayer et nous faire part de vos commentaires dans les commentaires, ou par message à @Bill_Worley .Nous n'aurons probablement pas le temps d'implémenter de nouvelles fonctionnalités dans le complément, mais il serait utile pour le développement de connaître les fonctionnalités que vous aimeriez voir à l'avenir.La liste de souhaits JMP est également un endroit idéal pour faire des demandes.

 

 

 

 

 

 

 

 

Spectral Tools est un effort collaboratif de @JeremyAshJMP et @Bill_Worley . Il fournit des fonctions pratiques pour analyser des données spectrales ou des données connexes (chromatogrammes, etc.).

Visualisation de donnéesL'analyse exploratoire des donnéesUtilitairesRe : Outils spectraux

et ce que j'ai oublié comme option de prétraitement : le centrage et la mise à l'échelle classiques signifient parfois aussi bien. La normalisation (à la zone ou au pic) peut également aider.

Re : Outils spectraux

@JeremyAshJMP avec l'ajout de concentrations de référence, je veux dire que vous donneriez une colonne (ou plusieurs) à l'Addin qui contient la concentration d'un produit chimique, etc. que vous essayez d'analyser via leurs spectres. La colonne ID, spectres est un bon début, mais j'ai parfois plus d'une valeur de référence et peut-être que les spectres ont leur propre nom d'échantillon. Ou si j'utilise la concentration comme colonne ID et que j'ai plus d'un spectre avec la même concentration mais des mesures différentes...

 

Concernant la déconvolution, je pense aussi que 1 et 2 seraient un grand avantage. MCR est idéal lorsque vous avez des données résolues dans le temps ou autrement ordonnées, 1 peut mieux fonctionner lorsque vous essayez de résoudre un seul spectre ou des données disjointes (en temps opportun). L'ajustement de crête est un grand classique lorsqu'il s'agit de spectres.

Re : Outils spectraux

merci beaucoup, hâte de voir ça mis en place

Re : Outils spectraux

@Vincenzo La modélisation des mélanges des spectres RPE est un exemple parfait d'une application pour 2 à laquelle nous pensions.Vraiment utile d'entendre que vous avez réussi à faire en sorte que JMP adapte des mélanges de pics avec des suppositions éclairées en non linéaire.  

 

Il semble que vous pensiez que 1 et 2 seraient utiles, car 1 vous donnera souvent des suppositions éclairées dont vous avez besoin pour obtenir une bonne solution pour 2.Je connais des gens qui ont modélisé des types de spectres similaires (XRD, par exemple) et qui ont eu beaucoup de difficulté à obtenir les suppositions éclairées nécessaires pour obtenir un bon ajustement.Vous devez souvent essayer différents nombres de composants, d'initialisations, de contraintes.Donc, ma lecture sur 2 est que faire quelque chose qui fonctionnerait bien en général pourrait prendre une interface utilisateur riche avec beaucoup d'opportunités pour l'intervention de l'utilisateur. Faites-nous savoir si vous vous sentez différemment.

 

Nous souhaitons vraiment rendre 1 et 2 plus conviviaux, et il est bon de connaître vos cas d'utilisation.

 

Il est également intéressant d'entendre parler de votre cas d'utilisation pour MCR car cela a également été demandé par d'autres utilisateurs, donc je vais l'ajouter à notre dossier de demandes !

 

Je l'apprécie vraiment, gardez les suggestions à venir!

 

 

Re : Outils spectraux

Salut Jérémie,

 

Dans le passé, j'ai analysé les spectres RPE en faisant quelque chose entre 1) et 2).J'ajustais les courbes en utilisant un nombre fixe (défini a priori) de fonctions gaussiennes ou lorentziennes. JMP se comportait bien avec un ajustement stable avec quelques suppositions initiales éclairées.

 

J'ajustais également les courbes SAXS et UV VIS, mais pour celles-ci, le modèle de mélanges n'était pas vraiment utile, je décomposais les courbes en utilisant PCA comme première étape, je créais une meilleure décomposition pour s'adapter au modèle cinétique en utilisant une résolution de courbe multivariée, cependant cette dernière étape n'était pas possible dans JMP.

 

En général, la chimiométrie est un domaine très intéressant avec de nombreuses méthodes disponibles et avec des applications intéressantes.J'étais particulièrement intéressé par l'analyse d'une série de spectres générés en fonction de la température et du temps et j'essayais de créer des modèles pseudocinétiques, comprenant combien de phénomènes indépendants subissaient en même temps.

 

 

 

Re : Outils spectraux

@Feli @Vincenzo Pourrais-je obtenir des éclaircissements sur ce que vous recherchez en matière de déconvolution ?Cela fait souvent référence à 1) la détection des pics et le calcul des paramètres des pics tels que les aires des pics, ou 2) l'ajustement d'un modèle de mélange à part entière aux spectres et l'estimation des composants sous-jacents du mélange.2 serait plus difficile et est souvent un processus fastidieux dans d'autres logiciels car il nécessite de nombreux ajustements de paramètres dans l'installateur de mélange.Mais il serait bon de savoir s'il y a beaucoup d'intérêt des utilisateurs pour cela...

Re : Outils spectraux

@Feli Merci pour ce retour. Toutes les idées que vous avez sur les moyens d'améliorer le flux de travail seraient utiles !

 

La soustraction d'un spectre de référence serait facile à ajouter en tant qu'option de prétraitement dans l'addin, donc je vais essayer d'y remédier bientôt.

 

Je vais transmettre votre autre suggestion concernant PLS au développement.Nous avons envisagé de faire quelque chose comme ça.

 

Je ne suis pas sûr de comprendre votre dernière demande, cependant.Pourriez-vous préciser ce que vous entendez par ajouter des concentrations de référence aux spectres ?

 

 

Re : Outils spectraux

Lorsque vous travaillez avec les SpectralTools récemment (tellement amusant maintenant, merci !), Il me manquait deux fonctionnalités :

- soustraction facile d'un spectre de référence (par exemple l'eau)

- J'aime sauter directement des spectres vers un PLS. Malheureusement, PLS ne fonctionne que sur le format de table large et non empilé, contrairement à FDE. Un bouton pour créer le bon format non empilé serait bien

 

La possibilité d'ajouter des concentrations de référence aux spectres (variable y dans le PLS) serait également intéressante

Re : Outils spectraux

@joelahn Désolé pour la réponse tardive.Je suppose que les données sont enregistrées dans un fichier texte délimité, tel qu'un csv ?Pour les fichiers texte délimités, les outils spectraux fournissent simplement une interface simplifiée à l'importateur de fichiers multiples, que vous devriez pouvoir utiliser pour votre tâche.Voulez-vous essayer ce qui suit :

 

1. Allez dans Fichier >> Importer plusieurs fichiers.

2. Allez dans le répertoire des fichiers et sélectionnez les fichiers que vous souhaitez importer.

3. Cochez Ajouter une colonne de nom de fichier, si vous voulez une colonne de nom de fichier.

4. Accédez aux paramètres.Dans la section d'en-tête had. Définissez la première ligne de données sur 38. Votre ligne d'en-tête est sur la ligne 37 et est une ligne.

5. Cliquez sur importer.

 

Cette procédure a fonctionné pour moi dans un ensemble de données de test que je viens de modéliser.Il devrait être facile d'ajouter cette option dans le complément, donc si cela fonctionne pour vous, je vais continuer et le faire.Merci pour la demande et l'exemple clair de ce dont vous avez besoin !

 

 

 

Re : Outils spectraux

Serez-vous en mesure de nous donner l'option lors de l'importation de fichiers dans le dossier de choisir quelle ligne commencera les données pour les variables X & Y ?

Nos données spectrales pour le format de données brutes FTIR ont 37 lignes et 2 colonnes de description de fichier. Ainsi, la colonne n ° 1 aura des étiquettes de caractères, la colonne n ° 2 aura des valeurs mixtes de caractères et de chiffres. Après cela, toutes les lignes à partir de la ligne n ° 38 sur les colonnes n ° 1 et 2 auront des nombres au format de chiffres scientifiques.

 

En d'autres termes, pouvons-nous tronquer toutes les données au-dessus d'un numéro de ligne spécifique et empiler les données, y compris les noms de fichiers lors de l'importation ?

 

Vous trouverez ci-dessous un exemple de cela.

 

RES	4
OUVERTURE	OUVERT
RAYONNER	INT
DET	INT1
FILTRE	1.2
SENSIBILITÉ	1
SYM	SYM
UDR	2
NUMÉRISATIONS	64
XAxisLabel	Numéro d'onde
EtiquetteAxe Y	Absorbance
Titre	Absorbance
Séparation des points	1.93E+00
Numéro de point de départ	207
Emplacement du pic	3555
Étiquette XL	20402
YLabel	20502
Type de fichier	20602
DisplayDirection	20300
PeakDirection	20312
Position X (mm)	0
Position Y (mm)	0
Rayon (mm)	0
Thêta (deg)	90
Numéro de site	1
Temps	06302021_155524
Recette	asdadsadsd
Arrière plan
Vitesse de balayage (kHz)	5
Méthode de base	Local/Par morceaux/Linéaire
Lissage utilisé	FAUX
Méthode de lissage	Moyenne mobile
Longueur de la fenêtre de lissage	3
Ordre polynomial de lissage	2
Compensation atmosphérique utilisée	vrai
Spectre de référence CO2	RéférenceSpectrumCO2_20210617T084605.csv
Spectre de référence H2O	RéférenceSpectrumH2O_20210617T084605.csv
Numéro d'onde	Absorbance
3.99263973E+02	4.29913431E-02
4.01192784E+02	4.45658502E-02
4.03121596E+02	4.56853577E-02
4.05050407E+02	4.88489802E-02
4.06979219E+02	5.18775801E-02
4.08908030E+02	5.25619803E-02
4.10836841E+02	5.26030929E-02
4.12765653E+02	5.19562901E-02
4.14694464E+02	5.12063073E-02
4.16623276E+02	5.23197525E-02

Re : Outils spectraux

@Vincenzo Accepter. La déconvolution spectrale serait très astucieuse.

Re : Outils spectraux

@Vincenzo Noté Merci.Ce sont les types de demandes que nous recherchons!

Re : Outils spectraux

serait utile de construire également une capacité de déconvolution des données spectrales

 

Re : Outils spectraux

@Feli , la mise à jour ci-jointe devrait fonctionner avec 15.2. Notez que le lissage Savitsky-Golay n'est disponible qu'en 16.J'ai testé le complément pour la rétrocompatibilité via JMP 14. Merci !

Re : Outils spectraux

Merci @Feli .Eh bien, ce n'était pas très gracieux, n'est-ce pas ?On dirait qu'il y a JSL dans l'addin qui est 16 dépendant. Je n'avais pas réalisé que 16 n'avaient pas encore été expédiés.Il devrait être disponible fin mars, je crois.Je travaille pour rendre cela rétrocompatible avec 15.2.J'espère avoir une réparation bientôt.

Re : Outils spectraux

Merci à vous deux! Il me manquait toujours de meilleurs outils pour l'analyse spectrale.

Malheureusement, essayer d'utiliser le générateur de graphes de lancement avec les exemples de données plante mon JMP 15.2