Ensemble de données PLS "très large"?<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Quelqu'un a-t-il un ensemble de données "très large" qui se prêterait à la modélisation PLS?
Un client dispose d'un jeu de données spectrales avec 3500 colonnes (longueurs d'onde), 70 lignes, 1 réponse à prédire. Ils ont essayé de construire un modèle PLS dans JMP et c'était extrêmement lent (10 minutes). Je souhaite enquêter mais le client ne peut pas me donner les données (même anonymisées!). Quelqu'un a-t-il un ensemble de données de taille comparable? Tous mes exemples de stock sont beaucoup plus petits.
Veuillez me faire savoir si vous avez des idées concernant la vitesse de montage. L'autre logiciel du client a installé le modèle en << 1 minute. Pro serait-il différent? Y a-t-il des options qui pourraient aider?
Merci,
Phil
Re: Ensemble de données PLS «très large»?Merci, Scott.
C'est l'un des ensembles de données que j'ai examinés. Je suis d'accord que c'est une bonne. Ce n'était tout simplement pas aussi grand que l'ensemble de données du client car il contient des centaines de colonnes plutôt que des milliers.
Merci,
Phil
Re: Ensemble de données PLS «très large»?Cela a du sens car nous demandons maintenant à JMP d'ajuster des modèles pour tous ces différents nombres de facteurs sur les 7 plis des données.
Re: Ensemble de données PLS «très large»?Phil et Peter,
Juste et pour info:
Un autre ensemble de données assez large pour PLS est l'ensemble de données NIR d'octane d'essence.
C'était l'un des premiers que nous utilisions pour le PLS au début du JMP, mais il est toujours très bon et représentatif d'une situation de données commune à l'échelle du laboratoire.
Il suffit de le mettre sous t il Bibliothèque de référence technique JMP sous les dossiers de la table de données: D50 essence octane NIR (Gardner)
Je n'ai pas encore essayé les fonctionnalités JMP Pro PLS sur celui-ci (comme la validation et les nouvelles options d'analyse), mais je pense que cela fonctionnerait également.
Scott
Re: Ensemble de données PLS «très large»?Oui, la technique de validation joue un rôle énorme dans le temps de réponse. Juste pour rire, j'ai choisi KFold = 7 plutôt que None et il a fallu environ 14 minutes pour le résoudre.
Re: Ensemble de données PLS «très large»?Salut Peter,
Excellente suggestion pour cet ensemble de données, merci.
Après avoir joué sur (j'ai utilisé la colonne "âge" comme mon Y), je peux également adapter un modèle à 15 facteurs en même temps. Bien que, je trouve qu'avec seulement 8 Go de RAM dans ma machine (je dois en parler avec lui!) Je ne peux pas utiliser les 11 000 covariables. Environ la moitié d'entre eux est bien cependant.
Que vous utilisiez ou non la validation a un effet important. Si je demande la validation LOO, tout s'arrête. Je pense que c'est ce que faisait le client dans JMP. Et peut-être que le modèle que le client a intégré dans son autre logiciel n'a pas utilisé la validation.
Cela m'a donné quelques pistes utiles à explorer.
Merci encore,
Phil
Re: Ensemble de données PLS «très large»?OK ... je viens de créer une réponse numérique simple qui était l'une des covariables x 3 donc une relation linéaire donc il y avait quelque chose à trouver ... utilisé toutes les presque 11000 covariables, JMP Pro, ma machine, aucune pour la validation ... et je pense que cette seule chose est la clé ... en utilisant la personnalité PLS dans Fit Model, pas de standardiser X, et il a fallu environ 15 secondes pour trouver une solution à 15 facteurs.
Re: Ensemble de données PLS «très large»?Phil:
Un ensemble de données qui vient immédiatement à l'esprit est l'ensemble de données Micro Array qui est au cœur de nos démos JMP Pro version 12 qui contient près de 11 000 colonnes de covariables numériques, 4 réponses catégoriques. Cela prend peut-être 4 secondes pour que cela s'exécute sur ma machine Windows pour une réponse. Je n'ai jamais essayé plusieurs réponses. En fait, je vais organiser un événement de mastering orienté PLS le 15 octobre démontrant cet ensemble de données spécifique avec une seule réponse juste pour rester simple. Un ensemble de données un peu différent et il fonctionne sur la plate-forme Discriminant, pas sur la plate-forme PLS, mais cela pourrait aider?
Voici les spécifications de mon ordinateur portable Windows si cela aide:
