Y a-t-il des limites à la quantité de données que FDE peut gérer ?Salut tout le monde,
Un client m'a demandé dans quelle mesure FDE peut être étendu.
Essentiellement, ils disposent d'un ensemble de données de courbe provenant de certains travaux de génomique où il existe des données de courbe (constituées d'environ 8 points) pour env. 20 000 gènes. Ce qu'ils aimeraient faire, c'est utiliser FDE pour les modéliser et les filtrer, mais ils voulaient savoir s'il existe une limite (autre que le temps de calcul potentiel) à l'étendue des données que FDE peut gérer ?
Mon hypothèse à partir de cette discussion: Résolu : FDE : Avons-nous des chiffres sur les performances ? - Communauté d'utilisateurs JMP est que cela devrait être réalisable, même s'il s'agit d'un long processus, mais j'ai pensé que je vous contacterais tous pour vous aider à confirmer ou à infirmer cela.
Merci,
Stuart
Re : Y a-t-il des limites à la quantité de données que FDE peut gérer ?Hé, Stuart !
TL ; DR :
Montrez-les avec la liaison anodique et la déclaration standard de "limite de mémoire" à propos de JMP est probablement valable dans ce cas.
La version boîte à savon :
Vous pouvez jeter un œil à l'ensemble de données de liaison anodique dans les exemples de données comme moyen de démontrer que nous pouvons gérer les problèmes à cette échelle. Il contient 122000 enregistrements, 61 points de données par fonction avec 2000 fonctions. C'est un ensemble de données sur les semi-conducteurs, mais c'est dans le même ordre d'idée pour la taille de l'échantillon. Et, ça roule assez vite.
De plus, votre cas présente certains avantages par rapport à la situation de liaison anodique : vous ne pouvez pas vraiment obtenir une forme complexe avec 8 points de données par trace, vous n'aurez donc pas beaucoup de FPC. Le nombre de nœuds va également être petit (ce qui est similaire aux données de liaison anodique). Cela devrait également permettre de traiter assez facilement des ensembles de données encore plus volumineux.
Dans l'exemple dont Martin et moi parlions (vous y avez lié), les traces ont probablement été suréchantillonnées lors de l'acquisition. (Cela arrive souvent.) Une autre stratégie que nous aurions pu utiliser dans ce cas aurait été de sous-échantillonner les données (c'est-à-dire en utilisant des moyennes mobiles ou quelque chose du genre). Mais encore une fois - pas de problème avec ce type de données.
Meilleur,
M
Re : Y a-t-il des limites à la quantité de données que FDE peut gérer ?Merci Mike, c'est parfait
