Molto tempo per i big dataCIAO,
Utilizzo JMP per set di dati più grandi, 1000 variabili e 500 soggetti. Ci vuole molto tempo, come un paio di minuti, per eseguire un modello di adattamento semplice. Ho un buon laptop con 64G RAM, GPU 4g e così via. Quando si esegue JMP, l'utilizzo non si avvicina nemmeno al 30%, tuttavia, JMP impiega un'eternità per fare qualsiasi cosa. Ho dato la priorità a JMP Realtime.
Eventuali suggerimenti?
Migliore
Kamil
Modellazione statistica avanzataEsplorazione e visualizzazione dei datiRe: Molto tempo per i big dataCiao Kamil,
Il collo di bottiglia è l'implementazione Stima modello>Minimi quadrati standard. Anche con l'adattamento separato, si tenta di inserire 1000 risultati del modello in un unico report. E questo è solo l'inizio. La mia ipotesi è che lo faccia in tempo lineare (uno alla volta), quindi per generare il report viene utilizzato un processore/thread. Ma sto solo indovinando.
Non sono sicuro che sia possibile specificare come utilizzare le risorse del computer tramite JMP (tranne per disattivare il multithreading in base alla piattaforma in alcune finestre di dialogo della piattaforma). Molte piattaforme sono già multithread (penso che Response Screening potrebbe essere una di queste). Non sono sicuro di Adatta modello>Minimi quadrati standard. Immagino anche che la generazione del report sia a thread singolo. Ma avrei bisogno di uno sviluppatore che mi faccia sapere come funziona questa situazione dietro le quinte. Alcune funzioni non possono essere multithread, quindi l'utilizzo massimo della capacità della CPU potrebbe non essere possibile. La memoria è simile. Puoi consumare tutta la tua memoria semplicemente raggruppando set di dati di grandi dimensioni (migliaia per migliaia in un cluster gerarchico bidirezionale). Si tratta principalmente di memorizzare le informazioni per generare l'output grafico.
Spero che questo dia un'idea di ciò che JMP fa in background. Cerca di utilizzare tutte le risorse disponibili per quella funzione/capacità/piattaforma, se possibile.
A proposito, stiamo continuando a migliorare JMP Pro per gestire ampi set di dati, come il tuo. Adatta modello>Modelli misti è un esempio in cui è disponibile un'opzione con triangolo rosso per disporre i report e mostrare solo le tabelle. Ciò consente di adattare rapidamente un modello misto a migliaia di risposte, ma non fornisce un report basato sulla grafica.
Re: Molto tempo per i big dataCiao chris,
Ho JMP17Pro. Grazie per il consiglio. Questo rende le cose più veloci. Esiste tuttavia una modalità/impostazione che consenta a JMP di utilizzare una maggiore capacità del computer? Cercando di capire cos'è un collo di bottiglia.
Migliore
Kamil
Re: Molto tempo per i big dataCIAO @Kamil ,
Quale versione di JMP stai utilizzando? Hai provato il modello di screening della risposta Personalità in forma? Se hai JMP Pro, questa personalità è presente. Se solo JMP, lo screening della risposta è disponibile in Analizza>Screening>Screening della risposta (questo metodo consente di testare solo un effetto del modello alla volta). Lo screening della risposta è progettato specificamente per questo scopo ed è molto veloce.
Re: Molto tempo per i big dataCiao P_Bartell e tutti,
Grazie per la vostra risposta. Quindi questi sono dati metabolomici. 1000 variabili continue come colonne misurate in 500 soggetti (righe). Il modello di adattamento che stavo cercando di eseguire è solo un test t per l'effetto del genotipo (solo 2 gruppi categorici) con covariate. Quindi, tutti i miei metaboliti in Y e il mio genotipo, BMI, sesso ed età come effetti modello. Montare separatamente.
Sto cercando di capire perché il mio computer non viene utilizzato al massimo delle sue capacità durante queste operazioni. La mia CPU è al 30% e la mia RAM potrebbe essere al 10%. Qual è il collo di bottiglia qui? Posso configurare JMP per utilizzare più spazio sul mio computer?
Grazie
Kamil
Re: Molto tempo per i big dataInoltre, sono dati numerici o stringhe? Se sono stringhe, quante variabili contengono stringhe e qual è la natura di una stringa?
Re: Molto tempo per i big dataPer aggiungere un po' di più @peng_liu , potrebbe aiutarci a darti indicazioni se ci dici qualcosa in più sui tuoi dati, come la natura delle "variabili"...tutte tutte x e/o quante y? Si prega di differenziare/spiegare una "variabile" e un "oggetto". Anche il tipo di dati può svolgere un ruolo nel tempo di elaborazione in alcune piattaforme. E il "modello simple fit" non ci dice quale personalità hai effettivamente scelto. Alcuni potrebbero richiedere più tempo anche di altri. Ogni finestra di dialogo della piattaforma richiede un modello. Puoi dirci qual è la struttura del tuo modello? Infine, qualcosa di più sui tuoi obiettivi di modellazione? Con "...1000 variabili..." se il tuo obiettivo di modellazione è l'identificazione delle variabili, probabilmente l'ultima piattaforma che esaminerei se Fit Model e una qualsiasi delle personalità in esso contenute.
Re: Molto tempo per i big dataQuando hai detto che il 30% di utilizzo è quello della CPU? Immagino che tu non stia parlando della dimensione della memoria. Penso che tu stia parlando di un tipo di modellazione specifico, per la dimensione (o complessità) dei tuoi dati, le prestazioni sono lente. Ad esempio, i minimi quadrati non dovrebbero avere problemi come questo, ma altri metodi potrebbero farlo.
Re: Molto tempo per i big dataSe lo fai tramite script, assicurati di aprire le tabelle dati in modalità privata per risparmiare tempo di indirizzamento della memoria.
Chiudi tutte le altre applicazioni in modo da avere quanta più RAM disponibile ed elimina lo scambio.
