Requisito della dimensione del campione per l'apprendimento automaticoJMP richiede la dimensione del campione per il metodo di apprendimento automatico?
JMP ha molti metodi di apprendimento automatico per adattarsi al modello adatto, quanti campioni dovremmo ottenere se vogliamo adattare il modello al metodo di apprendimento automatico?
Oppure esiste una regola per il valore che divide la dimensione dei campioni per la dimensione dei fattori?
Ad esempio la dimensione del campione almeno 10 volte la dimensione del fattore del tipo di dati categoriale.
Grazie per qualsiasi suggerimento.
Re: Requisito della dimensione del campione per l'apprendimento automaticoCiao Eric,
Questo è un altro dove non credo sia possibile dare una risposta definitiva.
Innanzitutto, non tutti sono d'accordo sulla stessa definizione di "machine learning".
Per me, una parte importante dell'apprendimento automatico è la convalida dell'holdback. Dico agli utenti che probabilmente sono necessarie almeno 100 righe per utilizzare la convalida di holdback.
Probabilmente potresti usare l'holdback con meno righe, se avessi solo 2 o 3 variabili predittive. Ma con un numero così piccolo di predittori, probabilmente non è necessario l'apprendimento automatico.
Non penso che tu possa facilmente dire quante righe in base al numero di predittori. Perché il numero di righe richiesto sarà anche una funzione della complessità dei comportamenti nel sistema, che non si conosce finché non si adattano i modelli.
Naturalmente ci sono altri metodi di convalida che puoi utilizzare per applicare un approccio di apprendimento automatico con meno righe (k-fold, SVEM).
Potrebbe essere utile dare un'occhiata questo caso di studio demo.Il set di dati completo ha 4608 righe. Ci sono solo 5 predittori ma sono categoriali a più livelli, quindi è un sistema piuttosto complesso. Puoi prelevare campioni casuali per vedere quanto i metodi di apprendimento automatico si confrontano con la modellazione statistica tradizionale. Non ho condotto studi rigorosi ma sono rimasto sorpreso di scoprire che l'ML sembra fare meglio dei modelli standard con campioni piuttosto piccoli (~150 righe).
Spero che aiuti,
Fil
Re: Requisito della dimensione del campione per l'apprendimento automaticoConcordo con @Phil_Kay . Ricorda che i metodi ML e AI sono destinati a modelli predittivi, non a modelli esplicativi. L'inferenza non è un obiettivo, quindi la dimensione del campione non è una considerazione. Inoltre, praticamente tutti i casi coinvolgono Big Data, quindi anche l'inferenza è discutibile. Utilizza le metriche sviluppate per confrontare le prestazioni della previsione con la convalida incrociata. Ad esempio, AICc è probabilmente il migliore in più di un senso.
Re: Requisito della dimensione del campione per l'apprendimento automaticoOvviamente sono d'accordo con quello che dicono Phil e Mark. Un ulteriore pensiero, se per Machine Learning il tuo cliente intende effettivamente un modello di regressione multipla (con o senza termini di ordine superiore), allora potrebbe utilizzare l'opzione di valutazione del progetto dal menu DOE che fornirà stime di potenza per i termini del modello a condizione che possano indicare il vera variazione di errore. Altrimenti segui la guida di Phil e Mark.
