Même à l'ère du machine learning, le traitement de grands ensembles de données reste complexe. Le traitement exhaustif – tout traiter simplement parce que c'est possible – engendre parfois des inefficacités, un surapprentissage, du bruit et une diminution rapide des gains. Plus intelligent ne signifie pas toujours plus grand. Un sous-échantillonnage intelligent, qui n'utilise qu'une fraction représentative des données, révèle souvent des tendances plus claires et offre des analyses plus approfondies.
Ce sujet me passionne depuis près de dix ans et a été abordé à plusieurs reprises lors de cette conférence. Or, cette année marque une avancée majeure : de nouveaux résultats, obtenus à partir d’un ensemble de données beaucoup plus vaste – environ 30 000 observations – , confirment et étendent la puissance d’une stratégie de sous-échantillonnage intelligente. Des sciences des matériaux à la biomédecine, en passant par la modélisation environnementale, le marketing et les sciences sociales, le message reste le même : pourquoi recourir à la force brute quand on peut privilégier l’intelligence ?
Tirant parti des dernières fonctionnalités de JMP Pro, ce travail illustre comment la combinaison d'un sous-échantillonnage intelligent avec des approches de modélisation classiques et modernes (MLR, Boosted Tree, réseaux de neurones, SVM, GLM, etc.) conduit à des prédictions robustes.–et, espérons-le, une démonstration agréable pour tous.
