Actuellement, seules les fonctions de base radiale TanH, linéaire et gaussienne sont disponibles pour les fonctions d'activation. Les RELU (unités linéaires rectifiées) sont devenues de plus en plus courantes, car elles peuvent également être utilisées pour élaguer un réseau de neurones. La fonction d'activation est f(x) = max(0,x). Ainsi, si une couche utilise cette fonction et qu'elle ne produit que des 0, elle pourrait être élaguée, car cela n'affectera pas la ou les sorties.
