Derzeit sind für Aktivierungsfunktionen nur TanH-, lineare und Gaußsche radiale Basisfunktionen verfügbar. RELUs (Rectified Linear Units) werden immer häufiger eingesetzt, da sie auch zur Bereinigung eines neuronalen Netzwerks verwendet werden können. Die Aktivierungsfunktion ist f(x) = max(0,x). Wenn also eine Ebene diese Funktion verwendet und nur Nullen ausgibt, kann sie beschnitten werden, da sie die Ausgabe(n) nicht beeinträchtigt.
