Derzeit sind nur TanH-, Linear- und Gaußsche radiale Basisfunktionen für Aktivierungsfunktionen verfügbar. RELUs (Rektifizierte lineare Einheiten) werden immer häufiger, da sie auch zum Beschneiden eines neuronalen Netzwerks verwendet werden können. Die Aktivierungsfunktion ist f(x) = max(0,x). Wenn also eine Ebene diese Funktion verwendet und nur Nullen ausgibt, könnte sie gekürzt werden, da sie die Ausgabe(n) nicht beeinflusst.
