Attualmente per le funzioni di attivazione sono disponibili solo le funzioni TanH, Linear e Gaussiana a base radiale. Le RELU (Unità lineari rettificate) sono diventate sempre più comuni, poiché possono essere utilizzate anche per sfoltire una rete neurale. La funzione di attivazione è f(x) = max(0,x). Pertanto, se un livello utilizza questa funzione e restituisce tutti gli 0, potrebbe essere eliminato, poiché non influirà sugli output.
