目前只有 TanH、線性和高斯徑向基底函數可用於活化函數。 RELU（修正線性單元）變得越來越普遍，因為它們也可以用來修剪神經網路。 激活函數為 f(x) = max(0,x)。 因此，如果一個層使用此函數並且它輸出全 0，那麼它可以被修剪，因為它不會影響輸出。
