目前只有 TanH、線性和高斯徑向基函數可用於激活函數。 RELU（整流線性單元）變得越來越普遍，因為它們也可以用來修剪神經網絡。 激活函數是 f(x) = max(0,x)。 因此，如果一個層使用這個函數並且它輸出全 0，那麼它可以被修剪，因為它不會影響輸出。
