LeakyReLU

1. 1

   En variant af ReLU, hvor negative input multipliceres med en lille konstant (ofte 0.01) i stedet for at blive sat til nul, hvilket bevarer en lille gradient og forhindrer døde neuroner.

   • I en dyb convolutional network bruger vi LeakyReLU med en hældning på 0.01.
   • LeakyReLU hjælper med at undgå døde neuroner under træning.
2. 2

   Parameteren alpha (α) der bestemmer hældningen for negative input i LeakyReLU; typisk en lille værdi som 0.01.

   • Vi justerede alpha til 0.2 for at give mere plads til negative gradienter.

import tensorflow as tf
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.LeakyReLU(alpha=0.01)
])

Eksempel på brug af LeakyReLU i et Keras-modellag.

Fra engelsk 'leaky' (utæt) og 'ReLU'; introduceret for at afhjælpe problemet med døde neuroner i ReLU.