• Διακεκομμένη Ανορθωμένη Γραμμική Μονάδα (Leaky ReLU)

f (x) =






0.01x για x < 0

x

για x

≥ 0

(2.4)

Εικόνα. 2.10: Συνάρτηση Leaky ReLU

Η εξελιγμένη αυτή συνάρτηση ενεργοποίησης διατηρεί όλα τα πλεονεκτήματα

της ReLU ενώ ταυτόχρονα επιλύει και το βασικό πρόβλημα που αντιμετώπιζε για

αρνητικές τιμές. Αποτελεί πλέον βασικό εργαλείο στα προβλήματα μηχανικής μά-

θησης.

Η έξοδος από ένα νευρώνα υπολογίζεται από τη σχέση:

α = f (

N

∑

i=0

w

i

x

i

+ b)

(2.5)

47