H tanh είναι συμμετρική ως προς το 0 κανονικοποιείται στο διάστημα [-1, 1] και
εμφανίζει το ίδιο πρόβλημα με την σιγμοειδή στις ακραίες τιμές παραγώγου.
• Ανορθωμένη Γραμμική Μονάδα (ReLU)
f (x) =
0 για x
≤ 0
x για x > 0
= max
{0, x} = x1
x>0
(2.3)
Εικόνα. 2.9: Συνάρτηση ReLU
Η ανορθωμένη γραμμική συνάρτηση φέρει αναβαθμίσεις σε σύγκριση με τις προη-
γούμενες [37]. Παρόλο που δεν είναι συμμετρική, δεν εμφανίζει το πρόβλημα στις
θετικές ακραίες τιμές και διατηρεί τις επιθυμητές ιδιότητες ενώ η απλότητα που
έχει βοηθά στη ομαλή εκπαίδευση ενός συστήματος. Παρουσιάζει βέβαια πιο έντονο
πρόβλημα σε σχέση με τις προηγούμενες συναρτήσεις στις αρνητικές τιμές καθώς
η τιμή για αρνητικές τιμές είναι μόνιμα μηδέν. Αυτό έχει σαν αποτέλεσμα αν ένας
νευρώνας στη διαδικασία εκπαίδευσης εμφανίσει αρνητική τιμή να παραμείνει ανε-
νεργός μέχρι το πέρας αυτής.
46