background image

H tanh είναι συμμετρική ως προς το 0 κανονικοποιείται στο διάστημα [-1, 1] και

εμφανίζει το ίδιο πρόβλημα με την σιγμοειδή στις ακραίες τιμές παραγώγου.

• Ανορθωμένη Γραμμική Μονάδα (ReLU)

(x) =


για x

≤ 0

x για x > 0

max

{0, x} x1

x>0

(2.3)

Εικόνα. 2.9: Συνάρτηση ReLU

Η ανορθωμένη γραμμική συνάρτηση φέρει αναβαθμίσεις σε σύγκριση με τις προη-

γούμενες [37]. Παρόλο που δεν είναι συμμετρική, δεν εμφανίζει το πρόβλημα στις

θετικές ακραίες τιμές και διατηρεί τις επιθυμητές ιδιότητες ενώ η απλότητα που

έχει βοηθά στη ομαλή εκπαίδευση ενός συστήματος. Παρουσιάζει βέβαια πιο έντονο

πρόβλημα σε σχέση με τις προηγούμενες συναρτήσεις στις αρνητικές τιμές καθώς

η τιμή για αρνητικές τιμές είναι μόνιμα μηδέν. Αυτό έχει σαν αποτέλεσμα αν ένας

νευρώνας στη διαδικασία εκπαίδευσης εμφανίσει αρνητική τιμή να παραμείνει ανε-

νεργός μέχρι το πέρας αυτής.

46