background image

• Σιγμοειδής (Sigmoid)

(x) =

1

1 + e

−x

(2.1)

Εικόνα. 2.7: Σιγμοειδή Συνάρτηση

Η συνάρτηση αυτή παίρνει ως είσοδο έναν πραγματικό αριθμό και τον κανονικο-

ποιεί στο διάστημα [0, 1]. Παρά το γεγονός ότι στην αρχή της ανάπτυξης νευρωνικών

δικτύων χρησιμοποιούταν εκτενώς, εμφανίζει μερικά μειονεκτήματα. Η παράγωγός

της σε ακραίες τιμές τείνει να μηδενιστεί οπότε περιορίζει τη διαδικασία μάθησης.

Επιπρόσθετα, δεν έχει συμμετρικότητα ως προς το 0 και το υπολογιστικό κόστος

αυξάνεται όταν απαιτηθεί η ύψωσή της σε δύναμη [36].

• Υπερβολική Εφαπτομένη (tanh)

(x) =

(e

x

− e

−x

)

(e

x

e

−x

)

(2.2)

Εικόνα. 2.8: Συνάρτηση tanh

45