• Σιγμοειδής (Sigmoid)
f (x) =
1
1 + e
−x
(2.1)
Εικόνα. 2.7: Σιγμοειδή Συνάρτηση
Η συνάρτηση αυτή παίρνει ως είσοδο έναν πραγματικό αριθμό και τον κανονικο-
ποιεί στο διάστημα [0, 1]. Παρά το γεγονός ότι στην αρχή της ανάπτυξης νευρωνικών
δικτύων χρησιμοποιούταν εκτενώς, εμφανίζει μερικά μειονεκτήματα. Η παράγωγός
της σε ακραίες τιμές τείνει να μηδενιστεί οπότε περιορίζει τη διαδικασία μάθησης.
Επιπρόσθετα, δεν έχει συμμετρικότητα ως προς το 0 και το υπολογιστικό κόστος
αυξάνεται όταν απαιτηθεί η ύψωσή της σε δύναμη [36].
• Υπερβολική Εφαπτομένη (tanh)
f (x) =
(e
x
− e
−x
)
(e
x
+ e
−x
)
(2.2)
Εικόνα. 2.8: Συνάρτηση tanh
45