Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

32

 

στο οποίο εμφανίζεται. Ο πολυδιάστατος μηχανισμός προσοχής επεκτείνει τη διαδικασία αυτή 

σε  πολλαπλούς  υποχώρους  ταυτόχρονα,  επιτρέποντας  στο  μοντέλο  να  συλλαμβάνει 

διαφορετικά είδη σχέσεων, όπως συντακτικές εξαρτήσεις και σημασιολογικές συσχετίσεις. 

Επειδή ο μηχανισμός προσοχής από μόνος του δεν ενσωματώνει πληροφορία σχετικά με 

τη  σειρά  των  λέξεων,  οι  Transformers  χρησιμοποιούν  κωδικοποιήσεις  θέσης,  οι  οποίες 

εισάγουν την έννοια της ακολουθίας στο μοντέλο. Η μετάβαση από τη σειριακή επεξεργασία 

σε  αυτή  την  πλήρως  παράλληλη  αρχιτεκτονική  υπήρξε  καθοριστικής  σημασίας,  καθώς 

επέτρεψε  την  αποτελεσματική  αξιοποίηση  των  σύγχρονων  καρτών  γραφικών  και  την 

κλιμάκωση  σε  μοντέλα  με  δισεκατομμύρια  παραμέτρους  [31].  Η  κλιμάκωση  αυτή,  σε 

συνδυασμό  με  τη  χρήση  τεράστιων  σωμάτων  κειμένου,  οδήγησε  στην  εμφάνιση  των 

αναδυόμενων ικανοτήτων των μεγάλων γλωσσικών μοντέλων, αλλά και στην ανάδειξη των 

περιορισμών τους, οι οποίοι αναλύονται στη συνέχεια. 

2.2 Διανυσματικές ενσωματώσεις και σημασιολογική αναζήτηση 

Πριν  συζητήσουμε  πώς  αντιμετωπίζουμε  τους  περιορισμούς  των  LLMs,  χρειάζεται  να 

μιλήσουμε  για  τις  διανυσματικές  ενσωματώσεις.  Όταν  έχουμε  ένα  κείμενο  και  θέλουμε  να 

ελέγξουμε πόσο μοιάζει με ένα άλλο, η παραδοσιακή προσέγγιση ήταν η μέτρηση επικάλυψης 

λέξεων  με  μεθόδους  όπως  το  TF-IDF  [52]  ή  το  BM25  [53].  Αυτές  οι  μέθοδοι  έχουν  ένα 

προφανές πρόβλημα. Αν δύο κείμενα μιλούν για το ίδιο πράγμα με διαφορετικές λέξεις, για 

παράδειγμα  «αυτοκίνητο»  και  «όχημα»,  το  σύστημα  αδυνατεί  να  αναγνωρίσει  τη 

σημασιολογική τους συνάφεια. Οι διανυσματικές ενσωματώσεις (embeddings) λύνουν αυτό το 

πρόβλημα μετατρέποντας το νόημα σε αριθμούς. 

Μια  διανυσματική  ενσωμάτωση  είναι  ένα  διάνυσμα  από  αριθμούς  που  αναπαριστά  το 

σημασιολογικό περιεχόμενο ενός κειμένου σε έναν πολυδιάστατο χώρο. Κείμενα με παρόμοιο 

νόημα έχουν διανύσματα που είναι κοντά μεταξύ τους με βάση μετρικές όπως η ομοιότητα