Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

31

 

πολυπλοκότητας 

των 

μοντέλων 

[55], 

με 

χαρακτηριστικά 

παραδείγματα 

τα 

GPT- 3[46], GPT- 4 [56],  LLaMA  [57]  και  Mistral  [13],  τα  οποία  πλέον  εντάσσονται  στην 

κατηγορία των Μεγάλων Γλωσσικών Μοντέλων (Large Language Models, LLMs), λόγω του 

εξαιρετικά μεγάλου αριθμού παραμέτρων τους [58]. 

Παρά  τις  εντυπωσιακές  δυνατότητές  τους,  τα  LLMs  παρουσιάζουν  συγκεκριμένους 

περιορισμούς  που  πρέπει  να  λαμβάνονται  υπόψη  κατά  την  ανάπτυξη  παραγωγικών 

συστημάτων.  Η  γνώση  τους  περιορίζεται  στις  πληροφορίες  που  περιλαμβάνονταν  στα 

δεδομένα  εκπαίδευσης,  γεγονός  που  τα  καθιστά  ανεπαρκή  ως  προς  την  αξιοποίηση  νέας  ή 

ιδιωτικής πληροφορίας [11]. Επιπλέον, η ενημέρωση των γνώσεων τους απαιτεί μερική ή ολική 

επανεκπαίδευση, διαδικασία ιδιαίτερα απαιτητική σε υπολογιστικούς πόρους και κόστος. Ένας 

ακόμη  κρίσιμος  περιορισμός  είναι  το  φαινόμενο  των  ψευδαισθήσεων,  κατά  το  οποίο  τα 

μοντέλα  παράγουν  με  την  ίδια  ευχέρεια  τόσο  ορθές  όσο  και  ανακριβείς  ή  ανυπόστατες 

απαντήσεις, χωρίς να μπορούν να διακρίνουν τη διαφορά μεταξύ τους. Η εκτενής επισκόπηση 

των Ji και συνεργατών [12] αναλύει διεξοδικά το φαινόμενο αυτό και τους μηχανισμούς που 

το προκαλούν, διακρίνοντας μεταξύ εσωτερικών ψευδαισθήσεων, όπου το παραγόμενο κείμενο 

έρχεται  σε  αντίθεση  με  την  είσοδο  του  μοντέλου,  και  εξωτερικών  ψευδαισθήσεων,  όπου 

παράγονται πληροφορίες που δεν μπορούν να επαληθευθούν. 

Ο  μηχανισμός  προσοχής,  που  αποτελεί  τον  πυρήνα  της  αρχιτεκτονικής  Transformer, 

βασίζεται σε τρεις προβολές κάθε λεκτικής μονάδας: το ερώτημα, το κλειδί και την τιμή. Για 

κάθε  θέση  της  ακολουθίας,  το  μοντέλο  υπολογίζει  βαθμολογίες  ομοιότητας  μεταξύ  του 

αντίστοιχου ερωτήματος και των κλειδιών όλων των υπόλοιπων θέσεων. Οι βαθμολογίες αυτές 

κανονικοποιούνται μέσω της συνάρτησης softmax [20] και χρησιμοποιούνται ως βάρη για τον 

γραμμικό συνδυασμό των διανυσμάτων. Με τον τρόπο αυτό, κάθε λέξη μπορεί να «εστιάζει» 

επιλεκτικά στις υπόλοιπες λέξεις της πρότασης και να ενσωματώνει το συμφραζόμενο πλαίσιο