Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

59

 

METEOR στις γλώσσες με πλούσια μορφολογία δεν μεταφράζεται πάντα σε πρακτικό όφελος 

όπως στη δική μας περίπτωση. 

Παρά  τις  διαφορές  τους,  οι  τρεις  αυτές  μετρικές  μοιράζονται  ένα  κοινό  πρόβλημα. 

Βασίζονται  σε  επιφανειακή  λεξική  επικάλυψη  και  δεν  συλλαμβάνουν  τη  σημασιολογική 

ομοιότητα. Ας υποθέσουμε ότι η σωστή απάντηση είναι «το γραφείο σπουδών βρίσκεται στον 

πρώτο όροφο» και το σύστημα απαντά «το τμήμα φοιτητικής μέριμνας έχει την έδρα του στον 

όροφο πάνω από την είσοδο». Ένας άνθρωπος θα έκρινε την απάντηση σωστή, το BLEU όμως 

θα  έδινε  χαμηλό  σκορ,  αφού  οι  δύο  προτάσεις  δεν  έχουν  σχεδόν  καμία  κοινή  λέξη.  Το 

πρόβλημα  γίνεται  ιδιαίτερα  έντονο  στα  συστήματα  RAG,  που  παράγουν  συχνά  απαντήσεις 

σημασιολογικά σωστές αλλά διατυπωμένες διαφορετικά από το κείμενο αναφοράς. 

Για  να  αντιμετωπιστεί  αυτή  η  αδυναμία  εμφανίστηκαν  οι  μετρικές  που  βασίζονται  σε 

ενσωματώσεις,  οι  οποίες  άλλαξαν  τη  φύση  της  σύγκρισης.  Η  πιο  γνωστή  είναι  το 

BERTScore [40].  Αντί  να  ψάχνει  κοινές  λέξεις,  μετατρέπει  κάθε  λεκτική  μονάδα  σε  ένα 

διάνυσμα  που  εξαρτάται  από  το  γύρω  κείμενο,  χρησιμοποιώντας  ένα  προεκπαιδευμένο 

μοντέλο BERT, και ύστερα ζευγαρώνει κάθε λεκτική μονάδα της παραγωγής με την πιο όμοιά 

της στο κείμενο αναφοράς μέσω της ομοιότητας συνημιτόνου. Από τις αντιστοιχίσεις αυτές 

προκύπτουν ακρίβεια, ανάκληση και ένα συνδυασμένο τελικό σκορ, ενώ προαιρετικά μπορεί 

να δοθεί μικρότερο βάρος στις πολύ κοινές λέξεις, ώστε να μετράνε περισσότερο εκείνες που 

κουβαλούν  νόημα.  Έτσι  δύο  προτάσεις  που  λένε  το  ίδιο  με  εντελώς  διαφορετικά  λόγια 

παίρνουν πλέον υψηλό σκορ, κάτι που οι παλιές μετρικές δεν πετύχαιναν. Το αποτέλεσμα όμως 

εξαρτάται  από  το  μοντέλο  που  παράγει  τις  ενσωματώσεις:  αν  αυτό  δεν  καλύπτει  καλά  τη 

γλώσσα  του  κειμένου,  τα  διανύσματα  βγαίνουν  κακής  ποιότητας  και  το  σκορ  γίνεται 

θορυβώδες.  Για  τα  ελληνικά  χρειάζεται  επομένως  ένα  πολυγλωσσικό  ή  ελληνικό  μοντέλο, 

αλλιώς το BERTScore χάνει ακριβώς το πλεονέκτημα για το οποίο το επιλέγει κανείς.