Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

57

 

Πίνακας 8: Σύγκριση τεχνικών ανάκτησης πληροφορίας 

Τεχνική

 

Αρχή λειτουργίας

 

Αναγνώριση 

συνωνύμων

 

Δυνατά σημεία

 

Αδυναμίες

 

TF-IDF

 

Στάθμιση λέξεων με 

βάση τη συχνότητά τους

 

Όχι

 

Απλή και ερμηνεύσιμη

 

Αποτυγχάνει όταν αλλάζει 

η διατύπωση

 

BM25

 

Πιθανοτική στάθμιση 

λέξεων

 

Όχι

 

Ισχυρό σημείο αναφοράς, 

αξιόπιστη

 

Αποτυγχάνει όταν αλλάζει 

η διατύπωση

 

Dense / DPR

 

Σύγκριση 

διανυσματικών 

ενσωματώσεων

 

Ναι

 

Σημασιολογική 

αντιστοίχιση

 

Εξαρτάται από την 

ποιότητα του μοντέλου 

ενσωματώσεων

 

Υβριδική

 

Συνδυασμός λεξικής και 

σημασιολογικής 

ανάκτησης

 

Ναι

 

Συνδυάζει ακριβείς όρους 

και νόημα

 

Πολυπλοκότητα 

συγχώνευσης 

αποτελεσμάτων

 

 

3.5 Μετρικές αυτόματης αξιολόγησης παραγωγής κειμένου 

Η  αξιολόγηση  παραγόμενου  κειμένου  είναι  ένα  ερευνητικό  πεδίο  με  ιστορία  πάνω  από 

είκοσι χρόνια. Οι πρώτες μετρικές γεννήθηκαν στον χώρο της μηχανικής μετάφρασης και της 

αυτόματης περίληψης, εφαρμόζονται όμως σήμερα σε όλο το φάσμα των εργασιών παραγωγής 

κειμένου, συμπεριλαμβανομένων των συστημάτων RAG. 

Η  πιο  παλιά  και  πιο  γνωστή  μετρική  είναι  το  BLEU,  που  προτάθηκε  αρχικά  για  την 

αξιολόγηση της μηχανικής μετάφρασης [23]. Υπολογίζει πόσα n-γράμματα του παραγόμενου 

κειμένου εμφανίζονται και σε ένα ή περισσότερα κείμενα αναφοράς, δίνοντας έτσι βάρος στην 

ακρίβεια. Σχεδιάστηκε για να δουλεύει σε επίπεδο συλλογής κειμένων και όχι σε μεμονωμένες 

προτάσεις, και συνδυάζει την ακρίβεια για n-γράμματα διαφορετικού μήκους, συνήθως από 

ένα  έως  τέσσερα,  παίρνοντας  τον  γεωμετρικό  τους  μέσο.  Έτσι  ελέγχει  ταυτόχρονα  αν 

εμφανίζονται οι σωστές λέξεις και αν αυτές μπαίνουν σε σωστές μικρές ακολουθίες. Για να 

μην  το  ξεγελούν  πολύ  σύντομες  παραγωγές  που  επαναλαμβάνουν  λίγες  σίγουρες  λέξεις, 

εφαρμόζει  δύο  διορθώσεις:  μετράει  κάθε  n-γράμμα  το  πολύ  όσες  φορές  εμφανίζεται  στο 

κείμενο αναφοράς, και προσθέτει μια ποινή για κείμενα συντομότερα από το αναμενόμενο, τη 

λεγόμενη  ποινή  συντομίας  [23].  Χάρη  στην  ταχύτητα  και  στη  σταθερότητά  του  σε  μεγάλα 

δείγματα, το BLEU έγινε το προεπιλεγμένο μέτρο στη μηχανική μετάφραση. Σε επίπεδο μίας