Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

61

 

πληροφορίες  που  δεν  προκύπτουν  από  αυτό.  Η  συνάφεια  απάντησης  μετράει  πόσο  σχετική 

είναι  η  απάντηση  με  την  αρχική  ερώτηση.  Η  ακρίβεια  πλαισίου  μετράει  αν  τα  κορυφαία  k 

ανακτημένα έγγραφα είναι όντως σχετικά. Η ανάκληση πλαισίου μετράει αν τα ανακτημένα 

έγγραφα καλύπτουν όλη την πληροφορία που χρειάζεται για να απαντηθεί η ερώτηση. Αυτό 

που κάνει το RAGAS ξεχωριστό είναι ότι όλες οι μετρικές υπολογίζονται με τη βοήθεια ενός 

LLM, χωρίς να χρειάζεται επισημειώσεις αναφοράς από ανθρώπους. Είναι μια προσέγγιση που 

μειώνει δραστικά το κόστος αξιολόγησης, με τον αναμενόμενο συμβιβασμό ότι το LLM με τον 

ρόλο  του  αξιολογητή  μπορεί  το  ίδιο  να  έχει  προκαταλήψεις  ή  να  αποτυγχάνει  σε  οριακές 

περιπτώσεις. 

Μια πιο πρόσφατη επισκόπηση στον χώρο προτείνει ένα ενοποιημένο πλαίσιο αξιολόγησης 

που ονομάζεται Auepora και κατηγοριοποιεί τις υπάρχουσες μετρικές με βάση το τι ακριβώς 

μετρούν  [38].  Συγκεκριμένα  διακρίνονται  οι  μετρικές  που  εστιάζουν  στην  ποιότητα  της 

ανάκτησης,  αυτές  που  εστιάζουν  στην  ποιότητα  της  παραγωγής,  και  αυτές  που  μετρούν  τη 

συνολική, από άκρο σε άκρο συμπεριφορά του συστήματος. Είναι μια εργασία που βοήθησε 

σημαντικά στη δική μας επιλογή μετρικών για το επόμενο πειραματικό κεφάλαιο. 

Η συγκριτική εικόνα των διαθέσιμων μετρικών αξιολόγησης παραγωγής κειμένου, από τις 

παραδοσιακές  λεξικές  έως  τις  σύγχρονες  σημασιολογικές  και  τις  εξειδικευμένες  για  RAG, 

δίνεται  στον  Πίνακα  9.  Η  στρατηγική  της  παρούσας  εργασίας  συνδυάζει  το  ROUGE-L,  το 

BERTScore και τα τέσσερα μέτρα του RAGAS, ώστε να καλυφθούν τόσο η λεξική όσο και η 

σημασιολογική διάσταση, αλλά και η ποιότητα του ίδιου του σταδίου ανάκτησης.