Νικόλαος Λυμπιτάκης, Κατασκευή ενός RAG Chatbot για
Ξενοδοχειακή Υποστήριξη
66
Με χρώμα πράσινο χρώμα έχουν επισημανθεί οι ερωτήσεις που είναι cached στο
vector store “good_examples”. Ιδιαίτερο ενδιαφέρον παρουσιάζει η διακύμανση του χρόνου
(latency) μεταξύ διαφορετικών τύπων ερωτήσεων, η οποία αναδεικνύει τη λειτουργία του
μηχανισμού "Good Examples" ως ενός είδους κρυφής μνήμης (cached).
• Μη cached ερωτήσεις: Όταν το σύστημα καλείται να απαντήσει σε μια νέα,
σύνθετη ερώτηση (π.χ. "΅Επιτρέπονται τα κατοικίδια;"), ο αλγόριθμος ReAct
(Reasoning and Acting) εκτελεί πολλαπλά βήματα: σκέφτεται, επιλέγει εργαλείο,
εκτελεί αναζήτηση στη βάση δεδομένων, λαμβάνει αποτελέσματα και συνθέτει την
απάντηση. Αυτή η διαδικασία είναι πιο χρονοβόρα και βλέπουμε ότι ξεπερνάει τα
15 δευτερόλεπτα σε χρόνο απόκρισης.
• Cached ερωτήσεις (Good Examples): Παρατηρήθηκε σημαντική μείωση του
latency σε ερωτήσεις που ομοιάζουν με τα αποθηκευμένα "καλά παραδείγματα"
(good_examples_vector_store). Σε αυτές τις περιπτώσεις, το μοντέλο αναγνωρίζει
την απάντηση απευθείας από το περιεχόμενο των παραδειγμάτων και παρακάμπτει
τη διαδικασία χρήσης εργαλείων. Βλέπουμε ότι όλες οι απαντήσεις εδώ είχαν χρόνο
απόκρισης κάτω από 15sec.
Εικόνα 33 : Μέσες τιμές μετρικών (Average score) στο evaluation_results.csv
Το απόλυτο 5/5=100% στην Πειστικότητα (Persuasiveness) επιβεβαιώνει ότι το
chatbot πέτυχε πλήρως τον επιχειρηματικό του στόχο, να λειτουργεί ως ένας ελκυστικός
πωλητής.
Ωστόσο,
αυτή
η
επιτυχία
επηρέασε
ελαφρώς
την
ακρίβεια
(Accuracy=4.07/5=81.4%) και τη Συνάφεια (Relevance=4.1/5=82%). Η ακρίβεια βλέπουμε
είναι στο 81.4%, όπως όριζε και η μη λειτουργική απαίτηση όπου ζητούσε ακρίβεια >=80%.
Όπως φάνηκε στο παράδειγμα του μπαρ (ερώτηση 28), το μοντέλο μερικές φορές