Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

28

 

Ο τρίτος στόχος είναι η αξιολόγηση. Δεν φτάνει να φτιάξει κανείς ένα chatbot. Πρέπει να 

μπορεί να μετρήσει αν δουλεύει καλά, σε ποιες περιπτώσεις αποτυγχάνει και πώς συγκρίνεται 

με  εναλλακτικές  προσεγγίσεις.  Η  αξιολόγηση  συστημάτων  RAG  δεν  είναι  τετριμμένο 

πρόβλημα, γιατί τα παραδοσιακά μέτρα ανάκτησης πληροφορίας δεν αρκούν όταν στο τέλος 

υπάρχει  ένα  παραγωγικό  μοντέλο  που  παράγει  ελεύθερο  κείμενο.  Χρειάζεται,  λοιπόν, 

συνδυασμός διαφορετικών μετρικών που να εξετάζουν τόσο την ποιότητα της ανάκτησης όσο 

και την αξιοπιστία της τελικής απάντησης σε σχέση με τα ανακτημένα έγγραφα [11]. 

 

1.4 Συνεισφορά 

Η συνεισφορά της εργασίας μπορεί να συνοψιστεί σε τέσσερα σημεία. Σχεδιάστηκε και 

υλοποιήθηκε  ένα  ολοκληρωμένο  σύστημα  RAG  δοκιμασμένο  στο  περιεχόμενο  του 

ece.uowm.gr,  με  δίγλωσση  υποστήριξη  και  αρχιτεκτονική  όπου  οι  αποφάσεις  του  LLM 

καθοδηγούνται μέσω μηχανικής προτροπών (prompt engineering). Παράλληλα, αναπτύχθηκε 

ένας ασύγχρονος μηχανισμός σάρωσης ιστού (web crawler) και ένας αγωγός επεξεργασίας και 

ευρετηρίασης  δεδομένων  (indexing  pipeline)  που  διαχειρίζεται  τις  ιδιαιτερότητες  των 

ιστοσελίδων WordPress [36] του τμήματος, μαζί με έναν μηχανισμό προσωρινής μνήμης με 

κατάσταση,  ο  οποίος  επιτρέπει  σταδιακές  ενημερώσεις  της  βάσης  γνώσης  χωρίς  να 

επαναλαμβάνεται  ολόκληρος  ο  αγωγός.  Ενσωματώθηκε  επίσης  ένα  σύστημα  μνήμης 

ερωτήσεων απαντήσεων με βρόχο ανατροφοδότησης από τους χρήστες, ώστε το σύστημα να 

βελτιώνεται με τη χρήση. Τέλος, η αρχιτεκτονική του συστήματος σχεδιάστηκε με γνώμονα 

την ευελιξία και την προσαρμοστικότητα. Μέσω ενός κεντρικού αρχείου παραμετροποίησης, 

επιτρέπεται  τόσο  η  προσαρμογή  του  συστήματος  σε  διαφορετικούς  ιστοτόπους  όσο  και  η 

άμεση εναλλαγή του LLM παραγωγής κειμένου χωρίς να απαιτείται καμία τροποποίηση στον 

πηγαίο  κώδικα.  Η  προσέγγιση  αυτή  καθιστά  τη  λύση  άμεσα  επαναχρησιμοποιήσιμη  και 

διευκολύνει τη μελλοντική μεταφορά της σε άλλα πανεπιστημιακά τμήματα ή ιδρύματα.