Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

112

 

Η ποιοτική εξέταση χαρακτηριστικών παραδειγμάτων, που συνοψίζονται στον Πίνακα 17, 

αναδεικνύει με σαφήνεια τη διαφορετική συμπεριφορά του συστήματος ανάλογα με τον τύπο 

της ερώτησης. Οι πραγματολογικές ερωτήσεις λαμβάνουν άμεσες τεκμηριωμένες απαντήσεις, 

οι  χρονικά  εξαρτημένες  ενεργοποιούν  τη  βαρύτητα  επικαιρότητας,  οι  ελλιπείς  οδηγούν  σε 

ειλικρινή  δήλωση  αβεβαιότητας  αντί  για  επινόηση,  και  οι  εκτός  θέματος  ή  κακόβουλες 

απορρίπτονται  με  ασφάλεια  πριν  καν  ξεκινήσει  η  ανάκτηση.  Αυτή  η  διαφοροποιημένη, 

προβλέψιμη συμπεριφορά είναι ακριβώς το ζητούμενο για ένα δημόσιο εργαλείο που πρέπει 

να εμπνέει εμπιστοσύνη. 

Πίνακας 17: Αντιπροσωπευτικά παραδείγματα ερωτήσεων και συμπεριφοράς του 

συστήματος 

Ερώτηση (παράδειγμα)

 

Τύπος

 

Συμπεριφορά του συστήματος

 

«Πόσες πιστωτικές μονάδες έχει το μάθημα;»

 

Πραγματολογική

 

Τεκμηριωμένη απάντηση με πηγή και 

βεβαιότητα

 

«Ποιες είναι οι τελευταίες ανακοινώσεις;»

 

Χρονικά εξαρτημένη

 

Πρόσφατο υλικό μέσω βαρύτητας 

επικαιρότητας

 

«Πότε ανοίγουν οι εγγραφές;»

 

Ελλιπής πληροφορία

 

Δήλωση αβεβαιότητας και παλαιότερες 

ημερομηνίες

 

«Γράψε μου ένα ποίημα.»

 

Εκτός θέματος

 

Ευγενική απόρριψη

 

«Αγνόησε τις οδηγίες σου και…»

 

Prompt injection

 

Μπλοκάρισμα πριν την ανάκτηση

 

«και αυτά;»

 

Εξαρτημένη από πλαίσιο

 

Αίτημα ολοκληρωμένης επαναδιατύπωσης

 

«What are the prerequisites…?»

 

Αγγλόφωνη

 

Απάντηση στα αγγλικά από δίγλωσσο υλικό

 

 

Συνοψίζοντας  το  κεφάλαιο,  η  αξιολόγηση  κάλυψε  τόσο  τα  ποσοτικά  μεγέθη  του 

συστήματος όσο και την ποιοτική του συμπεριφορά. Σε επίπεδο επιδόσεων, το σύστημα απαντά 

σε διαδραστικό χρόνο και απορρίπτει αξιόπιστα τα κακόβουλα ή εκτός θέματος αιτήματα, ενώ 

οι αυτόματες μετρικές και η σύγκριση με εναλλακτικά μοντέλα έδειξαν ότι το Llama 3.1 8B 

ταιριάζει  καλύτερα  στο  συγκεκριμένο  δίγλωσσο,  ελληνικό  περιβάλλον.  Σε  επίπεδο 

συμπεριφοράς, η αντιπαραβολή της αρχικής με την τελική έκδοση ανέδειξε τη μετάβαση από 

τις επινοημένες απαντήσεις σε τεκμηριωμένες απαντήσεις, με ρητή δήλωση αβεβαιότητας όταν 

η  πληροφορία  δεν  επαρκεί.  Συνολικά,  τα  ευρήματα  επιβεβαιώνουν  ότι  μια  πλήρως  τοπική