Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

104

 

 

ΕΙΚΟΝΑ 21: ΑΝΤΙΠΡΟΣΩΠΕΥΤΙΚΑ ΣΕΝΑΡΙΑ ΑΣΤΟΧΙΑΣ ΑΣΘΕΝΕΣΤΕΡΩΝ Η ΜΗ 

ΘΕΜΕΛΙΩΜΕΝΩΝ ΜΟΝΤΕΛΩΝ 

 

Πέρα  από  τους  αριθμούς,  η  Εικόνα  21  δείχνει  με  συγκεκριμένα  παραδείγματα  γιατί  η 

ποιότητα προηγείται. Ένα μη θεμελιωμένο ή πολύ μικρό μοντέλο τείνει σε ψευδείς παραγωγές, 

επινοώντας  για  παράδειγμα  ανύπαρκτες  προθεσμίες,  ή  ανακατεύει  πληροφορίες  από 

διαφορετικά  έγγραφα  και  δίνει  ασυνεπείς  απαντήσεις.  Σε  ένα  ακαδημαϊκό  περιβάλλον  μια 

τέτοια απάντηση είναι χειρότερη από μια ειλικρινή άρνηση. Γι' αυτόν τον λόγο το σύστημά μας 

προτιμά ένα ικανό μοντέλο και συνοδεύει κάθε απάντηση με την πηγή της και έναν δείκτη 

βεβαιότητας. 

Η  σύγκριση  με  βάση  το  MMLU  δίνει  μόνο  μια  γενική  εικόνα.  Επειδή  το  σύστημά  μας 

λειτουργεί κυρίως στα ελληνικά, μας ενδιέφερε ιδιαίτερα η πολυγλωσσική συμπεριφορά των 

υποψήφιων μοντέλων. Εδώ τα δύο κορυφαία μοντέλα της σύγκρισης ακολουθούν διαφορετική 

φιλοσοφία. Το Qwen2.5 7B δηλώνει επίσημη υποστήριξη για πάνω από είκοσι εννέα γλώσσες, 

συμπεριλαμβανομένων  των  ελληνικών  [25],  και  στις  περισσότερες  ακαδημαϊκές  μετρικές 

βρίσκεται ελαφρώς ψηλότερα, με χαρακτηριστικό παράδειγμα το απαιτητικό MMLU-Pro όπου