Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

53

 

υστερούν  αισθητά·  κατά  καιρούς,  πάντως,  εμφανίζεται  ανάμειξη  ελληνικών  και  αγγλικών 

λέξεων, ένα ζήτημα στο οποίο επανερχόμαστε στην αξιολόγηση. 

Για το κομμάτι της αναζήτησης, που είναι τελείως διαφορετική εργασία από την παραγωγή 

κειμένου,  χρειαστήκαμε  ένα  μοντέλο  ενσωματώσεων,  δηλαδή  ένα  μοντέλο  που  μετατρέπει 

κάθε  κομμάτι  κειμένου  σε  ένα  διάνυσμα  αριθμών  ώστε  να  μπορούμε  να  συγκρίνουμε  τη 

σημασία τους. Η επιλογή εδώ ήταν το BGE-M3, που ξεχωρίζει για τρεις ιδιότητες. Δουλεύει 

σε  πάνω  από  εκατό  γλώσσες,  άρα  καλύπτει  χωρίς  πρόβλημα  τόσο  τα  ελληνικά  όσο  και  τα 

αγγλικά  που  συναντάμε  στις  σελίδες  του  τμήματος.  Υποστηρίζει  αρκετά  μεγάλο  μήκος 

εισόδου, ώστε να χωρούν ολόκληρα τμήματα εγγράφων. Τέλος, παράγει ταυτόχρονα πυκνές 

και αραιές αναπαραστάσεις, συνδυάζοντας τη σημασιολογική με τη λεξιλογική ομοιότητα [5]. 

Η διγλωσσία αυτή ήταν για εμάς καθοριστική, αφού ένα μοντέλο εκπαιδευμένο κυρίως στα 

αγγλικά θα δυσκολευόταν να φέρει  κοντά μια ελληνική ερώτηση με ένα ελληνικό  κείμενο. 

Όπως και τα μοντέλα παραγωγής, έτσι και το BGE-M3 διατίθεται σε κβαντοποιημένη μορφή 

μέσα από το Ollama, οπότε εντάχθηκε στο σύστημα με την ίδια ευκολία. 

Συνολικά, οι αποφάσεις αυτές δεν λήφθηκαν μεμονωμένα αλλά ως ένα σύνολο που έπρεπε 

να ταιριάζει με τους περιορισμούς μας. Η επιμονή μας σε ανοιχτά και ελεύθερα εργαλεία, μαζί 

με τον στόχο να τρέχει το σύστημα σε καταναλωτικό υλικό και όχι σε εξυπηρετητές ειδικού 

σκοπού, απέκλεισε από νωρίς λύσεις σαν το vLLM και έγειρε τη ζυγαριά προς τον συνδυασμό 

του Ollama με μικρά αλλά ικανά μοντέλα. Η εμπειρία έδειξε ότι ο συνδυασμός αυτός είναι 

αρκετός για ένα λειτουργικό σύστημα, αρκεί να μην περιμένει κανείς τις επιδόσεις των πολύ 

μεγαλύτερων εμπορικών μοντέλων. Κρατήσαμε έτσι μια ισορροπία ανάμεσα στην απλότητα 

της εγκατάστασης, στις μετριοπαθείς απαιτήσεις σε πόρους και σε μια ποιότητα απαντήσεων 

που παραμένει χρήσιμη για τον φοιτητή που θα ρωτήσει κάτι για το τμήμα.