Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

116

 

δύσκολα θα ερμηνεύσει σωστά ένα ποσοστό βεβαιότητας της τάξης του τριάντα τοις εκατό, 

και  μπορεί  να  το  εκλάβει  ως  ένδειξη  ότι  η  απάντηση  είναι  αναξιόπιστη,  ενώ  στην 

πραγματικότητα είναι σωστή. Η βεβαιότητα δηλαδή, με τη σημερινή της μορφή, λειτουργεί 

καλύτερα  ως  εσωτερικό  εργαλείο  του  συστήματος  παρά  ως  πληροφορία  προς  τον  τελικό 

χρήστη. 

Ένας δεύτερος περιορισμός, που τον είδαμε και στην αξιολόγηση, είναι η περιστασιακή 

ανάμειξη γλωσσών στις παραγόμενες απαντήσεις. Παρότι το φαινόμενο μειώθηκε σημαντικά 

με τη μετάβαση στο llama3.1:8b (q4_k_m) και με τη χρήση δίγλωσσων οδηγιών, εξακολουθεί 

να  εμφανίζεται  σε  ορισμένες  περιπτώσεις,  κυρίως  όταν  το  σχετικό  υλικό  είναι  λίγο  και  το 

μοντέλο αναγκάζεται να συμπληρώσει με δικές του διατυπώσεις. Το ζήτημα αυτό συνδέεται 

με έναν ευρύτερο περιορισμό, που είναι η ίδια η χωρητικότητα του μοντέλου. Ένα μοντέλο 

οκτώ  δισεκατομμυρίων  παραμέτρων  είναι  αρκετά  ικανό  για  την  παραγωγή  απαντήσεων  με 

βάση  δεδομένο  υλικό,  αλλά  υστερεί  σε  σύνθετη  συλλογιστική  σε  σύγκριση  με  πολύ 

μεγαλύτερα μοντέλα, και αυτό φαίνεται σε ερωτήσεις που απαιτούν συνδυασμό πληροφοριών 

από  πολλά  έγγραφα  ή  προσεκτική  διάκριση,  για  παράδειγμα  ανάμεσα  σε  στοιχεία 

προπτυχιακού και μεταπτυχιακού προγράμματος. 

Υπάρχουν και περιορισμοί που δεν αφορούν το μοντέλο αλλά τη συνολική σχεδίαση. Το 

σύστημα δεν κρατά μνήμη της συνομιλίας, οπότε ερωτήσεις που στηρίζονται σε προηγούμενο 

πλαίσιο, όπως ένα σκέτο και τι άλλο, δεν μπορούν να απαντηθούν και ο χρήστης καλείται να 

επαναδιατυπώσει ολοκληρωμένα. Επιπλέον, η ποιότητα κάθε απάντησης εξαρτάται άμεσα από 

την  ποιότητα  της  ανάκτησης,  η  οποία  με  τη  σειρά  της  εξαρτάται  από  το  πόσο  καλά  έχει 

συλλεχθεί και τεμαχιστεί το υλικό. Κάποια αρχεία PDF, ιδίως σαρωμένα ή με σύνθετη διάταξη, 

δεν  αποδίδουν  καθαρό  κείμενο,  και  έτσι  η  πληροφορία  τους  μένει  ουσιαστικά  αόρατη  στο 

σύστημα.