Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

40

 

την κλίμακα του μοντέλου, με τα μικρότερα μοντέλα ανοιχτού κώδικα να δυσκολεύονται να 

διατηρήσουν τη δομή του συλλογισμού [38]. 

Στο πλαίσιο της παρούσας εργασίας, σχεδιάσαμε και αναπτύξαμε έναν πράκτορα ReAct, 

με  στόχο  να  λειτουργεί  ως  αυτόνομη  μηχανή  αποφάσεων.  Ο  πράκτορας  αυτός  αναλύει  το 

ερώτημα του χρήστη στην είσοδο και αποφασίζει δυναμικά αν χρειάζεται επαναδιατύπωση του 

ερωτήματος, αν πρέπει να αναζητηθούν ιστορικές αποκρίσεις στη μονάδα μνήμης και αν πρέπει 

να  εκτελεστεί  σημασιολογική  ανάκτηση  από  τη  διανυσματική  βάση.  Μέσω  εκτενούς 

σχεδίασης  προτροπών,  περιορίσαμε  την  έξοδο  του  πράκτορα  αυστηρά  σε  δομημένη  μορφή 

JSON, η οποία περιέχει τις σχετικές οδηγίες και λειτουργεί ουσιαστικά ως προτροπή προς το 

LLM παραγωγής απάντησης, ώστε αυτό να διαμορφώσει ανάλογα την απάντησή του προς τον 

χρήστη. Παράλληλα, ορίσαμε τη θερμοκρασία σταθερά στο μηδέν για να ελαχιστοποιήσουμε 

τη  στοχαστική  μεταβλητότητα,  και  ο  πράκτορας  λειτουργεί  και  ως  πρώτη  γραμμή  άμυνας 

έναντι επιθέσεων εισαγωγής κακόβουλων εντολών και ακατάλληλου περιεχομένου. 

Ωστόσο,  όταν  δοκιμάσαμε  να  εντάξουμε  τον  πράκτορα  ReAct  στον  αγωγό  παραγωγής, 

αντιμετωπίσαμε  σημαντικά  προβλήματα:  η  ανάγκη  για  πολλαπλές  κλήσεις  στο  μοντέλο 

οδηγούσε  σε  σημαντική  καθυστέρηση,  ενώ  η  αυστηρότητα  των  κανόνων  του  οδηγούσε  σε 

υψηλό ποσοστό ψευδώς θετικών αποτελεσμάτων. Για αυτούς τους λόγους, αποφασίσαμε να 

τον εξαιρέσουμε από το τελικό σύστημα· την πλήρη υλοποίηση και τα συμπεράσματα από τις 

δοκιμές τα παρουσιάζουμε αναλυτικά στο Κεφάλαιο 5.