Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες
74
Υπήρχε όμως και ένα βαθύτερο κόστος, που αφορούσε τη μνήμη. Ο πράκτορας είναι και ο
ίδιος ένα γλωσσικό μοντέλο, το οποίο έπρεπε να φορτωθεί και να καταλάβει χώρο στην κάρτα
γραφικών μαζί με το μοντέλο ενσωματώσεων και το μοντέλο παραγωγής. Στα 12 GB VRAM
της RX 6700 XT ο διαθέσιμος χώρος είναι περιορισμένος, οπότε για να χωρέσει ο πράκτορας
θα έπρεπε να υποχωρήσουμε σε ένα μικρότερο μοντέλο παραγωγής. Αυτό σήμαινε άμεση
πτώση στην ποιότητα των απαντήσεων, δηλαδή ακριβώς εκεί που το σύστημα δεν έπρεπε να
κάνει εκπτώσεις. Με λίγα λόγια, η ευελιξία του πράκτορα δεν αντιστάθμιζε το κόστος της σε
αξιοπιστία, σε ταχύτητα και τελικά στην ίδια την ποιότητα των απαντήσεων.
Η τελική σχεδίαση κράτησε τον ίδιο στόχο αλλά τον πέτυχε πιο απλά, αντικαθιστώντας τον
πράκτορα με ντετερμινιστικούς ελέγχους που βασίζονται σε σαφείς κανόνες. Η αναγνώριση
της γλώσσας γίνεται με βάση το σύνολο των χαρακτήρων της ερώτησης, ενώ ο εντοπισμός
χρονικής πρόθεσης και η απόρριψη εκτός θέματος ή κακόβουλων αιτημάτων στηρίζονται σε
κανόνες και μοτίβα, χωρίς καμία επιπλέον κλήση σε γλωσσικό μοντέλο. Έτσι το σύστημα έγινε
πιο γρήγορο και πιο προβλέψιμο, και ταυτόχρονα απελευθερώθηκε η μνήμη που χρειαζόταν
ώστε να αξιοποιήσουμε ένα ικανότερο μοντέλο παραγωγής, το Llama 3.1 8B, χωρίς να
χάσουμε τη συμπεριφορά που θέλαμε.
4.5 Σύνοψη των σχεδιαστικών επιλογών
Στο κεφάλαιο αυτό περάσαμε από το τι οφείλει να κάνει το σύστημα στο πώς οργανώνεται.
Καταγράψαμε πρώτα τις λειτουργικές και μη λειτουργικές προδιαγραφές, με κυριότερες την
αποκλειστική χρήση ανοιχτών εργαλείων, την τοπική εκτέλεση και την τεκμηρίωση κάθε
απάντησης. Στη συνέχεια παρουσιάσαμε τη συνολική αρχιτεκτονική, οργανωμένη σε
ανεξάρτητες μονάδες και σε δύο διακριτές φάσεις, την εκτός σύνδεσης ευρετηρίαση και τη
ζωντανή ροή ερώτηση-απάντηση. Περιγράψαμε τη σχεδίαση του αγωγού συλλογής και
ευρετηρίασης, από τον ασύγχρονο ανιχνευτή ιστού έως τον τεμαχισμό και τη διανυσματική