Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

43

 

διοικητικών υπηρεσιών. Η παρούσα εργασία επιχειρεί να καλύψει αυτό το ερευνητικό κενό, 

εισάγοντας  ένα  ολοκληρωμένο  σχήμα  αξιολόγησης  που  συνδυάζει  αντικειμενικές  τεχνικές 

μετρικές, όπως την ακρίβεια των απαντήσεων και τον χρόνο απόκρισης, με αυτόματες μετρικές 

ποιότητας  και  ποιοτική  εξέταση  αντιπροσωπευτικών  παραδειγμάτων,  όπως  αναλύεται  στο 

Κεφάλαιο 6. 

2.6 Τοπικό περιβάλλον εκτέλεσης, υπολογιστικό υλικό και η πλατφόρμα 
ROCm 

Η  απαίτηση  για  πλήρως  τοπική  εκτέλεση  των  μεγάλων  γλωσσικών  μοντέλων,  χωρίς 

εξάρτηση από εξωτερικές υπηρεσίες υπολογιστικού νέφους, μετατοπίζει ένα σημαντικό μέρος 

των προκλήσεων από το επίπεδο του λογισμικού στο επίπεδο του υλικού. Στην πλήρη τους 

ακρίβεια, τα μοντέλα με δισεκατομμύρια παραμέτρους απαιτούν δεκάδες Gigabytes μνήμης 

VRAM,  μέγεθος  που  καθιστά  αδύνατη  την  αξιοποίησή  τους  σε  υλικό  καταναλωτικής 

κατηγορίας. Η τεχνολογική λύση που αίρει αυτόν τον περιορισμό είναι η κβαντοποίηση. 

Η κβαντοποίηση αποτελεί μια μέθοδο συμπίεσης νευρωνικών δικτύων που αποσκοπεί στη 

δραστική μείωση του αποτυπώματος μνήμης και των υπολογιστικών απαιτήσεων κατά τη φάση 

της  εκτέλεσης.  Η  βασική  αρχή  της  τεχνικής  συνίσταται  στη  χαρτογράφηση  των  βαρών  του 

μοντέλου από έναν συνεχή χώρο αριθμών κινητής υποδιαστολής υψηλής ακρίβειας, όπως η 

αρχική αναπαράσταση 16-bit της εκπαίδευσης, σε ένα διακριτό εύρος χαμηλότερης ακρίβειας, 

το οποίο τυπικά αποτελείται από ακεραίους αριθμούς 4 ή 5 bits. Αυτό επιτυγχάνεται μέσω ενός 

γραμμικού  μετασχηματισμού  που  κλιμακώνει  τις  αρχικές  τιμές,  επιτρέποντας  τη  βέλτιστη 

κατανομή τους στο νέο, περιορισμένο εύρος τιμών [59]. 

Στην πράξη, για την αξιοποίηση έτοιμων μοντέλων εφαρμόζεται η κβαντοποίηση μετά την 

εκπαίδευση, η οποία δεν απαιτεί εκ νέου εκπαίδευση του δικτύου, αλλά αναλύει στατιστικά 

ένα μικρό δείγμα δεδομένων για την ελαχιστοποίηση του σφάλματος προσέγγισης [60]. Μέσω 

αυτής  της  μεθοδολογίας,  ένα  μοντέλο  της  κλίμακας  των  8  δισεκατομμυρίων  παραμέτρων