Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες

 

62

 

Πίνακας 9: Σύγκριση μετρικών αυτόματης αξιολόγησης παραγωγής κειμένου 

Μετρική

 

Τύπος

 

Τι μετρά

 

Εύρος

 

Σχόλιο

 

BLEU

 

n-gram 

 

Λεξική επικάλυψη

 

0–1

 

Αγνοεί τη σημασία

 

ROUGE-L

 

LCS 

 

Μακρύτερη κοινή ακολουθία

 

0–1

 

Κατάλληλη για 

περιλήψεις

 

METEOR

 

precision + recall

 

Με συνώνυμα/μορφολογία

 

0–1

 

Καλύτερη στα ελληνικά

 

BERTScore

 

Embeddings

 

Σημασιολογική ομοιότητα

 

0–1

 

Πιάνει παραφράσεις

 

BLEURT

 

Learned metric

 

Πρόβλεψη ανθρώπινης κρίσης

 

0–1

 

Χρειάζεται εκπαίδευση

 

RAGAS – Πιστότητα

 

LLM-based

 

Θεμελίωση στο context

 

0–1

 

Χωρίς ground truth

 

RAGAS – Συνάφεια 

Απάντησης

 

LLM-based

 

Συνάφεια με την ερώτηση

 

0–1

 

Χωρίς ground truth

 

RAGAS – Ακρίβεια Πλαισίου

 

LLM-based

 

Σχετικότητα top-k

 

0–1

 

Ποιότητα ανάκτησης

 

RAGAS – Ανάκληση 

Πλαισίου

 

LLM-based

 

Κάλυψη αναγκαίας πληροφορίας

 

0–1

 

Ποιότητα ανάκτησης

 

 

3.7 Σύνοψη και επιλογές για την υλοποίηση 

Από τη συνολική αυτή ανασκόπηση προκύπτουν συγκεκριμένες επιλογές για τη δική μας 

υλοποίηση. Για τη διανυσματική βάση επιλέχθηκε το ChromaDB λόγω της απλότητάς του, με 

την επίγνωση ότι σε κλίμακα παραγωγής θα μπορούσε να αντικατασταθεί από το Milvus χωρίς 

αλλαγή στον υπόλοιπο κώδικα. Για την εκτέλεση των γλωσσικών μοντέλων προτιμήθηκε το 

Ollama, τόσο για τη φιλικότητά του όσο και για το ότι αναλαμβάνει μόνο του τη φόρτωση των 

μοντέλων και τη διαχείριση της μνήμης της κάρτας γραφικών, χωρίς να μας υποχρεώνει σε 

χαμηλού  επιπέδου  ρυθμίσεις.  Για  τη  διεπαφή  χρήστη  επιλέχθηκε  το  Chainlit,  σχεδιασμένο 

ειδικά  για  εφαρμογές  συνομιλίας,  με  σταδιακή  ροή  των  απαντήσεων  και  ενσωματωμένη 

υποστήριξη ανατροφοδότησης. Από το LangChain αξιοποιήθηκαν επιλεκτικά μόνο τα τμήματα 

που χρειάστηκαν, ενώ ο υπόλοιπος κώδικας γράφτηκε από την αρχή, για λόγους ελέγχου και 

διαφάνειας. 

Η τελική στοίβα τεχνολογιών που επιλέχθηκε, μαζί με τις εναλλακτικές που εξετάστηκαν 

και τον λόγο της κάθε επιλογής, συγκεντρώνεται στον Πίνακα 10. Η συνεκτική αυτή εικόνα 

δείχνει  ότι  κάθε  επιλογή  υπηρετεί  τους  δύο  σταθερούς  περιορισμούς  της  εργασίας: 

αποκλειστικά ανοιχτό λογισμικό και πλήρως τοπική εκτέλεση σε καταναλωτικό υλικό.