Σχεδιασμός και Υλοποίηση εξειδικευμένου chatbot για διαδικτυακές πλατφόρμες
86
ΕΙΚΟΝΑ 10: ΛΟΓΙΚΗ ΤΟΥ ΑΝΙΧΝΕΥΤΗ ΙΣΤΟΥ ΓΙΑ ΤΟΝ ΔΙΑΧΩΡΙΣΜΟ ΚΥΡΙΟΥ ΙΣΤΟΤΟΠΟΥ
ΚΑΙ ΥΠΟΤΟΜΕΩΝ
Όπως φαίνεται, κάθε αρχείο PDF καταγράφεται ανεξάρτητα από το πού βρέθηκε, ενώ μια
σελίδα HTML αποθηκεύεται μόνο αν ανήκει στον κύριο ιστότοπο. Οι υποτομείς εξακολουθούν
να επισκέπτονται, ώστε να εξάγονται οι σύνδεσμοί τους και να φτάνουμε στα PDF τους, όμως
το δικό τους HTML δεν αποθηκεύεται. Με αυτόν τον απλό έλεγχο κρατάμε το ευρετήριο
εστιασμένο στο πραγματικά χρήσιμο υλικό, χωρίς να γεμίζει με δευτερεύουσες σελίδες από
δεκάδες υποτομείς.
Το δεύτερο απόσπασμα βρίσκεται στην καρδιά της ανάκτησης και αφορά τον τρόπο με τον
οποίο η επικαιρότητα ενός εγγράφου μετατρέπεται σε αριθμό και συνδυάζεται με τη
σημασιολογική ομοιότητα. Η σχετική μέθοδος υπολογίζει ένα βάρος επικαιρότητας, και λίγο
πιο κάτω αυτό το βάρος ενώνεται με την ομοιότητα σε ένα τελικό σκορ.