Το robots.txt και το noindex συχνά μπαίνουν στην ίδια πρόταση, αλλά λύνουν διαφορετικά προβλήματα. Το πρώτο καθοδηγεί τα crawlers σχετικά με το ποια μονοπάτια μπορούν να ανιχνεύσουν. Το δεύτερο δηλώνει ότι μια σελίδα δεν πρέπει να εμφανίζεται στα αποτελέσματα αναζήτησης.
Η διαφορά είναι κρίσιμη: ένα URL που μπλοκάρεται στο robots.txt μπορεί να παραμένει γνωστό στη μηχανή αναζήτησης από εξωτερικούς συνδέσμους ή άλλα σήματα. Και αν το crawler δεν μπορεί να ανοίξει τη σελίδα, δεν μπορεί να διαβάσει το noindex που βρίσκεται μέσα της.
Τι κάνει το robots.txt
Το αρχείο robots.txt βρίσκεται στη ρίζα του domain και περιέχει κανόνες crawling. Είναι χρήσιμο όταν θέλουμε να περιορίσουμε την ανίχνευση περιοχών που δεν έχουν αξία για την αναζήτηση, όπως ορισμένα παραμετρικά URLs, εσωτερικές διαδρομές ή μεγάλοι χώροι που καταναλώνουν άσκοπα crawl resources.
Δεν είναι μηχανισμός προστασίας προσωπικών δεδομένων και δεν πρέπει να χρησιμοποιείται για εμπιστευτικό περιεχόμενο. Οι κανόνες είναι δημόσιοι, ενώ διαφορετικά crawlers μπορεί να τους χειρίζονται με διαφορετικό τρόπο.
Τι κάνει το noindex
Η οδηγία noindex τοποθετείται σε robots meta tag μέσα στο HTML ή επιστρέφεται ως HTTP header X-Robots-Tag. Όταν η Google μπορεί να ανιχνεύσει το περιεχόμενο και δει την οδηγία, δεν το διατηρεί στα αποτελέσματα αναζήτησης.
Για HTML σελίδες χρησιμοποιούμε συνήθως meta robots. Για μη HTML αρχεία, όπως PDF, το X-Robots-Tag είναι συχνά η κατάλληλη επιλογή.
Το πιο συχνό τεχνικό λάθος
Μια ομάδα προσθέτει noindex στη σελίδα και ταυτόχρονα μπλοκάρει το URL στο robots.txt. Το αποτέλεσμα είναι αντιφατικό: ο crawler εμποδίζεται να επισκεφθεί τη σελίδα, άρα μπορεί να μη δει ποτέ την οδηγία αποκλεισμού από το index.
Αν ο στόχος είναι η αφαίρεση από τα αποτελέσματα, επιτρέπουμε προσωρινά το crawling ώστε να διαβαστεί το noindex. Στη συνέχεια ελέγχουμε την κατάσταση με το URL Inspection. Για επείγουσες περιπτώσεις μπορεί να χρησιμοποιηθεί και εργαλείο προσωρινής αφαίρεσης, χωρίς αυτό να υποκαθιστά τη μόνιμη τεχνική ρύθμιση.
Πρακτικό decision tree
- Θέλουμε να μειώσουμε crawling σε χαμηλής αξίας URLs; Εξετάζουμε κανόνα στο robots.txt.
- Θέλουμε μια δημόσια προσβάσιμη σελίδα να μη φαίνεται στην αναζήτηση; Χρησιμοποιούμε
noindexκαι επιτρέπουμε την ανίχνευση. - Το περιεχόμενο είναι εμπιστευτικό; Χρησιμοποιούμε έλεγχο πρόσβασης ή authentication, όχι robots.txt.
- Η σελίδα καταργήθηκε οριστικά; Επιστρέφουμε κατάλληλο HTTP status, όπως 404 ή 410, ή κάνουμε σωστό redirect όταν υπάρχει πραγματικά ισοδύναμο περιεχόμενο.
- Πρόκειται για PDF ή άλλο αρχείο; Εξετάζουμε
X-Robots-Tag: noindex.
Έλεγχος πριν και μετά την αλλαγή
Καταγράφουμε ποιο πρόβλημα λύνει κάθε κανόνας, ποιος τον ενέκρινε και ποια URLs επηρεάζονται. Πριν την εφαρμογή ελέγχουμε templates και περιβάλλοντα staging ώστε να μη μεταφερθεί κατά λάθος ένα site-wide noindex στην παραγωγή.
Μετά την εφαρμογή, χρησιμοποιούμε τα εργαλεία ελέγχου URL και τα reports ευρετηρίασης για να επιβεβαιώσουμε τι έλαβε πραγματικά ο crawler. Η επιτυχία δεν μετριέται από το αν γράψαμε τον κανόνα, αλλά από το αν η μηχανή αναζήτησης μπορεί να τον διαβάσει και να τον εφαρμόσει.
Η βασική αρχή
Το robots.txt διαχειρίζεται κυρίως την πρόσβαση του crawler. Το noindex διαχειρίζεται την παρουσία στο index. Όταν η ομάδα ξεκινά από αυτή τη διάκριση, αποφεύγει τις περισσότερες αντιφάσεις και μπορεί να επιλέξει το σωστό εργαλείο για κάθε URL.
