Η διαχείριση της πρόσβασης στο περιεχόμενο για εκπαίδευση μοντέλων τεχνητής νοημοσύνης εξελίσσεται σε ξεχωριστό κομμάτι της τεχνικής διακυβέρνησης ενός site. Η Google ανακοίνωσε ότι σχεδιάζει να υποστηρίξει ένα κοινό σήμα στο robots.txt, ώστε οι ιδιοκτήτες ιστοτόπων να μπορούν να εκφράζουν προτιμήσεις AI training απέναντι σε πολλούς παρόχους με μία ενιαία οδηγία.
Η πρόταση βασίζεται στην εργασία της ομάδας AIPREF στο Internet Engineering Task Force. Δεν είναι ακόμη τελικό πρότυπο ούτε άμεση αλλαγή για όλους τους crawlers. Η Google τοποθετεί την υποστήριξή της στο 2027 και αναφέρει ότι θα δημοσιεύσει νεότερες τεχνικές λεπτομέρειες.
Πώς θα λειτουργεί το κοινό policy token
Σύμφωνα με την επίσημη ανακοίνωση, το robots.txt θα μπορεί να περιλαμβάνει ένα κοινό policy token που δηλώνει ευρεία προτίμηση για χρήση περιεχομένου στην εκπαίδευση AI. Οι συμμετέχοντες πάροχοι θα μπορούν να ερμηνεύουν την ίδια οδηγία χωρίς να απαιτείται διαφορετικός κανόνας για κάθε εταιρεία.
Αν ένα site χρησιμοποιήσει το κοινό σήμα για opt-out και δεν έχει ορίσει ρητά το Google-Extended, η Google σχεδιάζει να το αντιμετωπίζει σαν να είχε αποκλειστεί το Google-Extended. Οι εταιρικές οδηγίες, ωστόσο, θα συνεχίσουν να λειτουργούν παράλληλα. Ένας publisher θα μπορεί να διατυπώνει μια γενική επιλογή και στη συνέχεια να κάνει ειδικότερη ρύθμιση για συγκεκριμένο πάροχο.
Δεν είναι το ίδιο με τον αποκλεισμό από την Αναζήτηση
Η σημαντικότερη λειτουργική διάκριση είναι ανάμεσα στην εκπαίδευση μοντέλων και στην ευρετηρίαση για Search. Ένα policy token για AI training δεν πρέπει να αντιμετωπίζεται ως υποκατάστατο των κανόνων που ελέγχουν αν μια σελίδα μπορεί να εμφανιστεί στα αποτελέσματα αναζήτησης.
Οι ομάδες SEO χρειάζεται να κρατήσουν χωριστά τα επίπεδα ελέγχου: crawling, indexing, παρουσίαση αποσπασμάτων, χρήση σε υπηρεσίες AI και χρήση για εκπαίδευση. Η ίδια διεύθυνση URL μπορεί να έχει διαφορετική επιχειρηματική αξία σε κάθε επίπεδο.
Η σχέση με το Google-Extended
Το Google-Extended είναι ο υφιστάμενος έλεγχος της Google για συγκεκριμένες χρήσεις generative AI. Η νέα πρόταση δεν το καταργεί. Αντίθετα, δημιουργεί ένα ευρύτερο επίπεδο στο οποίο μπορούν να συμμετέχουν περισσότεροι πάροχοι.
Η Google σημειώνει επίσης ότι sites που επιτρέπουν ρητά το Google-Extended μπορούν να είναι επιλέξιμα για εμφάνιση και παραπομπές μέσω grounding στις εφαρμογές Gemini. Αυτό δεν αποτελεί εγγύηση προβολής ή traffic· είναι περιγραφή επιλεξιμότητας μέσα στο οικοσύστημα της εταιρείας.
Πέντε πρακτικοί έλεγχοι πριν από οποιαδήποτε αλλαγή
1. Καταγραφή στόχου. Η ομάδα πρέπει να αποφασίσει αν θέλει να περιορίσει training, retrieval, indexing ή συγκεκριμένο crawler. Η ασαφής απαίτηση οδηγεί σε λάθος τεχνικό κανόνα.
2. Έλεγχος της σημερινής ρύθμισης. Πριν προστεθεί νέο token, χρειάζεται απογραφή των υφιστάμενων User-agent και Disallow κανόνων, καθώς και τυχόν οδηγιών Google-Extended.
3. Νομική και εμπορική αξιολόγηση. Τα δικαιώματα περιεχομένου, οι συμφωνίες αδειοδότησης και οι στόχοι διανομής δεν είναι ίδιοι για κάθε site. Το robots.txt εκφράζει μηχανικά μια επιλογή, αλλά δεν αντικαθιστά τη συμβατική πολιτική.
4. Δοκιμή χωρίς σύγκρουση. Όταν δημοσιευτούν οι τελικές προδιαγραφές, οι αλλαγές πρέπει να ελεγχθούν σε staging ή με ασφαλή διαδικασία deploy, ώστε να μη διακοπεί κατά λάθος το search crawling.
5. Παρακολούθηση. Ένα αρχείο robots.txt δεν είναι ρύθμιση «μία φορά και τέλος». Χρειάζεται version control, καταγραφή αλλαγών και τακτικός έλεγχος για νέους crawlers και αναθεωρήσεις προτύπων.
Τι σημαίνει στρατηγικά
Η κοινή σηματοδότηση μπορεί να μειώσει την πολυπλοκότητα για publishers που σήμερα διαχειρίζονται αυξανόμενη λίστα εταιρικών crawlers. Η αξία της, όμως, θα εξαρτηθεί από την πραγματική υιοθέτηση, τη σαφήνεια της τελικής προδιαγραφής και τη συνέπεια με την οποία οι πάροχοι θα τη σέβονται.
Για brands και media, το σωστό επόμενο βήμα δεν είναι η βιαστική αλλαγή του robots.txt. Είναι η δημιουργία πολιτικής για το ποιο περιεχόμενο θέλουν να διανέμουν, να ευρετηριάζουν, να διαθέτουν για grounding ή να αποκλείουν από training — και ποιος έχει την ευθύνη να εφαρμόζει αυτή την πολιτική τεχνικά.
Πηγή: Google Search Central, 30 Οκτωβρίου 2026. Η ανακοίνωση αφορά σχεδιαζόμενη υποστήριξη για το 2027 και όχι άμεσα διαθέσιμη καθολική λειτουργία.
