Πρόσφατα ένας από τους αναγνώστες μας μας ρώτησε για συμβουλές σχετικά με τον τρόπο βελτιστοποίησης του αρχείου robots.txt για τη βελτίωση του SEO στο site του. Το αρχείο Robots.txt λέει στις μηχανές αναζήτησης πώς να ανιχνεύσουν τον ιστότοπό σας, γεγονός που το καθιστά ένα απίστευτα ισχυρό εργαλείο SEO. Σε αυτό το άρθρο, θα σας δείξουμε πώς να δημιουργήσετε ένα τέλειο αρχείο robots.txt.

Τι είναι το αρχείο robots.txt;

Το Robots.txt είναι ένα αρχείο κειμένου που μπορούν να δημιουργήσουν οι ιδιοκτήτες site για να ενημερώσουν τις μηχανές αναζήτησης πώς μπορούν να ανιχνεύσουν και να δουν τις σελίδες ενός site.

Συνήθως αποθηκεύεται στον ριζικό κατάλογο που είναι επίσης γνωστός ως ο κύριος φάκελος του ιστότοπού σας. Η βασική μορφή ενός αρχείου robots.txt μοιάζει με αυτό:

User-agent: [user-agent name]

Disallow: [URL string not to be crawled]

User-agent: [user-agent name]

Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

Μπορείτε να έχετε πολλές γραμμές οδηγιών για να επιτρέψετε ή να απαγορεύσετε συγκεκριμένες διευθύνσεις URL και να προσθέσετε πολλαπλούς χάρτες ιστότοπου. Αν δεν απορρίψετε μια διεύθυνση URL, τότε τα bots των μηχανών αναζήτησης υποθέτουν ότι τους επιτρέπεται να ανιχνευτούν.

Ακολουθεί παράδειγμα ενός αρχείου robots.txt:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

Στο παραπάνω παράδειγμα, επιτρέψαμε στις μηχανές αναζήτησης να ανιχνεύσουν και να ευρετηριάσουν αρχεία στο φάκελο ανεβάσματος του WordPress.

Μετά από αυτό, έχουμε απαγορεύσει τα bots αναζήτησης από την ανίχνευση και την ευρετηρίαση plugins και τους admin φακέλους.

Τέλος, έχουμε δημιουργήσει τη διεύθυνση URL του χάρτη ιστοτόπου XML.

Είναι απαραίτητο ένα αρχείο Robots.txt για τον ιστότοπό μου;

Αν δεν έχετε αρχείο robots.txt, τότε οι μηχανές αναζήτησης θα εξακολουθούν να ανιχνεύουν και να ευρετηριάζουν τον ιστότοπό σας. Ωστόσο, δεν θα μπορείτε να ενημερώσετε τις μηχανές αναζήτησης ποιες σελίδες ή φακέλους δεν πρέπει να ανιχνεύσουν.

Αυτό δεν θα έχει μεγάλο αντίκτυπο όταν ξεκινάτε για πρώτη φορά ένα blog και δεν έχετε πολύ περιεχόμενο.

Ωστόσο, καθώς ο ιστότοπός σας αναπτύσσεται και έχετε πολύ περιεχόμενο, τότε θα θέλατε να έχετε τον καλύτερο έλεγχο σχετικά με τον τρόπο ανίχνευσης και ευρετηρίασης του ιστότοπού σας.

Εδώ είναι και ο λόγος που χρειάζεται.

Τα bots αναζήτησης έχουν μια ποσόστωση ανίχνευσης για κάθε ιστότοπο.

Αυτό σημαίνει ότι ανιχνεύουν έναν ορισμένο αριθμό σελίδων κατά τη διάρκεια μιας περιόδου ανίχνευσης. Εάν δεν ολοκληρώσουν την ανίχνευση όλων των σελίδων στον ιστότοπό σας, τότε θα επιστρέψουν και θα ξαναρχίσουν την ανίχνευση στην επόμενη συνεδρία.

Αυτό μπορεί να επιβραδύνει τον ρυθμό ευρετηρίασης του ιστοτόπου σας.

Μπορείτε να διορθώσετε αυτό το πρόβλημα αποκλείοντας τα bots αναζήτησης από την προσπάθεια ανίχνευσης περιττών σελίδων όπως οι σελίδες διαχειριστών του WordPress, τα αρχεία των plugins και των themes.

Απορρίπτοντας περιττές σελίδες, αποθηκεύετε την ποσόστωση ανίχνευσης. Αυτό βοηθά τις μηχανές αναζήτησης να ανιχνεύουν ακόμα περισσότερες σελίδες στον ιστότοπό σας και να τις αναγράφουν όσο το δυνατόν γρηγορότερα.

Ένας άλλος καλός λόγος για να χρησιμοποιήσετε το αρχείο robots.txt είναι όταν θέλετε να σταματήσετε τις μηχανές αναζήτησης από την ευρετηρίαση μιας αναρτήσης ή μιας σελίδας στον ιστότοπό σας.

Δεν είναι ο ασφαλέστερος τρόπος απόκρυψης περιεχομένου από το ευρύ κοινό, αλλά θα σας βοηθήσει να αποτρέψετε την εμφάνισή τους στα αποτελέσματα αναζήτησης.

Πως πρέπει να είναι ένα ιδανικό αρχείο Robots.txt;

Πολλά δημοφιλή blogs χρησιμοποιούν ένα πολύ απλό αρχείο robots.txt. Το περιεχόμενό τους μπορεί να διαφέρει ανάλογα με τις ανάγκες του συγκεκριμένου ιστότοπου:

User-agent:

*Disallow:

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

Αυτό το αρχείο robots.txt επιτρέπει σε όλα τα bots να αναγράφουν όλο το περιεχόμενο και τους παρέχει έναν σύνδεσμο στους χάρτες ιστοτόπου XML του ιστότοπου.

Για τους ιστότοπους WordPress, συνιστούμε τους ακόλουθους κανόνες στο αρχείο robots.txt:

User-Agent:

*Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

Αυτό λέει στα bots αναζήτησης να ευρετηριάσει όλες τις εικόνες και τα αρχεία του WordPress. Απαγορεύει στα bots αναζήτησης από την ευρετηρίαση των αρχείων plugin του WordPress, της περιοχής διαχείρισης του WordPress, του αρχείου readme και των συνδέσεων θυγατρικών.

Με την προσθήκη ιστοτόπων στο αρχείο robots.txt, διευκολύνετε τα bots της Google να βρίσκουν όλες τις σελίδες στον ιστότοπό σας.

Τώρα που ξέρετε πως μοιάζει ένα ιδανικό αρχείο robots.txt, ας ρίξουμε μια ματιά στο πώς μπορείτε να δημιουργήσετε ένα αρχείο robots.txt στο WordPress.

Πώς να δημιουργήσετε ένα αρχείο Robots.txt στο WordPress;

Υπάρχουν δύο τρόποι για να δημιουργήσετε ένα αρχείο robots.txt στο WordPress. Μπορείτε να επιλέξετε τη μέθοδο που λειτουργεί καλύτερα για εσάς.

[!] Οποιαδήποτε εγκατάσταση, ή παραμετροποίηση της ιστοσελίδας σας, γίνεται με την δική σας ευθύνη. Για αυτό προσέξτε σε κάθε περίπτωση να έχετε πρόσφατο αντίγραφο ασφαλείας.

Μέθοδος 1: Επεξεργασία αρχείου Robots.txt χρησιμοποιώντας το Yoast SEO

Μπορείτε να το χρησιμοποιήσετε για να δημιουργήσετε και να επεξεργαστείτε ένα αρχείο robots.txt απευθείας από την περιοχή διαχείρισης του WordPress.

Απλά πηγαίνετε στο SEO »Tools και κάντε κλικ στο σύνδεσμο Επεξεργαστής αρχείων.

Στην επόμενη σελίδα, θα εμφανίσει το υπάρχον αρχείο robots.txt.

Αν δεν έχετε αρχείο robots.txt, τότε το Yoast SEO θα δημιουργήσει ένα αρχείο robots.txt για εσάς.

Από προεπιλογή, το robots.txt της Yoast SEO θα προσθέσει τους ακόλουθους κανόνες στο αρχείο robots.txt:

User-agent:

*Disallow: /

Είναι σημαντικό να διαγράψετε αυτό το κείμενο επειδή εμποδίζει όλες τις μηχανές αναζήτησης να ανιχνεύσουν τον ιστότοπό σας.

Αφού διαγράψετε το προεπιλεγμένο κείμενο, μπορείτε να προχωρήσετε και να προσθέσετε τους δικούς σας κανόνες robots.txt. Συνιστούμε να χρησιμοποιήσετε την ιδανική μορφή robots.txt που μοιραστήκαμε παραπάνω.

Μόλις τελειώσετε, μην ξεχάσετε να κάνετε κλικ στο κουμπί ‘Αποθήκευση του αρχείου robots.txt’ για να αποθηκεύσετε τις αλλαγές σας.

Μέθοδος 2. Επεξεργαστείτε το αρχείο Robots.txt χρησιμοποιώντας το FTP

Για αυτήν τη μέθοδο, θα πρέπει να χρησιμοποιήσετε ένα πρόγραμμα FTP για να επεξεργαστείτε το αρχείο robots.txt.

Απλά συνδεθείτε με τον λογαριασμό σας στο WordPress χρησιμοποιώντας ένα πρόγραμμα FTP.

Μόλις είστε συνδεδεμένοι, θα μπορείτε να δείτε το αρχείο robots.txt στον ριζικό φάκελο του ιστότοπού σας.

Εάν δεν βλέπετε ένα, τότε πιθανότατα δεν έχετε αρχείο robots.txt. Σε αυτή την περίπτωση, μπορείτε απλά να προχωρήσετε και να δημιουργήσετε ένα.

Το Robots.txt είναι ένα αρχείο απλού κειμένου, το οποίο σημαίνει ότι μπορείτε να το κατεβάσετε στον υπολογιστή σας και να το επεξεργαστείτε χρησιμοποιώντας οποιοδήποτε επεξεργαστή απλού κειμένου όπως το Notepad ή το TextEdit.

Αφού αποθηκεύσετε τις αλλαγές σας, μπορείτε να τις ανεβάσετε στο βασικό φάκελο του ιστοτόπου σας.

Πώς να δοκιμάσετε το αρχείο Robots.txt;

Μόλις δημιουργήσετε το αρχείο robots.txt, είναι πάντα καλό να το δοκιμάσετε χρησιμοποιώντας ένα εργαλείο ανίχνευσης robots.txt.

Υπάρχουν πολλά εργαλεία ανίχνευσης robots.txt εκεί έξω, αλλά σας συνιστούμε να χρησιμοποιήσετε το εργαλείο μέσα στο Google Search Console.

Απλώς συνδεθείτε στο λογαριασμό σας στο Google Search Console και, στη συνέχεια, μεταβείτε στον παλιό ιστότοπο της κονσόλας αναζήτησης Google.

Αυτό θα σας μεταφέρει στην παλιά διεπαφή του Google Search Console . Από εδώ θα πρέπει να ξεκινήσετε το εργαλείο tester robots.txt που βρίσκεται στο μενού ‘Ανίχνευση’.

Το εργαλείο θα ανακτήσει αυτόματα το αρχείο robots.txt του ιστότοπού σας και θα επισημάνει τα σφάλματα και τις προειδοποιήσεις αν βρεθούν.

Ο στόχος της βελτιστοποίησης του αρχείου robots.txt είναι να εμποδίσετε τις μηχανές αναζήτησης να ανιχνεύουν σελίδες που δεν είναι διαθέσιμες στο κοινό. Για παράδειγμα, τις σελίδες στο φάκελο wp-plugins ή τις σελίδες στο φάκελο admin του WordPress.

Συνιστούμε να ακολουθήσετε την παραπάνω μορφή robots.txt για να δημιουργήσετε ένα αρχείο robots.txt για τον ιστότοπό σας.

Ελπίζουμε ότι αυτό το άρθρο σας βοήθησε να μάθετε πώς μπορείτε να βελτιστοποιήσετε το αρχείο robots.txt.