A legtöbb gyakorlott blogger bizonyosan tudja, mi az a robots.txt, és miért van szüksége erre a fájlra. De kevés szerző azonnal rohan egy robots.txt fájl létrehozásával, miután blogot telepített a WordPressre.
A Robots.txt egy szöveges fájl, amelyet feltöltenek a webhely gyökérkönyvtárába, és utasításokat tartalmaz a robotok számára. Felhasználásának fő célja az egyes oldalak és szakaszok indexelésének megtiltása a webhelyen. A robots.txt használatával azonban megadhatja a megfelelő tartománytükröt is, előírhatja a webhelytérkép elérési útját és hasonlókat.
A legtöbb modern keresőmotor megtanulta jól eligazodni a népszerű CMS-ben, és általában nem arra törekszik, hogy indexelje a nem erre szánt tartalmat. Például a Google akkor sem indexeli a WordPress blog adminisztrációs területét, ha nem adja meg közvetlenül a robots.txt fájlban. Bizonyos esetekben azonban a közvetlen tiltások alkalmazása továbbra is hasznos lehet. És elsősorban a másolat tartalmának tilalmáról beszélünk.
Néhány webmester odáig megy, hogy megtiltja a kategória- és címkeoldalak indexelését, mivel tartalmuk részben megismétli a főoldal tartalmát. De a legtöbb a trackback és a feed oldalak betiltására korlátozódik, amelyek teljesen megismétlik a cikkek tartalmát, és egyáltalán nem a keresőmotorok számára készültek. Egy ilyen elővigyázatosság nemcsak „tisztábbá” teszi a webhely eredményeit, hanem megment a lehetséges keresési szűrőktől is, különösen az új Google Panda algoritmus bevezetése után.
Íme a robots.txt fájl ajánlott irányelvei (ez szinte minden WordPress-blognál működik):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-tartalmazza Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Felhívjuk figyelmét, hogy a robots.txt fájlban a wp-admin és a wp-include adminisztratív mappák teljesen le vannak zárva az indexeléshez. A wp-content mappa csak részben van bezárva, mivel a feltöltési könyvtárat tartalmazza, amely tartalmazza a blog összes képét, amelyet indexelni kell.
Mindössze annyit kell tennie, hogy lemásolja a direktívákat a fenti kódból (vegye figyelembe, hogy az egyes irányelveket új sorra kell írni), mentse el őket a robots.txt nevű szövegfájlba, és töltse fel a webhely gyökérkönyvtárába.
A Google Webmestereszközök és a Yandex Webmester felületein keresztül bármikor ellenőrizheti, hogy a robots.txt megfelelően működik-e.
