Пример robots.txt для wordpress
Долго разбирался как правильно построить файл robots.txt. Но вот пришел к такому варианту:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Host: domen.ru
Весь файл поделен на две категории. В первом описываются исключения для всех поисковых ботов, а во втором только для яндекса. Зачем делать две категории [...]
20 марта 2009 | meradone


