Пример robots.txt для wordpress

Пример robots.txt для wordpress

Долго разбирался как правильно построить файл robots.txt. Но вот пришел к такому варианту:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Host: domen.ru
Весь файл поделен на две категории. В первом описываются исключения для всех поисковых ботов, а во втором только для яндекса. Зачем делать две категории [...]

20 марта 2009 | meradone 
- Meradone © 2009, все права защищены -
- При копировании материалов активная гиперссылка на блог обязательна -
Rambler's Top100