Долго разбирался как правильно построить файл robots.txt. Но вот пришел к такому варианту:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Host: domen.ru

Весь файл поделен на две категории. В первом описываются исключения для всех поисковых ботов, а во втором только для яндекса. Зачем делать две категории с одинаковыми исключениями? Это нужно, для того чтобы зазеркалить домен. Чтобы поисковыми систем он понимался либо с www, либо без него. Для этого есть строчка “Host”. Но это только в случае с яндексом.
В начале можно прописать строчку:

Sitemap: http://domen.ru/sitemap.xml.gz

Это позволит гуглу производить более быструю индексацию вашего сайта.