Пример robots.txt для wordpress
Дата: 20 Март 2009 | Опубликовал: meradoneДолго разбирался как правильно построить файл robots.txt. Но вот пришел к такому варианту:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackbackUser-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /trackback
Host: domen.ru
Весь файл поделен на две категории. В первом описываются исключения для всех поисковых ботов, а во втором только для яндекса. Зачем делать две категории с одинаковыми исключениями? Это нужно, для того чтобы зазеркалить домен. Чтобы поисковыми систем он понимался либо с www, либо без него. Для этого есть строчка “Host”. Но это только в случае с яндексом.
В начале можно прописать строчку:
Sitemap: http://domen.ru/sitemap.xml.gz
Это позволит гуглу производить более быструю индексацию вашего сайта.
Похожие записи
 Подписаться на RSS
|
Спасибо. Грамотно.
Да не за что)))
Get Wize…before you buy!
Wize reads millions of reviews for you
Then we report back the best & worst products
Reviews made simple
проститутки киев чернокожие
проститутки киева выезд
бесплатные проститутки москвы
дешевые проститутки г москва
проститутки дешево г москва
написать подробную историю рода Хайдроков. Здесь, в часовне, сохранились и книги тех времен, и документы. Да, но занятие это доставляет особое
Терри. Ее я обнаружила в постели. О, это вы, сказала старуха, жадными глазами уставившись в корзинку, рассматривая то, что я принесла! Жара все не
ворота. Бладсуорт медленно тронулся с места. Потом аккуратно повернул вправо и бережно поставил машину на место. Еще одно нажатие кнопки и ворота
Только на всем этом великолепии лежал толстый, нетронутый слой пыли. Сквозь нее не было видно, кто запечатлен на фотографиях,
Джосайи Каррингтона, покончил с собой. Что скрывается за этой трагедией? Почему юноша, обладавший столькими достоинствами, богатством, стреляется
Фото проституток в черных колготках
Номера телефонов дешевых проституток ростова
Секс фото праститутки
Интим девушки проститутки самара
Черный список телефонов клиентов проституток
тут не поспоришь.
Ну да конечно, все ок. Поспоришь?
=))