» » » Правильный Robots.txt и .htaccess для DLE

Правильный Robots.txt и .htaccess для DLE

Описание:
Выкладываю это здесь, чтобы не забыть. Да может и понадобиться кому не будь :)
Настройка Robots.txt для Dle
User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: Ваш_сайт
Sitemap: http://Ваш_сайт/sitemap.xml


В результате:
Из индекса убираются все версии страниц для печати;
Закрываются страницы профилей, при помощи которых часто спамят недобросовестные веб мастеры;
Запрещаются к индексации страницы, на которых отсутствует полезный для посетителей контент, например, админка;
Отбрасываем всякий хлам;
Задаём местонахождение карты сайта и хост.

Настройка .htaccess для Dle
Открываем файл, который, как и предыдущий находится в корне сайта. Находим строчки в самом начале:
DirectoryIndex index.php
RewriteEngine On


Вместо них вставляем:
RewriteEngine On
Options +Indexes
Options +FollowSymLinks
# Редирект для категорий (чтобы в конце URL был /)
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !-f
RewriteCond %{REQUEST_URI} !/$
RewriteCond %{REQUEST_URI} !.html$
RewriteCond %{REQUEST_URI} !.xml$
RewriteRule (.+) $1/ [R=301,L]
# Редирект c www на без www
RewriteCond %{HTTP_HOST} ^www.site.ru
RewriteRule ^(.*)$ http://site.ru/$1 [R=permanent,L]
# Редирект для главной (с /index.php,html на /)
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]


В коде, на всякий случай, есть пояснения. Их удалять не обязательно — на работе они никак не скажутся. Не забываем вместо site.ru прописывать нужный адрес.
В результате:
Все адреса категорий на конце будут со слешем (/) — для удаления из индекса разных url.
Основным хостом сайта задаётся адрес без www. Аналогично можно сделать и наоборот.
Устанавливаем редирект со всех второстепенных адресов главной страницы (site.ru/index.php, www.site.ru и www.site.ru/index.php) на один — site.ru.


Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.

Комментарии

4
Спасибо, у меня почти такой же) + тебе
4

iHunan

Посетители 17 октября 2014 13:51
Цитата: andros0789
Спасибо, у меня почти такой же) + тебе

wink
4

DooMDiM

Посетители 17 октября 2014 14:01
+ за полезную статью
4
Тупо статья с alaev.info ничего нового, только боян
Влюблённая Офелия плыла себе вдаль
Сияла ночь, звенела земля.
4

iHunan

Посетители 18 октября 2014 00:42
Цитата: Gameer
Тупо

Лучше, чем не чего.
Статья не с alaev.info.
4
Цитата: iHunan
Цитата: Gameer
Тупо

Лучше, чем не чего.
Статья не с alaev.info.

:D он ее и писал
Влюблённая Офелия плыла себе вдаль
Сияла ночь, звенела земля.
4

iHunan

Посетители 18 октября 2014 15:27
Цитата: Gameer
Цитата: iHunan
Цитата: Gameer
Тупо

Лучше, чем не чего.
Статья не с alaev.info.

:D он ее и писал


Тогда он молодец fellow
4

sokoloka

Посетители 19 октября 2014 12:31
Я бы ещё закрыл от индексации ТЕГИ, да бы не было дублей страниц и излишков в показателей индексации в Google и Яндекс
4

artemmian

Посетители 6 декабря 2014 20:54
Часть каталогов вообще никогда не попадет в индекс:

Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/


Их не существует. Это файлы движка! А те страницы, которые существуют в единственном виде (фидбэк, пароли, реги) смысла прятать нету. Их не больше 10 штук. Достаточно вот этого

User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /tags/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/

#out page
Disallow: /go?*

#карта сайта
sitemap: http://domain.name/sitemap.xml

# - главное зеркало
host: domain.name

Информация

Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.