| |||||||||
|
26.07.2011 21:20
"Раз пошла такая пьянка" займемся написанием нового robots.txt
Раньше в нем был только запрет лезть в админскую директорию
User-agent: *
Disallow: /admin/
Сделаем его более правильным, с учетом современных реалий и ослабления нагрузки на сайт поисковиками. Разрешим индексировать только товары, статьи и товарные разделы.
Внесем в robots.txt
User-agent: *
Allow: /index.php?action=forum
Allow: /
Disallow: /index.php?
Allow: /index.php?catid=
Allow: /index.php?unifid=
Allow: /index.php?item_id=
Allow: /index.php?page=
Disallow: /admin/
Disallow: /index.php?action=
Disallow: /index.php?zapros=
Disallow: /index.php?logout=
Disallow: /index.php?register=
Disallow: /index.php?login=
Disallow: /print.php
Disallow: /yml.php
Disallow: /mgxml.php
Allow: /index.php?action=gal
# you may allow or disallow sear results
Allow: /index.php?query=
# Disallow: /index.php?query=
Такой robots.txt позволит индексировать только страницы с товарами, товарными каталогами и статьи из CMS, а все остальное - запретит.
Если надо снять немного нагрузки с сайта можно запретить индексирование поисковых результатов
тогда в последних 2-х строчках вместо
Allow: /index.php?query=
# Disallow: /index.php?query=
написать
# Allow: /index.php?query=
Disallow: /index.php?query=
Теперь такой robots.txt идет в комплекте со скриптом и не важно какие у вас счетчики стоят.
Раньше в нем был только запрет лезть в админскую директорию
User-agent: *
Disallow: /admin/
Сделаем его более правильным, с учетом современных реалий и ослабления нагрузки на сайт поисковиками. Разрешим индексировать только товары, статьи и товарные разделы.
Внесем в robots.txt
User-agent: *
Allow: /index.php?action=forum
Allow: /
Disallow: /index.php?
Allow: /index.php?catid=
Allow: /index.php?unifid=
Allow: /index.php?item_id=
Allow: /index.php?page=
Disallow: /admin/
Disallow: /index.php?action=
Disallow: /index.php?zapros=
Disallow: /index.php?logout=
Disallow: /index.php?register=
Disallow: /index.php?login=
Disallow: /print.php
Disallow: /yml.php
Disallow: /mgxml.php
Allow: /index.php?action=gal
# you may allow or disallow sear results
Allow: /index.php?query=
# Disallow: /index.php?query=
Такой robots.txt позволит индексировать только страницы с товарами, товарными каталогами и статьи из CMS, а все остальное - запретит.
Если надо снять немного нагрузки с сайта можно запретить индексирование поисковых результатов
тогда в последних 2-х строчках вместо
Allow: /index.php?query=
# Disallow: /index.php?query=
написать
# Allow: /index.php?query=
Disallow: /index.php?query=
Теперь такой robots.txt идет в комплекте со скриптом и не важно какие у вас счетчики стоят.