Как снять нагрузку с сайта от ботов

MSN bot и BING бот замечены в чрезмерной нагрузке на сайты.
Им можно запретить посещать сайт для этого в robots.txt пропишите строки:

User-agent: bingbot
Disallow: /

User-agent: msnbot
Disallow: /