Проблема с квотами памяти

Так же большую нагрузку создают Боты поисковиков, их оказывается более 10, и многие из них бестолковые и очень сильно нагружают если более 1000 стр.
Это видно, если статистика исп. памяти прыгает за день по 4 раза.
Решить можно сл. образом:

1) посмотреть на хостинге файл access_log в конце строки в скобках написана информация о том кто посетило Ваш сайт в определенное время. (пример www.google.com , www.bing.com и т.д.)
2) Т.к. считаю что для России 90% трафика это Яша - а все остальное бестолковые поисковики, решил изм. Crawl-delay (Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей)
прописал в robots.txt
User-agent: Yandex
Crawl-delay: 1
User-agent: *
Allow: ...
Disallow: ...
Crawl-delay: 20

Все нормализовалось.