User-agent: StackRambler
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Disallow: /board/

User-Agent: *
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Disallow: /_admin/
Disallow: /_htm/
Disallow: /_php/
Disallow: /_str/
Disallow: /_str_menu/
Disallow: /_str_meta/
Disallow: /_str_mini/
Disallow: /_str_news/
Disallow: /_links/
Disallow: /_links_1/
Disallow: /_other/
Disallow: /graf/
Disallow: /mail/
Disallow: /styles/
Disallow: /test/
Disallow: /htm/
Disallow: /kransk/
Disallow: /kranskst/
Disallow: /taliskst/
Disallow: /talisk/
Disallow: /kranskst11/
Disallow: /kranskst12/
Disallow: /kranskst13/
Disallow: /kranskst14/
Disallow: /kranskst15/
Disallow: /kranskst16/
Disallow: /kranskst17/
Disallow: /kranskst18/
Disallow: /kranskst19/
Disallow: /board1/