User-agent: *
Disallow: /search
Disallow: /?keywords=*

User-agent: *
Crawl-delay: 4 # задает таймаут в 4 секунды