########################################################## # First set the rules for all # # directories, for all User-agents # ########################################################## User-agent: * Disallow: /images/ Disallow: /css/ Disallow: /js/ Disallow: /cgi-bin/ Disallow: /pdfs/ Disallow: /protected/ Disallow: /bin/ Disallow: /nitf/ ########################################################## # Second disallow certain User-agents # ########################################################## User-agent: Magus Bot* Disallow: / User-agent: adero Disallow: / User-agent: Adero Disallow: / User-agent: keynote Disallow: / User-agent: servicemetrics Disallow: /