###########################################
# Rules for most crawlers
###########################################
User-agent: *
Disallow: /home/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /ibank/
Disallow: /fetch/
Disallow: /generate/
Disallow: /Nexus.Webservice/
Disallow: /Nexus.Common/

###########################################
# Rules for lame crawlers 
# Note: This doesn't inherit the above rules
# So you need to list all the things you want not crawled we just block everything
###########################################
User-agent: AhrefsBot
User-agent: MJ12bot
Disallow: /

###########################################
# XML Sitemap 
###########################################
Sitemap: http://app.imagesinspace.co.nz/google-sitemap.ashx

###########################################
# Notes: 
###########################################
# Save this file as ANSI or UTF8 without BOM (Byte order marker) as some crawlers don't ignore the BOM (including google who say they do but don't)
# http://www.robotstxt.org/
# https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
# http://www.rexswain.com/httpview.html
###########################################