User-agent: *
Disallow: /images/      # images nicht downloaden
Disallow: /css/   # css nicht downloaden
Disallow: /logs/     # Logs nicht downloaden