# ROBOTS.TXT FUER AUDICLUB-ALTENSTEINER-OBERLAND.DE
#

#
# GRUNDEINSTELLUNGEN FUER ALLE BOTS
#

User-agent: *
Crawl-delay: 60		 	
# Crawl-delay Parameter, hier stellt man die Anzahl der Anfragen pro Sekunde zwischen erfolgreichen Requests auf die Domain ein. Manche Bots unterstützen das.
Request-rate: 1/20           
# Die maximale Rate beträgt 1/20 Sekunden  

#
# Sitemap
#
Sitemap: http://www.audiclub-altensteiner-oberland.de/sitemap.xml
Sitemap: http://www.audiclub-altensteiner-oberland.de/news-sitemap.php


#
# EINSTELLUNGEN FÜR AUDICLUB-ALTENSTEINER-OBERLAND.DE
#

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /comments/
Disallow: */trackback
Disallow: */comments
Allow: /wp-content/uploads/


#
# ABGEWIESENE BOTS
#

# Bots die Probleme machen oder bekannt sind das sie zum Content kopieren genutzt werden

User-agent: duggmirror
Disallow: /

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: linko
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Xenu
Disallow: /

User-agent: larbin
Disallow: /

User-agent: libwww
Disallow: /

User-agent: ZyBORG
Disallow: /

User-agent: Download Ninja
Disallow: /

#
# Sorry, wget bleibt auch draussen.
#
User-agent: wget
Disallow: /

#
# Der 'Grub' Client fliegt auch.
#
User-agent: grub-client
Disallow: /

#
# Und zu Guter letzt ...
#
User-agent: k2spider
Disallow: /

#
# Einen hab ich noch!
# http://www.nameprotect.com/botinfo.html
#
User-agent: NPBot
Disallow: /

# Und noch ein Bot der Seiten speichert ohne sinnvollen Nutzen für die Menschheit
# http://www.webreaper.net/
#
User-agent: WebReaper
Disallow: /