# robots.txt zu http://www.defconunlimited.de/

# verbiete allen mir unbekannten bots den zugriff

User-agent: *
Disallow: /

# erlaube allen mir bekannten bots den zugriff auf die gesamte seite, 
# nicht jedoch auf die system- und bilderverzeichnisse

User-agent: googlebot
Disallow: 
Disallow: /videos/
Disallow: /images/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-images/
Disallow: /wp-includes/

User-agent: msnbot
Disallow: 
Disallow: /videos/
Disallow: /images/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-images/
Disallow: /wp-includes/

User-agent: Yahoo! Slurp
Disallow: 
Disallow: /videos/
Disallow: /images/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-images/
Disallow: /wp-includes/

User-agent: Yahoo Pipes 1.0
Disallow: 
Disallow: /videos/
Disallow: /images/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-images/
Disallow: /wp-includes/

User-agent: technoratibot
Disallow: 
Disallow: /videos/
Disallow: /images/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-images/
Disallow: /wp-includes/