User-agent: * Disallow: /impressum # die folgenden verzeichnisse komplett ausschliessen Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/themes/ Disallow: /wp-content/plugins/ Disallow: /trackback/ Disallow: /*?* Disallow: */trackback/ User-agent: Googlebot # google darf dateien mit den folgenden dateiendungen nicht indizieren Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.gz$ Disallow: /*.cgi$ Disallow: /*.wmv$ Disallow: /*.png$ Disallow: /*.gif$ Disallow: /*.jpg$ Disallow: /*.cgi$ Disallow: /*.xhtml$ Disallow: /*.php* Disallow: */trackback* Disallow: */feed/ Disallow: /*?* Disallow: /category/ Disallow: /tag/ Disallow: /wp-* Allow: /wp-content/uploads/ # der google imagebot darf alle bilder indizieren User-agent: Googlebot-Image Allow: /* # adsense darf die dateien lesen User-agent: Mediapartners-Google* Disallow: /*?* Allow: /wp-content/ Allow: /tag/ Allow: /category/ Allow: /*.php$ Allow: /*.js$ Allow: /*.inc$ Allow: /*.css$ Allow: /*.gz$ Allow: /*.cgi$ Allow: /*.wmv$ Allow: /*.cgi$ Allow: /*.xhtml$ Allow: /*.php* Allow: /*.gif$ Allow: /*.jpg$ Allow: /*.png$ # kein archiv der seite -> doppelter content! User-agent: ia_archiver Disallow: / # das gleiche gilt fuers mirroring User-agent: duggmirror Disallow: /