# robots.txt (by AF) # Diese Datei (evtl. mit auskommentierten 6+7) für alle Websites verwenden # Mit den folgenden Befehlen wird die komplette Webpräsenz vor einer Indexierung durch Webcrawler gesperrt. # danach wird nicht mehr weitergelesen! Verwendung: Zeile 6+7 auskommentieren, wenn Website fertig ist User-agent: * Disallow: / # Disallow: /*.pdf$ nur Googlebot: Alle PDF-Dateien werden ignoriert Disallow: /*.pdf$