Roboter.txt Generator.

By default all robots are

Crawl delay

 

Sitemap URL. Leave blank for none.

Robots are allowed to crawl your site:

 

Restricted directories or files. Relative to root, with trailing slash for dirs.

Your Robots.txt

Die Datei robots.txt auf einer Website hilft dem Webmaster, den angegebenen Dateien oder Verzeichnissen zu ignorieren, wenn der SECRCH Engine Spider eine Site krabbeln.

Roboter.txt-Generator hilft Ihnen, Robost.txt-Datei einfacher zu erhalten Der Code wie folgt:

.


User-Agent: *


Nicht zulassen: /


Benutzer-Agent: IA_Archiver


Nicht zulassen:


User-Agent: Slurp


Nicht zulassen:


Benutzer-Agent: APORT


Nicht zulassen:


Benutzer-Agent: Teoma


Nicht zulassen:


Benutzer-Agent: Baiduspider


Nicht zulassen:


Benutzer-Agent: Twiceler


Nicht zulassen:


Benutzer-Agent: Robozilla


Nicht zulassen:


Benutzer-Agent: Gigabot


Nicht zulassen:


Benutzer-Agent: GoogleBot


Nicht zulassen:


Benutzer-Agent: GoogleBot-Image


Nicht zulassen:


Benutzer-Agent: GoogleBot-Mobile


Nicht zulassen:


Benutzer-Agent: mail.ru


Nicht zulassen:


Benutzer-Agent: MSNBOT


Nicht zulassen:


Benutzer-Agent: PSBot


Nicht zulassen:


Benutzer-Agent: NAVERBOT


Nicht zulassen:


Benutzer-Agent: Yeti


Nicht zulassen:


Benutzer-Agent: Nutch


Nicht zulassen:


Benutzer-Agent: StackRambler


Nicht zulassen:


Benutzer-Agent: Scrubby


Nicht zulassen:


Benutzer-Agent: Asterias


Nicht zulassen:


Benutzer-Agent: Yahoo-Slurp


Nicht zulassen:


Benutzer-Agent: Yandex


Nicht zulassen:
Roboter.txt Generator.
Empfehlung Taschenrechner Luftgeschwindigkeitslöser erfassen Gallonen pro Stunde Kraftstoffrechner Fließwandlerrechner Luftkanalflussrechner Wärmerückgewinnungsrechner Volumeneinheit-Konverter Drehmoment zum PS-Konverter Windleistungsrechner Hydraulikdurchmesser Solver. Rauschkriteriumrechner Geschwindigkeitsumrichter Luftkanal-Velocity-Rechner Luftstromkopfverlustrechner Kapazität des Erdgasrohrs Rechner Elektromotorenrechner