Dieser Artikel enthält einen Generator um ungewollte Bots / Scraper direkt via .htaccess von der eigenen Seite fern zu halten. Ich habe hier bereits eine Auswahl an ungewollten Bot's eingebaut, diese sollte man aber je nach bedarf anpassen. Funktion des ganzen ist simpel, einfach die .htaccess Ausgabe generieren lassen und im eigenen webroot in die Datei .htaccess packen. Funktioniert natürlich nur bei Apache Systemen die es erlauben .htaccess Dateien zu parsen. Also einfach mal ausprobieren. Spart mir monatlich viel an Traffic durhc unnütze Bot's und Spiders die sich eh nicht an die Robots.txt halten. Identifiziert wird anhand des HTTP_USER_AGENT

Einen Blogeintrag dazu gibt hier.

 

Viel Spaß´damit:

{jumi [/sol_include/botblock.php]}

bitcoin Icon This page does not contain ads! If you find it usefull, feel free to send me some Support via Bitcoin.
1944UDg5P3zWpsejg1wGyHXAicxYK27HF2
✉ Marco Götze//