Dieser Artikel enthält einen Generator um ungewollte Bots / Scraper direkt via .htaccess von der eigenen Seite fern zu halten. Ich habe hier bereits eine Auswahl an ungewollten Bot's eingebaut, diese sollte man aber je nach bedarf anpassen. Funktion des ganzen ist simpel, einfach die .htaccess Ausgabe generieren lassen und im eigenen webroot in die Datei .htaccess packen. Funktioniert natürlich nur bei Apache Systemen die es erlauben .htaccess Dateien zu parsen. Also einfach mal ausprobieren. Spart mir monatlich viel an Traffic durhc unnütze Bot's und Spiders die sich eh nicht an die Robots.txt halten. Identifiziert wird anhand des HTTP_USER_AGENT

Einen Blogeintrag dazu gibt hier.

 

Viel Spaß´damit:

{jumi [/sol_include/botblock.php]}

Amazon Logo Diesen Blog unterstützen?
Bestell dir doch etwas bei Amazon. Nutze diesen speziellen Link, es kostet dich nichts extra und für jeden Kauf darüber erhalte ich eine kleine Gutschrift. Danke!
✉ Marco Götze//

Kommentare

Formate: | Größe: Mb
Anmelden mitoder Benutzernamen eingeben

keine Kommentare