| |
Blockieren von "bösartigen" Bots
Beschreibung des Problems
Häufig hat man als Administrator von Webservern mit dem Problem zu kämpfen, dass die zahlreichen Seitenaufrufe der Bots Traffic, Serverauslastung und Plattenzugriffe unnötig in die Höhe treiben.
Grundsätzlich kann man Bots auf einer Seite ausschließen, indem man eine Datei mit dem Namen "robots.txt" ins Hauptverzeichnis der Internetseite setzt. Dies funktioniert prinzipiell gut, jedoch gibt es einige Bots welche diese Datei ignorieren oder gar spezifisch dahin gehen, wo sie nicht dürfen.
Um diesen Bots vorzugreifen gibt es eine sehr simple und effektive Lösung. Ich werde euch dies hier mal mit dem Beispiel des so genanten Twiceler vorführen, aber auch gleichzeitig zeigen, wie das Ganze generell einsetzbar werden kann.
Bei Twiceler handelt es sich laut Eigenangabe um eine experimentelle Suchmaschine, die sich zurzeit noch in der Indexierungs-Phase befindet. Allerdings fallen die Twiceler-Bots etlichen System-Administratoren durch eine äußerst aggressive Aufruf-Frequenz auf, welche die Systemlast schnell ins Unermessliche steigert.
Offizielle Twicler-Webseite:
www.cuill.com/twiceler/robot.html
Page 1 of 9 [ next page ]
|
|
|
