ct.de/yhzb
-
Die Ankündigung von Archive.org
-
Die Meinung vom Archive Team zu Robots.txt
-
Bot Traffic Report
-
Homepage des Robots Exclusion Standards
-
Googles Test-Tools
-
Auflistung von Googles Crawlern
-
Google Erläuterungen zu Robots.txt
-
Noch mehr Hilfestellungen von Google
-
Häufige Bots
Diese Liste ist ein Zusatzangebot zu einem c't-Artikel. Sie wird nach dem Erscheinungstermin der jeweiligen Zeitschriftenausgabe nicht mehr aktualisiert. Bei älteren Artikeln kann es daher vorkommen, dass einzelne Links nicht mehr funktionieren. Wir bitten, dies zu entschuldigen.