Artikel-Archiv c't 12/2017, Seite 170

  • Thumbnail, c't 12/2017, Seite 170

    Hier nicht weitergehen!

    Suchmaschinen-Crawler und andere Web-Robots steuern

    Robots.txt: Die steinalte Technik sagt Suchmaschinen-Robots und anderen automatischen Besuchern auch heute noch, welche Seiten sie auf Websites besuchen dürfen und welche nicht. Verbindlich sind ihre Angaben aber nicht, unwillkommene Besucher muss man anders ausschließen.

    Umfang: ca. 2 redaktionelle Seiten
    BibTeX anzeigen

    Leseprobe ansehen

    Erwerben Sie das Heft
    c't 12/2017,
    um Zugriff auf diesen Artikel zu erhalten.