Um Suchmaschinen den Zugang zu bestimmten Verzeichnissen zu verwehren muss man im Hauptordner eine Datei namens robots.txt erstellen.
Ihr Inhalt könnte so aussehen:
User-agent: hotbot
Disallow: /
User-agent: Lycos
Disallow: /private/
User-agent: *
Disallow: /private/
Disallow: /pictures/
Disallow: /icons/
Disallow: /
User-agent: Lycos
Disallow: /private/
User-agent: *
Disallow: /private/
Disallow: /pictures/
Disallow: /icons/
Erklärung: Der Suchmaschine HOTBOT wird sämtlicher zugriff verwährt.
Den Speiders von Lycos wird nur der zugriff auf den Ordner Private nicht gestattet. Denn restlichen Suchmaschinen wird nicht erlaubt auf die Ordner: Private, Pictures und Icons zuzugreifen.
