Nr. 1 bei Google

3. Web-Seiten für den Besuch von Webspidern sperren

Mit dem Meta-Tag <META name="robots" content="xxxxx"> geben Sie Suchrobotern, die Ihre Website regelmäßig besuchen, gezielte Anweisungen. Ersetzen Sie "xxxxx" mit dem entsprechenden Befehl. Haben Sie etwa auch ein privates Fotoalbum auf Ihrer Website und möchten Sie es nicht in Suchmaschinen veröffentlichen, dann bietet sich "noindex" an. Für den Fall, dass der Roboter ab einer bestimmten Web-Seite seine Tätigkeit einstellen und keine weiterführenden Links untersuchen soll, tragen Sie "nofollow" anstelle von "xxxxx" ein. Um bestimmte Seiten oder Bereiche einer Site von der Indexierung auszuschließen, können Sie alternativ auch die Datei Robots.TXT verwenden. Dabei handelt es sich um eine Textdatei, in die Sie einige wenige Zeilen eintragen müssen.

Kommentaren stellen Sie das Raute-Zeichen (#) voran. Damit die Befehle der Datei Robots.TXT für alle Webspider gelten, muss in der ersten Zeile "User-agent: *" stehen. Mit "Disallow: /privat/" sperren Sie ein Verzeichnis von der Indizierung aus, wobei in diesem Beispiel "privat" für das Verzeichnis steht. Liegen alle HTMLDokumente in einem Ordner, so müssen Sie Dokumente mit "Allow:" beziehungsweise "Disallow:", gefolgt vom Dateinamen, etwa "Beispiel.HTM", individuell sperren oder freigeben. Haben Sie die Bearbeitung abgeschlossen, übertragen Sie die Datei ins Hauptverzeichnis Ihrer Website beim Provider.