Website optimieren mit kostenlosen Google-Tools

Google-Webmaster-Tools

Wenn es um Statistiken, Diagnose und Verwaltung des Crawling und um die Indizierung einer Website geht, bieten sich die kostenlosen Google Webmaster-Tools an. Um dieses Werkzeug benutzen zu können, muss zuvor ein Konto angelegt und die zu überprüfende Internetseite registriert werden. Eine detaillierte Anleitung hierzu findet sich unter Hinzufügen einer Webseite. Einmal eingerichtet, stehen Webmastern vielfältige Optionen zur Verfügung. Hier die wichtigsten Funktionen der Google-Webmaster-Tools:

Google-Webmaster-Tools: Website-Konfiguration – Crawler-Zugriff

"robots.txt" bestimmt, in welche Bereiche die Robots, auch Crawler, Bots oder Spiders genannt, nach Inhalten suchen dürfen. Mit dem Webmaster-Tool lässt sich relativ einfach eine "robots.txt"-Datei erstellen. Unter dem Menüpunkt Website-Konfiguration / Crawler-Zugriff steht dafür die Registerkarte robots.txt generieren zur Verfügung. Google empfiehlt, allen Robots den Zugriff zu erlauben und nur bestimmte Verzeichnisse auszuschließen. Das sollten dann Verzeichnisse sein, die nicht in verschiedenen Indizes auftauchen sollen.

So kann durch das Aussperren des Googlebots verhindert werden, dass die entsprechend blockierten Seiten bei den Google-Suchergebnissen zu finden sind. Damit kann zum Beispiel Duplicate Content verhindert werden. Eine genaue Anleitung, wie die robots.txt-Datei erstellt werden kann, bietet Google unter Erstellen einer Datei "robots.txt" Außerdem ist es möglich, den gesamten Inhalt einer angemeldeten Website aus dem Google-Index zu entfernen.