Robots und Googlebot – richtig ansprechen

Unermüdlich durchstreifen hunderte von datenhungrigen Crawlern das Netz, viele davon sind vollkommen unnütz und produzieren unnötigen Traffic. Per robots.txt und/oder .htaccess lässt sich dies verhindern.

In dieser kleinen Anleitung wird verdeutlicht, wie und wo Sitemaps gefunden werden können.

Google bietet in den Webmaster Tools jetzt ein eigenes Programm zum Erstellen von Robots.txt Files an.

In many cases Yahoo is using it's page description from the Yahoo! directory to display a SERP snippet. So its kind of a consistent further development to support a tag (value) which prevents Yahoo! from doing so...

Der Seekbot liefert eine kostenlose Analyse der Webseite unter der Sichtweise eines SEO´s.

Die neue Version von Spider Trap steht in den Startlöchern. Bevor die Version aber zum Download bereitstellt sollte das Tool noch von ein paar Usern getestet werden. Unterstützen könnt ihr den Entwickler einfach per Email info [at] spider-trap.de