Wie schwer fällt es den Suchmaschinen Ihre Seiteninhalte erfassen? Es gibt ein paar recht einfache Maßnahmen, mit denen sich die Crawlability einer Website steigern lässt beziehungsweise von Anfang an gut ist.

Cloaking war eigentlich eine gute Idee, um den Suchmaschinen Seiten mit schwer- oder nichtindexierbaren Inhalten in Textform zu übersetzen. Durch zu großen Mißbrauch wurde es aber verboten.

Die grundsätzlichste aller Fragen von Laien an Seos wird im neuen Seosweet Blog beantwortet. Ein Beitrag, der leicht verständlich und übersichtlich die Geschichte, das Prinzip und die Technik der modernen Suchmaschinen um Google skizziert.

Unermüdlich durchstreifen hunderte von datenhungrigen Crawlern das Netz, viele davon sind vollkommen unnütz und produzieren unnötigen Traffic. Per robots.txt und/oder .htaccess lässt sich dies verhindern.

Bisher konnten Website-Betreiber zwischen drei voreingestellten Crawling-Geschwindigkeiten für den Googlebot wählen. Nun räumt Google den Webmastern noch mehr Einfluss ein, der Abstand zwischen zwei Seitenaufrufen durch den Googlebot lässt sich ab sofort auf die Sekunde genau einstellen.

Dofollow oder Nofollow - Anwendungsmöglichkeiten und Diskussionsansatz über die Verwendung von Nofollow in Seitenstrukturen, Kommentaren und Beiträgen - was ist sinvoll, was ist ungünstig.

ahoo! macht nun das Web mit einer neue Crawl-Technologie unsicher. Die alten Yahoo-Crawler wurden oft kritisiert, da sie viel zu oft eine Seite durchsuchten und damit deutlich mehr Traffic verursachten als z.B. die Google-Bots. [...]

Ein Beitrag im Webmaster Central Blog von Google bestätigt ein Gerücht, dass so schon seit einiger Zeit zu hören ist: der Googlebot füllt unter bestimmten Umständen selbständig HTML-Formulare aus und crawlt die zurückgegebene Seite.

Es schlagen bei mir in einem Forum immer mehr Aufrufe eines Google-Crawlers auf, der zufällige IDs ansteuert (sowohl Threads, als auch Unterforen). Es scheint sich wohl um einen neuen Crawler zu handeln, der sich speziell Foren vornimmt.

Auflistung von insgesamt 13 Möglichkeiten wie man schneller Seiten in den Google Index bekommen kann.

Vorbei sind die Wartezeiten von Wochen oder Monaten. Mit einem Link von Yahoo Answers kommen neue Seiten innerhalb kürzester zeit in den Yahoo Index.

Der Adsense Bot bittet nun um Logindaten zu geschützten Bereichen euere Webseite auf denen sich Adsense Anzeigen befinden. Website-Authentifizierung machts möglich geschütze Bereiche durch den Bot untersuchen zu lassen

Heute stelle ich in meinem Blog alle wichtigen Suchmaschinen Bots vor. Diese Liste erhebt nicht den Anspruch auf Vollständigkeit. Ich würde gerne diese Liste vervollständigen, also wer noch andere User Agenten von Suchmaschinen identifiziert hat, kann sie gerne als Kommentar posten.