Webcrawler können für erheblichen zusätzlichen Traffic auf Deiner Website sorgen und Inhalte in Suchmaschinen bringen, die eigentlich nicht für die Öffentlichkeit gedacht sind. Dies können z.B. Nutzerprofile sein, die ...

Wie schwer fällt es den Suchmaschinen Ihre Seiteninhalte erfassen? Es gibt ein paar recht einfache Maßnahmen, mit denen sich die Crawlability einer Website steigern lässt beziehungsweise von Anfang an gut ist.

Cloaking war eigentlich eine gute Idee, um den Suchmaschinen Seiten mit schwer- oder nichtindexierbaren Inhalten in Textform zu übersetzen. Durch zu großen Mißbrauch wurde es aber verboten.

Die grundsätzlichste aller Fragen von Laien an Seos wird im neuen Seosweet Blog beantwortet. Ein Beitrag, der leicht verständlich und übersichtlich die Geschichte, das Prinzip und die Technik der modernen Suchmaschinen um Google skizziert.

Unermüdlich durchstreifen hunderte von datenhungrigen Crawlern das Netz, viele davon sind vollkommen unnütz und produzieren unnötigen Traffic. Per robots.txt und/oder .htaccess lässt sich dies verhindern.

Bisher konnten Website-Betreiber zwischen drei voreingestellten Crawling-Geschwindigkeiten für den Googlebot wählen. Nun räumt Google den Webmastern noch mehr Einfluss ein, der Abstand zwischen zwei Seitenaufrufen durch den Googlebot lässt sich ab sofort auf die Sekunde genau einstellen.

Dofollow oder Nofollow - Anwendungsmöglichkeiten und Diskussionsansatz über die Verwendung von Nofollow in Seitenstrukturen, Kommentaren und Beiträgen - was ist sinvoll, was ist ungünstig.

ahoo! macht nun das Web mit einer neue Crawl-Technologie unsicher. Die alten Yahoo-Crawler wurden oft kritisiert, da sie viel zu oft eine Seite durchsuchten und damit deutlich mehr Traffic verursachten als z.B. die Google-Bots. [...]

Ein Beitrag im Webmaster Central Blog von Google bestätigt ein Gerücht, dass so schon seit einiger Zeit zu hören ist: der Googlebot füllt unter bestimmten Umständen selbständig HTML-Formulare aus und crawlt die zurückgegebene Seite.

Es schlagen bei mir in einem Forum immer mehr Aufrufe eines Google-Crawlers auf, der zufällige IDs ansteuert (sowohl Threads, als auch Unterforen). Es scheint sich wohl um einen neuen Crawler zu handeln, der sich speziell Foren vornimmt.