Die Suchmaschine noch leichter auf die richtige Fährte führen und dabei die Rankings der eigenen Seite zu erhöhen ist das Ziel der sogenannten „Crawl Budget Optimierung“. Webmaster sehen sich hier vor einer großen Herausforderung, da Suchmaschinen wie Google ständig ihre Algorithmen ändern und somit die Suchergebnisse und das Ranking von den unterschiedlichsten Faktoren abhängen.
Was der Crawler auf der Seite macht und was das für Webmaster bedeutet
Bevor das Crawl-Budget überhaupt optimiert werden kann, gilt es, auf einer Website entsprechende Strukturen zu schaffen, die dem Googlebot das Crawlen grundsätzlich erleichtern.
Hier gilt im Grunde genommen ein ähnliches Prinzip, wie für menschliche Besucher der Internetseite: Auch sie finden gefallen an einer übersichtlichen, strukturieren, leicht zugänglichen Seite. Dem Crawler geht es dabei nicht anders. Er muss innerhalb kürzester Zeit eine Unmenge an Domains untersuchen und dabei die Themenrelevanz eingrenzen, um die Webseite letztendlich in den Suchergebnissen von Google zu platzieren.
Gleichzeitig hat jede Webseite je nach Autorität ein begrenztes Crawl-Budget, durch das die Anzahl der Unterseiten, die pro Webseite gecrawlt werden, begrenzt ist. Die Website muss also „barrierefrei“ und somit leicht zugänglich für den Crawler sein, damit der Bot möglichst alle Seiten der Domain besuchen kann.
Es ist also unerlässlich, das Crawl-Budget optimal zu nutzen – das gilt insbesondere für große Webseiten mit vielen Unterseiten, die im schlimmsten Fall nicht gecrawlt werden, wenn das Budget verbraucht ist.
Crawl-Budget-Optimierung: Kontingent optimal nutzen
Jeder Webmaster will natürlich, dass alle Webseiten gecrawlt werden, damit diese in den Suchergebnissen gelistet werden. Auch, wenn das heute dank Caffein-Update sehr viel schneller geht, bleibt das Problem bestehen – das ist der Punkt, an dem die Crawl Optimierung ins Spiel kommt. Mit entsprechenden Maßnahmen wird das Crawl-Budget so effizient wie möglich genutzt. Wichtig sind dabei folgende Punkte:
Interne Links optimieren
Eine Möglichkeit, um dem Crawler die Suche zu erleichtern, stellen interne Links dar. Darunter versteht man Verlinkungen, die dem Bot die wichtigsten Seiten und Elemente auf dem Silbertablett serviert. Hierbei sollte es sich natürlich vorrangig um Seiten handeln, die den Charakter und die wichtigsten Inhalte der Domain verdeutlichen.
robots.txt richtig nutzen
Mit der robots.txt ist es möglich, den Crawler ein wenig zu steuern. Entsprechende Eintragungen (Disallow, NoIndex) in der robots.txt Datei lenken den Bot von den Bereichen der Webseite ab, die für das Ranking nicht von Bedeutung sind – so bleibt mehr Zeit für die wirklich wichtigen Seiten.
Nicht die Google Sitemap vergessen
Eigentlich ein SEO-Basic und doch immer wieder vernachlässigt: Die Sitemap zeigt die komplette Struktur der Webseite auf. Für menschliche Besucher unwichtig – für den Google Crawler jedoch wie eine Art Landkarte, die ihm die Navigation erleichtern.
Auf unnötige Crawl-Pfade verzichten
Im Fokus steht bei der Crawl-Optimierung das begrenzte Budget des Crawlers, was zusätzlich durch das Vermeiden von unnötigen Crawl-Pfaden entlastet wird. Hierbei handelt es sich zum Beispiel um einen integrierten Kalender, der den Crawler mehr oder weniger mit den unzähligen Daten und verknüpften Links unnötig aufhält.
Und zuletzt der wohl wichtigste Tipp: Es ist wichtig, das, was der Crawler tut, zu tracken – in welcher Form auch immer. Nur wer weiß, was der Bot auf der eigenen Webseite tut, kann das Crawl-Budget optimal nutzen. Wissen ist nun mal Macht. Das gilt in diesem Fall ganz besonders.
Relevante Glossareinträge
Crawl-Budget
Google Panda Update
Meta-Element
Relevante Blogbeiträge
Duplicate Content
Interne Verlinkung
Weiterführende Weblinks & Quellen
http://www.blindfiveyearold.com/crawl-optimization
http://www.thesempost.com/how-to-unblock-all-css-javascript-for-googlebot-using-robots-txt/
https://www.deepcrawl.com/knowledge/best-practice/robots-txt-noindex-the-best-kept-secret-in-seo/
