Crawler, Spider, Bots, Slurps – Die Arbeiter der Suchmaschinen

Sicherlich hast du schon von einem Crawler, Spider, Slurp oder Bot gehört. Das sind alles Arbeiter der Suchmaschinen. Klar, Bot ist nicht unbedingt ein gut gewählter Name, da es viele verschiedene Bots gibt. Es gibt bei Computerspielen Bots, es gibt Bots die routine Arbeiten im Internet übernehmen, es gibt viele verschiedene Bots. Dennoch ist ein Bot in jeder Hinsicht gleich. Er verrichtet bestimmte Arbeiten vollkommen automatisch mit einer gewissen Intelligenz.

Die Suchmaschinen Bots durchsuchen das Internet, filtern und bewerten Seiten, Inhalte und Links. So passiert es, dass deine Seite in den Rankings auftaucht oder auch wieder verschwindet, bestraft oder belohnt wird.

Wann besuchen die Crawler, Spider, Slurps oder Bots meine Seite?

Nun, das ist immer verschieden und kann eigentlich nicth vorhergesagt werden. Eins ist aber sicher, je öfter du deine Seite aktualisierst, desto öfter schaut der Bot bei deiner Seite vorbei um nach neuen Inhalten zu suchen. Veröffentlichst du täglich neue Inhalte, so kommt er immer öfter vorbei und nimmt die neuen Inhalte in den Index auf.

Was bewertet der Bot auf meiner Seite?

Der Bot bewertetet als erstes die Ladezeit deiner Seite. Je schneller die Seite geladen wird, desto besser ist es. Danach kommt der Code dran. Nur wenn der Code sauber und lesbar für den Bot ist, kann dieser bewertet werden. Bilder und Flash kann der Bot nicht oder nur sehr schlecht lesen, deswegen gibt es beim Bild das “ALT”-Tag.

So verfolgt der Bot weiterführende Links, die er auf deiner Seite findet. Sind Links mit “nofollow” gekennzeichnet, werden diese nicht gefolgt. So kann man den Linkjuice auch in eine bestimmte Richtung lenken. Das bedeutet also, dass der Crawler deine Webseite komplett durchsucht. Dabei sieht er lediglich den Code und kann deine Seite auch mittlerweile interpretieren.

Die Suchmaschine liebt es, wenn der Crawler möglichst schnell durch die Websetie kommt, denn, jede Verzögerung kostet Ressourcen und somit auch Geld. Aus diesem Grund solltest du auf eine gute PageSpeed achten.

Aber nicht nur das, sondern auch die korrekte Einhaltung der Google Webmaster-Richtlinien. Zudem ist es auch wichtig, dass deine Webseite frei von Fehlern sind, damit der Crawler entsprechend gut die Seite crawlen kann.

Wie kann ich den Google Bot beeinflussen?

Indem du schaust, dass deine Seite immer gut erreichbar ist, guter Content vorgefunden wird, sauberer Code vorliegt und möglichst keine Flashnavigation sowie Bildernavigation verwendest. Bilder sollten unbedingt mit dem “ALT”-Tag ausgestattet werden. Schreibe deinen Inhalt für den Menschen und nicht für die Suchmaschine. Denn, 100 Kunden, die etwas kaufen sind besser als 100.000 Kunden die nichts kaufen.

Am besten beeinflusst du den Google Bot so, indem du deine Seite frei von Fehler machst und hältst. Das ist wichtig, damit die Ressourcen des Bots entsprechend gut verwendet werden.

Wie sieht der Google Bot meine Seite?

Am besten du meldest dich bei den Google Webmaster-Tools an und lässt deine Seite dort analysieren. Dort kannst du unter dem Punkt “Abruf wie durch Googlebot“, den du unter “Diagnose” findest, einen Abruf starten und falls der Abruf erfolgreich war, die Details einsehen.

Die Google Webmaster-Tools, bzw. Google Search Console sind ohnehin ein sehr nützliches Werkzeug, welches benutzt werden kann. Die Tools sind natürlich – wie fast alles bei google – kostenlos.

Der Google Bot sieht deine Seite also komplett aus Sicht des Codes. Das bedeutet, er sieht nichts anderes als Code, den er interpretiert und die Seite dadurch darstellt.

Wie kann ich die Bots von bestimmten Seiten aussperren?

Das ist ganz einfach. Im root deiner Webseite liegt eine robots.txt Datei. Sollte diese nicht vorhanden sein, so kannst du dir eine erstellen. Wenn du die Bots von bestimmten Seiten oder Dateien aussperren möchtest so füge folgendes in die robots.txt hinzu:

User-agent: *

Disallow: /impressum.html

Somit dürfen alle Roboter die Seite impressum.html auf deiner Seite nicht durchsuchen. Wenn du mehr über die robots.txt wissen möchtest, dann schaue bei dem Artikel “Umgang mit robots.txt” vorbei.