Die robots.txt überwachen

Die wichtigste technische Datei im SEO-Bereich ist die robots.txt im Root-Verzeichnis. Dort schauen Suchmaschinen als erstes rein, um zu wissen, was sie dürfen und was nicht. Das ist ziemlich praktisch, da man zum Beispiel Admin-Bereiche oder Suchergebnisse nicht immer im Google-Index sehen will.

Da man aber mit dem falschen Befüllen dieser Datei sehr viel Probleme bekommen kann, ist es wichtig, diese kontinuierlich zu überwachen. Aber wie geht man hier am besten vor? In den folgenden Abschnitten wollen wir zwei Ansätze diskutieren.

Black-Listing-Ansatz

Den meisten Schaden kann man mit dem disallow-Parameter anrichten. Dieser kann allen oder spezifischen Suchmaschinen verbieten bestimmte Dateien zu indizieren.

Black-Listing, also das Verbieten bestimmter Befehle, ist in diesem Fall ein sehr guter Ansatz. Wir können also einfach einen Alarm anmachen, wenn wir eine kritische disallow-Anweisung finden. Prinzipiell ist dies eine sehr effektive Methode. Aber, wie immer gibt es auch hier ein "aber".

Solche Anweisungen können relativ komplex werden, da man zum Beispiel auch mit Platzhaltern arbeiten kann. Den passenden Black-Listing-Ausdruck zu finden, der nicht vorkommen darf, ist also relativ schwer. Was aber sicherlich sinnvoll ist, ist ein disallow: * zu alarmieren. Hiermit hat man schon den Worst-Case-Fall abgedeckt.

Delta-Ansatz

Soviel man mit der robots.txt auch erreichen kann, so wenig verändert sich deren Inhalt. Normalerweise wird diese anfänglich einmal sauber angepasst und danach eher vernachlässigt. Wenn dort im Quartal einmal eine Änderung vorgenommen wird, dann ist das oft schon viel.

Deswegen ist der Delta-Ansatz wahrscheinlich der beste. Wir lassen uns informieren, sobald zwischen der letzten validierten Version und der aktuellen ein Delta, also ein Unterschied, zu finden ist. Der Alarm muss nicht kritisch sein, aber man sollte als technischer SEO zumindest einmal ein Auge darauf werfen. Ist in der neuen Version alles OK, wird diese zur letzten Validierten erklärt und wir beginnen von neuem.

Will man für seinen eigenen Online-Shop eine Überwachung der robots.txt implementieren, so sollte man eine Kombination aus beiden Ansätzen wählen. Kritische Verstöße über die Black-List filtern, Änderungen über das Delta berichten lassen. Oder man nutzt koality.io, da hier diese Ansätze bereits implementiert sind.