Tote Links überall im Shop und auf der Webseite finden

Das Herz von HTML sind Links. Sie verbinden unterschiedliche Seiten miteinander. Interne und Externe. Das beweist,dass diese Funktionen sehr wichtig ist und zwar aus mindestens zwei Gründen:

• Nutzer sind schnell genervt: Wenn man auf einen Link klickt, dann will man auch wissen, was dahinter steckt. Wenn man dann die Antwort "Seite nicht gefunden" erhält, wird man sich zweimal überlegen, ob man den Machern der Seite vertraut.

• SEO: Google und Co. ist es wichtig Zusammenhänge zu erkennen, um die Wichtigkeit von Seiten besser bewerten zu können. Im Web heißen die Zusammenhänge Links. Wenn man also will, dass Unterseiten auch gefunden werden, müssen sie sauber verlinkt werden.

koality.io Crawler

koality.io bietet die Möglichkeit kontinuierlich die wichtigsten Seiten auf tote Links (Dead Links) zu kontrollieren. Auf diese Art findet man so gut wie alle technischen Fehler, was schon mal den Worst-Case verhindert. Redaktionelle Fehler werden auf diese Art eher nicht gefunden.

Das ist auch der Grund warum koality.io sehr umfängliche Crawls zur Verfügung stellt. Damit können bis zum 500 Unterseiten nach Problemen durchsucht werden. Diese Crawls haben wir jetzt mit einem "toten Link"-Crawler ergänzt. Dieser sucht, sobald man ihr gestartet hat, automatisch nach Links, die ins Leere führen.

Serverantworten - Status Codes

Wir finden tote Links. Aber was ist eigentlich ein toter Link? In unserem Kontext ist jeder Link, der auf eine Seite zeigt, die vom Nutzer nicht verwendet werden kann. Technisch gesprochen, schauen wir uns den HTTP-Status-Code dazu an.

• Seite nicht gefunden (404 - Not found): Das ist der Klassiker und wird wahrscheinlich am häufigsten auftreten. Hierbei handelt es sich um Seiten, die gar nicht existieren oder gelöscht wurden. Passiert oft nach einem Umzug einer Seite oder bei externen Links.

• Serverfehler (500 - Internal Server Error): Das sind aus technischer Sicht die spannendsten Fehler. Aus irgendeinem Grund ist die Applikation beim Aufruf komplett abgestürzt. Das sind dann Fehler, die man sofort einem Techniker bzw. der Agentur melden sollte.

• Der Service steht gerade nicht zur Verfügung (503 - Service Unavailable): Dieser Fehler passiert häufig, wenn der Webserver unter zu hoher Last steht. Also zu viele Personen gleichzeitig auf der Seite sind und die Computer nicht mehr in der Lage sind, alle Anfangen zu beantworten.

• Zu viele gleichzeitige Anfragen (429 - Too many Requests): Einige Server haben eingebaute Schutzmechanismen, wie zum Beispiel eine WAF (Web Application Firewall). Diese bemerken, dass zum Beispiel ein Angriff von Außen geschieht und schließen die Verbindung vorsichtshalber. Da sich so ein Crawl für eine solche Firewall manchmal ähnlich anfühlt (viele Anfragen vom gleichen Nutzer), kann dieser Mechanismus hier auch ab und zu anschlagen.

• Keine Antwort (0 - No Answer): Manchmal existieren die Seiten, die man verlinkt, einfach gar nicht mehr. In diesem Fall gibt es keinen Server, der antwortet. Wir haben daraus den Status Code 0 gemacht.

Technische Details

Technisch gesehen macht der koality.io Crawler cUrl-Requests gegen alle URLs, die er auf einer Seite findet. Dies geschieht parallel, aber nur mit maximal 3 gleichzeitigen Anfragen. Wir simulieren also drei User, die sich schnell durch die Seite klicken.

Die Seiten, die wir einer Analyse unterziehen, rendern wir mit einem Chrome Browser. So können wir sicherstellen, dass auch Seiten, die stark auf JavaScript beruhen, sauber ihre Links preisgeben.

Profi-Tipp: Log Files

Während der Crawler läuft, kann es sehr sinnvoll sein, die Logfiles offen zu haben und zu schauen, was passiert. Manchmal ist es nämlich in modernen Applikationen so, dass Fehler unterdrückt werden, um den Nutzer nicht zu irritieren bzw. Systeme stabiler zu machen. In den Logfiles sieht man dann die ganze Wahrheit.

Vorsicht!

Crawls, wie dieser, erzeugen Last auf dem Server. Das ist ganz normal und liegt in der Natur der Durchsuchung einer Webseite. koality.io versucht dies so schonend wie möglich durchzuführen. Trotzdem empfehlen wir große Crawls nur zu den Hauptnutzungszeiten durchzuführen. Zu Zeiten, an denen man sich sicher sein kann, dass die Server-Infrastruktur dieser Last standhält. Den ersten Crawl sollte man deswegen immer zu unwichtigen Zeiten machen und schauen wie sich das System verhält.