Mit dem Crawler ganze Projekte durchsuchen

koality.io wurde primär dazu gebaut, kontinuierlich Webseiten zu überwachen und dies für mehrere Projekte gleichzeitig. Dabei haben wir bei der Auswahl, der zu überwachenden Webseiten ein einzigartiges Komponentenmodell entwickelt. Die Idee dahinter, jeder kritische Fehler taucht in allen Seiten eines Typs auf. Als einfaches Beispiel kann man hier einen Online-Shop nehmen. Wenn auf einer Produktseite der Knopf zum Warenkorb fehlt, ist die Chance groß, dass er auf allen fehlt. Im Fachjargon nennt man dies Äquivalenzklassen-Tests.

Das kontinuierliche Monitoring funktioniert also immer dann besonders effizient , wenn es sich um systematische Fehler handelt. Da diese in Projekten die kritischsten sind, ist dies der beste Start in die professionelle Qualitätssicherung. Bei redaktionellen Fehlern kann diese Art der Überwachung aber nicht sonderlich punkten.

Aus diesem Grund bietet koality.io neben den herkömmlichen Checks auch einen Crawler an, mit dem man ganze Projekte durchsuchen kann. Dies beinhaltet bis zu 500 Unterseiten, die automatisch angesurft und auf die gewünschten Kriterien untersucht werden.

Implementierte Crawls

Aber wie genau funktioniert der integrierte Crawler? koality.io stellt eine stetig wachsende Anzahl von Standard-Crawls zur Verfügung. Ziel ist es hier, alles was auf vielen Webseiten wiederkehrend wichtig ist, auch überprüfen zu können. Momentan bietet unser Service folgende Crawls an:

• Große Dateien - Große Bilder oder Videos verlangsamen die Webseite ungemein und machen sie ggf. auch nicht mehr nutzbar für Nutzer, die über das Smartphone auf die Seite kommen bzw. die, die durch ländlicheren Umgebungen langsame Internetverbindungen haben. Der implementierte Crawler rendert bis zu 500 Seiten eines Projektes im Browser und überprüft dabei alle geladenen Dateien auf ihre Größe. Sollte ein auf der Seite eingebundenes Bild, ein Video, eine CSS-Datei oder ähnliches, größer als 1 MB sein, so findet dies der Crawler.
• Tote Links - Tote Links nerven nicht nur potenzielle Kunden, sondern werden häufig auch von Google und Co. abgestraft. Deswegen findet koality.io alles was auf tote Seiten linkt bzw. auf Seiten, mit denen ein Kunde nichts anfangen kann, weil sie zum Beispiel kaputt sind.
• Fehlende Bilder - Wer kann schon sicher sein, dass die Bilder, die er vor langer Zeit verlinkt hat auf allen Seiten immer noch einwandfrei funktionieren? Wir stellen sicher, dass dem so ist.
• Mehrwertsteuercheck - Wir durchsuchen das hinterlegte Projekt auf veraltete Mehrwertsteuersätze. Dieser Check kommt im Besonderen im E-Commerce zum Einsatz. Hier wurden die Mehrwertsteuersätze aufgrund der Corona-Krise angepasst. Im Crawler wurden diverse Muster hinterlegt die auf 19 bzw. 7 % Mehrwert- oder Umsatzsteuer reagieren.

Geplante Crawls

Ziel ist es alle Crawls zu implementieren, die Allgemeingültigkeit haben und damit für alle Kunden einen Mehrwert bieten. Momentan sind geplant:

• Lorem Ipsum: Befindet sich irgendwo im Projekt noch ein Platzhaltertext wie "Lorem ipsum"?
• Google Analytics: Wo wurde das Google Analytics-Zählpixel vergessen zu verbauen?
• IVW/Infonline: Übertragen alle Seiten in einem Projekt die Daten sauber an die IVW?
• Fehlender Link zum Impressum: Verlinkt jede Seite auf das Impressum, so wie das Datenschutzgesetz es wünscht?
• JavaScript-Fehler: Auf welchen Seiten befinden sich JavaScript-Fehler?

Vision

Der Crawler ist bereits sehr ausgereift und bietet einen großen Mehrwert. Nichtsdestotrotz wird er weiterentwickelt und dies nicht nur, was die Anzahl der möglichen Crawls angeht.

• Export als CSV: Crawls können jede Menge an Daten produzieren. Um sie danach noch sauberer abarbeiten zu können, soll es einen CSV-Export geben, mit dem man die Daten somit in Excel oder anderen Tabellenkalkulationen hineinbekommt.
• Wiederkehrend: Es wird möglich sein Crawls wiederkehrend auszuführen, ohne, dass man sie manuell triggern kann. So wird man z.B. wöchentliche Durchsuchungen des Webprojektes nach toten Links konfigurieren können. Dies hat dann zur Folge, dass man pro Woche einen Report bekommt, mit allen gefundenen Fehlern, ohne dass man händisch Arbeit verrichten muss.
• Einstellbare Crawl-Tiefe: Derzeit ist die Anzahl der URLs, die überprüft werden, auf 500 limitiert. Dieses Limit soll in Zukunft unter bestimmten Umständen entfallen.

Weitere Ideen, wohin sich koality.io weiter entwickeln wird, haben wir in unserem Artikel über 2021 zusammengefasst.