Performance
Vergleichbarkeit von Daten aus unterschiedlichen Tools
Durch die Vielzahl der verschiedenen Webanalysetools aus denen Unternehmen frei wählen können, kommt es bei der Vergleichbarkeit der Analysedaten aus unterschiedlicher Tools immer wieder zu Fragen. Die Beantwortung dieser Fragen ist nicht ganz einfach, da viele Faktoren berücksichtigt werden müssen. Aus diesem Grund werden nachstehend zwei Szenarien geschaffen, die auf echten Use Cases basieren. Fehlerhafte Implementierungen spielen sicherlich auch eine Rolle, diesen Faktor blenden wir aber in den nachstehenden Szenarien aus.
SZENARIO 1: Vergleichbarkeit bei simultanem Tracking
Ein Unternehmen hat die Absicht das Webanalysetool zu wechseln. Bisher wurde ein unbekanntes Tool benutzt, mit dem nur einfache Auswertungen möglich waren. Die Analysemöglichkeiten sind daher stark eingeschränkt. Das soll sich ändern, dazu benötigt das Unternehmen ein leistungsfähigeres Tool. Zu diesem Zweck werden unterschiedliche Webanalysetools gleichzeitig getestet. Nach der Implementierung messen die drei Tools den Internetauftritt des Unternehmens über mehrere Wochen parallel. Ziel des Unternehmens ist es, das am besten geeignete Trackingtool zu identifizieren. Folgende Abbildung zeigt die Ergebnisse.
Das Unternehmen stellt sich nun die Frage: „Wir setzen mehrere Webanalysetools gleichzeitig ein, warum gibt jedes andere Zahlen aus?“
Anhand der Unterschiede in den Zahlen zeigt sich, dass eine Vergleichbarkeit zwischen den drei parallel getesteten Tools nicht gewährleistet werden kann. Die Unterschiede in den Zahlen ergeben sich aus der Positionierung der verschiedenen Trackingcodes. Diese werden immer sequentiell ausgeführt. Betrachtet man die Anzahl der Seitenaufrufe im Zahlenbeispiel, so wird deutlich, dass Tool 1 hier den niedrigsten Wert misst. Dies begründet sich durch die sequentielle Ausführung der Codes: Tool 3 wird als erstes gefeuert, anschließend folgt das Tracking von Tool 2 und 1.
Natürlich spielt es auch eine Rolle, wie schnell die Tracking Codes arbeiten. So kann es sein, dass Tool 2 asynchrones Tracking nutzt, Tool 3 sehr schnelle Server Response vorhält und damit das Tracking Pixel schneller absetzen kann und Tool 2 traditionelles synchrones Tracking nutzt.
SZENARIO 2: Vergleichbarkeit bei sequentiellem Wechsel des Trackings
Nach weiteren Tests und Analysen wurde in diesem Beispiel Tool 1 als das am besten für den Kunden geeignete Webanalysetool identifiziert. Daher nutzt der Kunde dieses mittlerweile seit längerer Zeit als einziges Tool. Nun will er die mit Tool 1 gemessenen Zahlen des laufenden Monats mit Zahlen aus älteren Monaten vergleichen, die mit dem ehemaligen Analysetool erhoben wurden. Es ergeben sich folgende Ergebnisse:
Das Unternehmen stellt sich nun die Frage: „Warum unterscheiden sich die Zahlen unseres aktuellen Webanalysetools so stark von denen unseres früheren Webanalysetools? Die Implementierung wurde doch komplett analog vorgenommen.“
Auch hier ergeben sich Unterschiede in den Zahlen. Manche Kennzahlen unterscheiden sich stärker, andere weniger stark voneinander. Die Ursache hierfür liegt in den Definitionen dieser Kennzahlen. Diese werden von den Webanalyseanbietern unterschiedlich definiert. Beispielsweise basiert die Messung der Kennzahlen „Besuche“ und „eindeutige Besucher“ auf dem Sessionkonzept (hierzu als Beispiel Verändungen im Sessionkonzept in Google Analytics). Sessions werden von den unterschiedlichen Webanalysetools unterschiedlich gemessen, was zu verschiedenen Zahlen führt. Analog dazu verhält es sich bei den anderen Kennzahlen.
Aber auch wenn die Implementierung komplett analog vorgenommen wurde, kann es auch hier zu Verschiebungen kommen. Denn das vorangegangene Szenario zeigt, dass auch die Server Response des Webanalyse Anbieters eine Rolle spielt.
Gründe für die Abweichungen
1. Fehlerhafte Implementierung
2. Positionierung & Unterschiede des Trackingcodes, vor allem
Synchron vs. Asynchron
Server Response des Anbieters
Platzierung im Quellcode (z.B. </head> vs. </body>)
3. Unterschiedliche Kennzahlendefinitionen, vor allem
Unterschiedliche Session Konzepte
Unterschiedliche Definition von Dimensionen und Metriken
4. Unschärfen durch abweichende Filterregeln
Algorithmus des Tracking Tools
Angewendete Filterregeln auf das Analyseprofil
5. Opt-Out Plugins
Google Analytics Opt Out
Ghostery, AdBlock, etc.
Punkt drei zielt also darauf ab, wie die erfassten Daten aufbereitet und im User Interface dargestellt werden. Bots und Spiders, sowie Traffic durch Performance Measurement Tools werden weitestgehend durch die hauseigenen Alogrithmen der Webanalyse Tools ausgefiltert. Diese sind natürlich unterschiedlich.
Außerdem lassen sich bei fast annähernd allen Webanalyse Tools Filter auf Profilebene setzen, um beispielsweise eigenen Traffic auszuschließen und/oder die bestehende Datenbasis optimal aufzubereiten. Die Methoden sind dabei fast unendlich und schon kleine Abweichungen in den Filterregeln unterschiedlicher Tools führen zu Abweichungen in der Datenbasis.
Bezüglich Google Analytics können auch Opt Out Plugins eine Rolle bei abweichenden Daten spielen. Google Analytics ist weltweit das meistgenutzte Webanalyse Tool und viele Anbieter von AdBlock Software haben Google Analytics auf Ihren Blocking Lists. In der Regel wird Google Analytics nicht per Default geblockt, sondern lediglich durch manuelles Einstellen, für Abweichungen werden solche Tools jedoch allemal sorgen.
Fazit und Ausblick
Die beiden zuvor beschriebenen Szenarien verdeutlichen, dass Daten verschiedener Webanalysetools nur eingeschränkt miteinander verglichen werden können. Das bedeutet allerdings nicht, dass ein Webanalysetool falsche Daten erhebt bzw. fehlerhaft misst.
Ist die fehlende Vergleichbarkeit ein Problem?
Für Datensammler sicherlich JA, denn absolute Zahlen können zwischen unterschiedlichen Tools nicht bzw. nur bedingt verglichen werden.
Für Analytics Ninjas, die verstanden haben, dass Webanalyse fast ausschließlich Trendanalyse ist NEIN. Denn Trends werden sich nach wie vor ableiten lassen, egal wie ein Webanalyse Tool misst.
Man kann also nur das Beste aus der Situation machen und die zusätzlichen Features nutzen, die das neue Webanalyse Tool bietet. Das Festklammern an absoluten Zahlen sollte dringend vermieden werden, die Ableitung von Trends zur Ableitung von Handlungsempfehlungen ist weitaus wichtiger. Und nicht zuletzt: Schaffen Sie Awareness bei allen Beteiligten. Wir hoffen, dass dieser Artikel dabei hilft und freuen uns auf Ihre Kommentare!
