Methodik der Auswertung

1. Zuschnitt eines Themas

Am Anfang steht die Frage, welche Entscheidung ein Leser tatsächlich zu treffen hat. Aus ihr ergibt sich der Zuschnitt des Themas und die Liste der Entscheidungsfaktoren. Diese Liste wird vor der Recherche festgelegt und in der Themenübersicht sichtbar geführt, damit nachträglich nichts hinzugefügt werden kann, das ein bestimmtes Produkt bevorzugt.

Welche Fragen Käufer stellen, wird an den Vorschlägen der Autovervollständigung einer Suchmaschine erhoben. Gezählt wird je Startbegriff, etwa „lesebrille herren“, und nur innerhalb dieses Begriffs; Anteile über verschiedene Startbegriffe hinweg wären nicht vergleichbar. Aus diesen Fragen entstehen die Beiträge eines Themas, und bevor einer angelegt wird, wird geprüft, dass kein bestehender Beitrag dieselbe Frage schon beantwortet.

2. Auszählung der Angebote

Viele Vergleiche und Überblicke beruhen nicht nur auf fünf Produkten, sondern auf einer Auszählung aller Angebote zu einem Suchbegriff im Handel, bislang bei Amazon.de. Sie beantwortet Fragen, die ein einzelnes Produkt nicht beantworten kann: Wie viele Angebote nennen eine Norm? Wie viele werben mit einem Filter, den sie nicht belegen?

1. Suchbegriff und Umfang festhalten. Gezählt wird ein Suchbegriff, wie ihn Käufer verwenden, über die genannten Ergebnisseiten, ohne gesponserte Treffer.
2. Grundgesamtheit und Ausschlüsse nennen. Zubehör und Produkte einer anderen Art scheiden aus, mit Grund.
3. Jede Detailseite ganz lesen. Titel, Stichpunkte, Datenfelder samt eingeklappter Tabellen, Beschreibung und Herstellerteil. Wer nur Stichpunkte liest, übersieht Angaben, die an anderer Stelle stehen.
4. Jeden Treffer von Hand prüfen. Ein Suchwort im Seitentext ist noch kein Befund: Steht „Blaulicht“ nur in einer Shop-Leiste des Anbieters, zählt das Angebot nicht als Brille mit Blaulichtfilter.
5. Datum nennen. Eine Auszählung ist eine Momentaufnahme. Der Beitrag nennt den Tag, an dem gezählt wurde.

In einigen Vergleichen werden auch die Packungsfotos gelesen, die Anbieter zeigen. Was auf der Packung steht und im Angebotstext fehlt, etwa ein CE-Zeichen oder ein Warnhinweis, wird dann getrennt gezählt und so benannt.

3. Auswahl der Produkte

Ein Vergleich stellt fünf Produkte vor. Aufgenommen wird, was im deutschen Handel regulär verfügbar ist und zu dem sich belegbare Angaben finden lassen. Die drei Marktsegmente Einsteiger, Mittelklasse und Premium werden, soweit möglich, besetzt, damit die Auswahl nicht in einer Preislage hängen bleibt.

Nutzerbewertungen mit weniger als 200 Stimmen sind statistisch nicht belastbar und tragen keine Auswahl. Sie können erwähnt werden, begründen aber keine Reihung. Eine Bewertung erscheint nur mit ihrer Quelle; ohne Quelle lässt der Aufbau der Seite sie nicht zu.

Ob ein Produkt einen Partnerlink hat, spielt für die Auswahl keine Rolle. Gibt es nur einen Direktlink zu einem Händler oder ist der der bessere Bezugsweg, wird er gesetzt, auch wenn er nichts einbringt.

4. Quellen und ihre Rangfolge

1. Herstellerangaben aus Datenblatt, Handbuch oder Produktseite.
2. Normen und ihre frei zugänglichen Angaben zu Titel und Anwendungsbereich.
3. Unabhängige Prüfungen und Prüfberichte Dritter, etwa von Verbraucherorganisationen, Behörden oder aus der Fachliteratur.
4. Handelsangaben, soweit sie über die Herstellerangabe hinausgehen.

Jede Quelle wird mit Bezeichnung, Link und Abrufdatum geführt. Eine Prüfung wird mit ihrem Jahr genannt; eine ältere Prüfung bleibt als das stehen, was sie ist, ein Datenstand. Kundenrezensionen begründen keinen Wert, sie können als Hinweis auf eine Gegenprobe erscheinen. Welche Quellen im Einzelnen eingehen und wie man eine Angabe zurückverfolgt, steht auf Quellen.

5. Normen

Kostenpflichtige Normtexte werden nicht beschafft. Verwendet werden Titel, Anwendungsbereich und frei zugängliche Angaben, etwa aus den Katalogen der Normungsinstitute, aus Behördenveröffentlichungen oder aus der Fachliteratur, die eine Norm zitiert. Das wird an der Stelle kenntlich gemacht, an der die Norm herangezogen wird.

Eine Norm ist der Maßstab, an dem ein Angebot gemessen wird. Nennt ein Angebot eine Norm, wird geprüft, ob es die geltende Fassung ist. Eine zurückgezogene Norm als Prüfgrundlage ist ein Befund und steht als solcher im Text.

6. Lücken und Ersatzwerte

Fehlt eine Herstellerangabe, bleibt sie als fehlend stehen. Sie wird nicht geschätzt und nicht aus einem ähnlichen Produkt übernommen. In einem Fall wird davon abgewichen: Lässt sich ein Wert aus anderen, belegten Angaben rechnerisch herleiten, wird er als Ersatzwert ausgewiesen.

Ein Ersatzwert trägt immer drei Angaben: den Wert, seine Art (errechnet, Herstellerangabe oder Normangabe) und die Grundlage im Klartext. Er wird nie als Herstellerangabe dargestellt.

7. Widersprüche und offensichtliche Fehler

Widersprechen sich Hersteller- und Handelsangabe, kommt der Widerspruch in den Text. Es wird nicht gemittelt und nicht stillschweigend die bequemere Zahl gewählt. Der Leser erfährt, welche Quelle was sagt, und entscheidet selbst, welcher er folgt.

Manche Datenfelder sind erkennbar falsch befüllt. Dann wird der Wert nicht übernommen, sondern benannt. Im Herren-Lesebrillen-Vergleich steht bei einem Modell im Feld Glasbreite ein Wert von 135 Millimetern, was für ein einzelnes Glas unmöglich ist; der Beitrag sagt das, statt die Zahl zu verwenden.

8. Eigene Rechnungen

Manche Fragen beantwortet keine Quelle direkt, wohl aber eine Rechnung aus belegten Größen: welcher Bandanstoß noch auf ein Handgelenk passt, welche Lesestärke zu einem Leseabstand gehört, bis zu welchem Alter eine Lesestärke Tastatur und Monitor zugleich scharf zeigt. Solche Rechnungen stehen mit Formel, Annahmen und Grenzen im Beitrag und sind als eigene Rechnung gekennzeichnet.

Eine Rechnung ersetzt keine Messung. Sie zeigt, wie ein Wert zustande kommt, und macht damit nachprüfbar, was eine Faustregel ohne Herleitung nur behauptet.

9. Segment statt Preis

Preise werden beobachtet, um das Marktsegment abzuleiten, aber nirgends notiert. Das Segment ist damit die einzige Preisaussage dieses Angebots, und es ist eine, die auch in sechs Monaten noch zutrifft. Ein Geldbetrag im Text, in den Daten oder in den strukturierten Daten bricht den Aufbau der Seite ab.

10. Prüfung vor der Veröffentlichung

Vor dem Schreiben wird für jeden Beitrag festgehalten, welche Aussage aus welcher Quelle stammt. Danach wird automatisch geprüft, was sich automatisch prüfen lässt, teils beim Aufbau der Seite, teils vor der Freigabe. Schlägt eine Prüfung fehl, wird nicht veröffentlicht.

• Kein Geldbetrag und kein Preisfeld, weder im Text noch in den Daten.
• Bewertungen und Auszeichnungen nur mit benannter Quelle.
• Jeder Beitrag mit vier bis acht Quellen, jede mit Bezeichnung.
• Quellenlinks erreichbar, interne Links und Sprungmarken gültig.
• Strukturierte Daten ohne Preis- und Angebotsfelder.
• Darstellung auf Telefon- und Desktopbreite ohne Überlauf und ohne Überlappung.

Nach der Veröffentlichung wird die ausgelieferte Seite noch einmal geprüft: ob sie erreichbar ist, ob die Partnerlinks gekennzeichnet sind und ob die Händlerziele erreichbar sind.

11. Pflege nach der Veröffentlichung

Jeder Beitrag führt ein Datum der letzten Prüfung und ein Änderungsprotokoll. Das Veröffentlichungsdatum wird bei einer Aktualisierung nicht mitgezogen: Aus einem gepflegten Beitrag einen scheinbar neuen zu machen, wäre gegenüber Lesern wie Suchmaschinen unehrlich.

Zeigt sich ein Zählfehler, wird die Stichprobe neu ausgezählt, und Beiträge, die sich auf die Zahl stützen, werden angepasst. Welche Korrekturen es bisher gab, listet die Seite Korrekturen.

12. Grenzen der Methode

• Es wird nicht gemessen. Wasserdichtheit, UV-Durchlässigkeit oder Glasstärke werden nicht im Labor geprüft; wo dazu etwas gesagt wird, stammt es aus einer genannten Quelle.
• Eine Auszählung gilt für den genannten Tag. Suchergebnisse und Angebotstexte ändern sich, und dieselbe Suche kann an einem anderen Tag andere Treffer liefern.
• Normen werden nach Titel, Anwendungsbereich und frei zugänglichen Angaben verwendet, nicht nach dem vollständigen Normtext.
• Herstellerangaben haben ein Eigeninteresse, Handelsangaben sind die unzuverlässigste Quelle. Beides wird so gekennzeichnet, nicht verschwiegen.
• Bewertungen stammen aus dem Handel. Sie zeigen Zufriedenheit, keine Messung.