GOR 09: Online Access Panels sind weniger valide sind als CATI-RDD

Zwei Zitate des Vortragenden der Keynote Jon A. Krosnick: (in meiner Übersetzung): „Man erhält bei Anwendung der unterschiedlichen Methoden nicht dieselben Ergebnisse.“ Und – bezogen auf die USA: „Internet Access Panels sind konsistent weniger valide als Telefoninterviews (RDD)“.

Seine „Befangenheit“ (also: seine Perspektive) als Wissenschaftler stellte er an den Anfang seiner Präsentation. Und daran schließe ich an: Marktforschung, die gekauft wird, muss zuvorderst so valide sein, dass sie vom Kunden verwendet werden kann. Es besteht im Gegensatz zur Wissenschaft kein absoluter „Wahrheitsanspruch“, sehr wohl aber ein essenzieller Nützlichkeitsanspruch.

Für professionelle Marktforscher bedeutet dies, dass vorab sehr genau über die Methodenwahl nachgedacht werden muss. In diesem Zusammenhang ist die Beantwortung der folgende Fragen Ziel führend:

  • Welche Zielgruppe befrage ich? Wie zugänglich ist die Zielgruppe zur Methode?
  • Wie vertraut ist die Zielgruppe mit der Methode?
  • Wie lang ist die Dauer die Befragung
  • Wie komplex / erklärungsbedürftig ist die Befragung?
  • Wie abstrakt bzw. konkret ist die Befragung?
  • Welchen Einfluss hat die Glaubwürdigkeit der Methode – d.h. das Vorhandensein eines Interviewers – auf die Befragung?
  • Welchen Einfluss hat soziale Erwünschtheit von Antworten in der Befragung?

Ein letzter spannender Aspekt: die Erkenntnis, dass je geringer die Quote der abgeschlossenen Interviews ist desto geringer die Validität. Allerdings tritt eine tatsächlich deutliche Verschlechterung erst ab einer Quote von unter 10% auf.