Broschüre - Isopublic

Qualität in der Online-Forschung
Qualität bei ISOweb.ch
Oder: Worauf Sie achten sollten – Worauf wir achten
Überreicht von ISOPUBLIC, Institut für Markt- und Meinungsforschung AG

Institut für Markt- und Meinungsforschung AG
Member of Gallup International
Ringstrasse 7
CH-8603 Schwerzenbach
T +41 (0)44 806 66 66
F +41 (0)44 806 66 60
www.isopublic.ch

Inhalt
3
5
9
10
11
13
15
17
18
19
21
22
23
25
28
29
Einleitung
Ausgangslage
Es beginnt bei der Offerte
Das Portal
Die Teilnehmer
Panelpflege
Panelnutzung
Incentivierung
Glaubwürdigkeit
Datenschutz, ethische Richtlinien
Profiling-Informationen
Vor der Feldarbeit: Fragebogen
Feldarbeit, Roll-out
Nach der Feldarbeit: Ergebnisse, Daten
Unsere Qualitätsrichtlinien allgemein
Checkliste: Stellen Sie die richtigen Fragen

Einleitung
Das Internet ist ein immer wichtigeres Forum für die Meinungsäusserung und den
Meinungsaustausch, insbesondere bei Themen, die uns als Bürger oder als Verbraucher
bewegen. Dies ist ein Faktum, das bei unternehmerischen Entscheidungsprozessen
wie auch im öffentlichen Willensbildungsprozess nicht zu vernachlässigen ist.
Einfach zu handhabende Umfragetools erlauben kostengünstige Do-it-yourself-Umfragen.
Eine unüberschaubare Anzahl von Anbietern unterschiedlichster Herkunft und
Qualität offerieren mittlerweile Online-Umfragen.
Wer in dieser Ausgangssituation den Überblick bewahren und einen Anbieter auswählen
will, um, basierend auf Online-Umfragen, wichtige Entscheidungen zu treffen, bleibt
oftmals verunsichert zurück:
n Worauf kommt es an, worauf muss man achten, damit die Ergebnisse ein
valides Abbild der Realität sind?
n Wo liegen die Unterschiede zwischen verschiedenen Angeboten?
n Was bekomme ich für mein Geld?
Wir möchten Ihnen mit dieser Kurzbroschüre einen Überblick geben – einige Orientierungspunkte
im Dschungel der Online-Forschung und der Online-Panels.
Mehr zu unserem Qualitätsanspruch allgemein finden Sie in unserer Broschüre
«Qualität in der Marktforschung»:
http://www.isopublic.ch/publikationen/pdf/Qualitätsbroschüre.pdf
Weitere Informationen über Qualitätskriterien bei Online-Forschung
bzw. Marktforschung generell sind zu finden auf:
http://www.esomar.org/knowledge-and-standards/research-resources/26-questions.php
http://www.vsms.ch/de/institute.html
3

Ausgangslage
Internet-Penetration in der Schweiz
Die Internet-Penetration von rund 90% in der Schweiz erlaubt heute einen breiten Einsatz
dieser Methode. Im internationalen Vergleich liegt die Schweiz im Spitzenfeld – nach den
nordischen Ländern, Luxemburg und den Niederlanden – noch vor UK und Deutschland.
(Stand Ende 2011, Quelle Miniwatts Marketing Group, http://www.internetworldstats.com)
Online-Forschung in der Schweiz
Die vom Berufsverband vsms publizierten Umsatzanteile zeigen die Entwicklung im Online-
Bereich (im Vergleich dazu: in Deutschland lag der Anteil 2010 bereits bei 38%).
4
Top Ten Europa – Internet-Penetration (%/Bev.)
Island 98
Norwegen 97
Schweden 93
Luxemburg 91
Niederlande 90
Dänemark 89
Finnland 89
Schweiz 84
UK 84
Deutschland 83
Branchenumsatz nach Methoden (%)
5
6
24 23
65 64
2005
8
5
11
12
16
5
8
7
26 24 22 18
57 56 55 56
2006 2007 2008 2009 2010
n CATI n F2F n Schriftlich n Online
21
5

Validität von Online-Forschung
Die Validität von Online-Studien wurde mittlerweile in zahlreichen Vergleichsstudien auch
zu heiklen Themen überzeugend dargelegt. Online-Befragungen bieten insbesondere
folgende Vorteile:
n Studien mit grossen Fallzahlen sind innert kurzer Zeit realisierbar.
n Online-Studien sind kostengünstig und bieten ein gutes Preis-/Leistungsverhältnis
n Bilder, Ton, Filme, Animationen helfen, das Produkt, die Werbung usw. zu veranschaulichen;
sie erscheinen für jeden Befragten in standardisierter, hoher Qualität.
n Das Antwortverhalten ist tendenziell überlegter, differenzierter und v.a. bei sozial
heiklen Fragen «ehrlicher» – auch offene Fragen werden ausführlich und genau beantwortet
(dies erlaubt sogar Online-Gruppendiskussionen).
n Es gibt keinen Befragereinfluss – so wird beispielsweise die Tendenz zur sozialen
Wünschbarkeit reduziert, auch bei tabuisierten Themen wie Hygiene, manche
Gesundheitsaspekte etc.
n Gerade spezielle Zielgruppen wie jüngere Personen, die bei anderen Methoden sehr
schwierig erreichbar sind, akzeptieren das Medium sehr gut und sind eher zur Teil-
nahme bereit.
n Auch der interaktive, spielerische Charakter steigert die Teilnahmebereitschaft.
n Die Zielpersonen bestimmen den Zeitpunkt ihrer Teilnahme an der Befragung selber,
was ebenfalls zur Entspannung beiträgt.
n Die IT-Unterstützung bringt Effizienz- und Methodenvorteile bei der Stichprobenbildung
(Quotensteuerung, Terminverwaltung) und der automatischen Interviewerführung.
n Verschiedene technische Möglichkeiten wie z.B. eine intelligente Filterführung sowie
das Wiedereinblenden von bereits erfassten Daten reduzieren den zeitlichen und
inhaltlichen Aufwand für die Befragten und steigern die Qualität der Beantwortung.
n Und schliesslich ermöglichen Online-Befragungen eine Echtzeit-Kontrolle des Rücklaufes
und der Qualität der gewonnenen Daten – Stichprobenadjustierungen und
ähnliches sind umgehend möglich.
Im Vergleich zu CATI ist Online-Forschung flexibler und anpassungsfähiger – und sie kombiniert
die Vorzüge von face-to-face-Interviews (visuelle Hilfsmittel, komplexere Abläufe)
mit jenen der Selbstausfüllung.
Online-Forschung hat – wie jede Methode – ihre Grenzen, die bei einer Spezialisierung auf
dieses Instrument gerne ausgeblendet werden. Ziel eines Anbieters sollte nach unserem
Verständnis sein, den Auftraggebern nach bestem Wissen und Gewissen die für ihre Fragestellung
und ihre Zielgruppe optimale Methode zu empfehlen.
Wir raten zur Vorsicht bei Studien, die sich auf Personen beziehen, die nach wie vor
Internet-fern sind: ältere Personen, Probanden mit niedrigerem Bildungsniveau. Auch
bei Untersuchungen mit längeren Fragebögen oder komplexeren Fragen eignen sich
meist andere Methoden (etwa face-to-face) besser. Gleiches gilt bei Fragen, die von den
5

Probanden eher als «Schulprüfung» interpretiert werden können – hier werden sie vermutlich
vor der Beantwortung recherchieren, anstatt spontan zu reagieren.
Zentrale Qualitätskriterien bei Online-Forschung
Bei Offerte oder Ergebnislieferung lässt sich Qualität methodenübergreifend definieren –
etwa:
n Übersichtliche, transparente Offerte, die alternative bzw. optimale Problemlösung mit
ihren Pro und Contra darlegen
n Datenprüfung, Gewichtungen mit Augenmass und Transparenz
n Lieferung bedürfnisadäquater Auswertungen mit Methodenbericht/technischem
Bericht
n Wenn gewünscht: Interpretations-/Kommunikationsunterstützung nach dem Projekt
Im Online-Bereich treten weitere Kriterien hinzu – überwiegend bezogen auf Panelforschung,
aber teilweise auch bei ad-hoc Online-Forschung. Welche Punkte sind bei der
Planung einer Untersuchung zu bedenken und welche Lösungen bietet ISOPUBLIC an?
Diese Kriterien werden auf den folgenden Seiten näher beleuchtet:
n Zeitgemässe, attraktive, seriöse und benutzerfreundliche Befragungs-Plattform
bzw. Panel-Portal
n Gesicherte Qualität von Fragebogen und Programmierung
n Rekrutierung der Teilnehmer bei ad-hoc-Studien (Methodik, statistische Basis/
Aktualität)
n Kommunikation mit den Probanden (Intensität, Tonalität, Glaubwürdigkeit des Instituts,
Transparenz)
n Technischer Support für die Teilnehmer
n Incentivierungsprogramm
n Grösse des Panels (Anzahl, geografische Abdeckung)
n Struktur der Panellisten (bspw. im Vergleich zur Gesamtbevölkerung)
n Vielfalt der Rekrutierungsmethoden (auch face-to-face rekrutiert?), Double Opt-In
n Pflege und Nutzung des Panels (minimale und maximale Befragungshäufigkeit)
n Erreichen eines Community-Feeling unter den Panellisten
n Panelmortalität (Austritt bzw. Austausch der Teilnehmer) und Panelaktualität
(umfassende und aktuelle Profiling-Informationen)
n Roll-out der Feldarbeit (Soft-Launch, Einladungsphase, Zugangssteuerung)
n Repräsentativität der Stichprobe, Rücklauf (Ausschöpfungs- und Abbruchquoten)
n Einhaltung der Qualitätsstandards von ESOMAR/vsms-asms
6

Der Bereich Online-Forschung verzeichnete in der Schweiz in den letzten 10 Jahren bemerkenswerte
Zuwachsraten. Mit unserer eigenen Plattform ISOweb.ch setzen wir neue
Massstäbe in der Online-Forschung: Design, Abläufe, Datenerhebung und Panelmanagement.
Neben klassischer quantitativer Forschung können wir mit unserem Panel und unseren
Panelmanagementtools auch Online Focusgroups, Bulletin Boards und Marktforschung
via Online Communities (MROCs) anbieten.
7

Es beginnt bei der Offerte
Qualität bei einer Offerte bedeutet neben Problemverständnis, fachlichem Know-how
und vorhandenen Ressourcen auch, modulare, transparente Offerten mit alternativen
Vorgehensweisen und ihrem Für und Wider zu erstellen. Annahmen sollten offen gelegt
und dem Kunden die Kostenauswirkungen einer Entscheidung aufgezeigt werden. Ein
modularer Aufbau bringt Flexibilität: Sie können als Auftraggeber gezielt Projektmodule
übertragen.
In unseren Offerten sehen Sie die möglichen bzw. von uns empfohlenen Optionen mit
ihren Kosten. Als Allround-Institut, welches Know-how, Ressourcen und Erfahrung für alle
Methoden der Markt- und Meinungsforschung besitzt, haben wir den grossen Vorteil,
keine bestimmte Methode verkaufen zu müssen. Wir suchen die für die Problemstellung
optimale Methode, entwickeln gegebenenfalls auch neue Lösungsansätze und stellen
die Vor- und Nachteile hinsichtlich Validität und Kosten prägnant dar. Wissenschaftliche
Grundlagen und handwerkliche Erfahrung sind die Grundlage unserer Methoden-
empfehlung.
9

Das Portal
Die Gestaltung des Portals spielt eine nicht zu unterschätzende Rolle: Ist es zeitgemäss,
ist es für die Teilnehmer ansprechend und interessant – ohne dadurch an Seriosität zu
verlieren. Aufgrund der rasanten technologischen Entwicklung sind hier auch entsprechende
Neuerungen notwendig.
ISOPUBLIC führt bereits seit knapp 10 Jahren Online-Studien durch. Bis 2008 wurden pro
Jahr einige Tausend Interviews realisiert – seit 2009 ist ein enormer, über dem Branchenschnitt
liegender, Anstieg zu verzeichnen. Unser Online-Portal ISOweb.ch, das im Jahr 2011
lanciert wurde, erlaubt schon heute umfassende, repräsentative Studien mit höchstem
technischen/methodischen Standard.
Laufender Ausbau und Weiterentwicklung sind unsere Devise:
Die Entwicklung schreitet sowohl auf technischem als auch auf sozialem Gebiet rasant
fort und prägt neue Erwartungen der aktuellen und potenziellen Teilnehmer.
Das ISOweb.ch-Team hat deshalb beispielsweise Tools entwickelt, um mit seinen Panelmitgliedern
in Echtzeit zu kommunizieren. Wir bieten Apps für iPhone, iPad, iPod und
Android-Geräte, die den Panelmitgliedern einen schnellen Zugang zum Online-Portal
und zur Panelcommunity ermöglichen. Das Know-how des ISO-web.ch-Teams im Bereich
Umfragen und Userverhalten erlaubt, dass jedem Panelmitglied ein ausserordentliches
Online-Erlebnis geboten wird und es sich gerne in der ISOwebcommunity austauscht.
Der internationale Erfahrungsaustausch, vor allem mit unserem Partner Léger Marketing,
der in Kanada (82% Internetpenetration) Markt- und Technologieführer im Bereich
Online-Forschung ist, unterstützt uns, als flexibles mittelgrosses Schweizer Institut für
Markt- und Meinungsforschung ein qualitativ besonders hochstehendes Panel anzubieten.
Wir verfügen heute mit ISOweb.ch über eine Plattform, die internationales IT-Know-how
mit Schweizer Sorgfalt und Qualitätsanspruch vereint.
10

Die Teilnehmer
Bei Panelforschung geht es um die Grösse und Struktur des Panels. Das zur Verfügung
stehende Panel sollte gross genug sein – ein zu kleines Panel bedeutet, dass spezielle
Segmente nicht in der nötigen Anzahl enthalten sind und dass die Panellisten zu oft
angeschrieben werden. Dadurch sinkt die Motivation – oder es bleiben (bei «falscher»
Incentivierung) nur Probanden, die «professionell» teilnehmen.
Die Frage, welche Personen im Panel enthalten sind, ist für die Aussagekraft der Ergebnisse
entscheidend. Kann es die gesamte Schweizer Bevölkerung abdecken oder ist es auf
bestimmte (Sprach-) Regionen konzentriert?
Selbst wenn die Antwort hier lautet: «Bevölkerung der ganzen Schweiz ab 15 Jahren»,
sind weitere Informationen nötig. Zentral ist dabei, wie die Probanden zum Panel
gekommen sind: Wurde nur über das Internet rekrutiert? Dann unterscheiden sich diese
Surfer ziemlich sicher vom Bevölkerungsdurchschnitt. Gab es als Ergänzung lediglich
telefonische Interviews? In diesem Fall werden Personen ohne eingetragenen Telefonanschluss
benachteiligt.
Die Vielfalt der Rekrutierungskanäle ist ein wichtiges Element für die Qualität eines
Panels.
Bei ad-hoc-Online-Forschung steht die Frage im Vordergrund, woher die Adressen der
potenziellen Teilnehmer stammen. Decken sie tatsächlich die angestrebte Zielgruppe ab?
Wie vollständig sind sie, wie aktuell sind die Mailadressen? Sind Mehrfachteilnahmen
ausgeschlossen?
Zielpersonen, Abdeckung
Die Zielpersonen von ISOweb.ch sind Personen von 15 Jahren oder älter, die in der ganzen
Schweiz wohnhaft sind. Die Grösse des Pools und die über die Mitglieder vorhandenen
Informationen erlauben, auch ein anspruchsvolles Screening (Zielpersonenauswahl) bzw.
Quotenvorgaben umzusetzen.
Rekrutierungskanäle
Diese Personen werden fast ausschliesslich aktiv (über persönliche face-to-face oder
Telefoninterviews) rekrutiert. Dies trägt dazu bei, die gewünschte Art von Panellisten zu
finden und beispielsweise auch Personen, die nicht so Internet-affin sind, zu erreichen.
75% der Panellisten wurden mittels CATI-Interviews rekrutiert – etwas mehr als 20%
konnten, gestützt auf unser einzigartiges, landesweites Befragernetz und unseren regelmässigen
ISOPUBLIC INHOME-Omnibus, über face-to-face-Interviews gewonnen werden,
5% über andere Kanäle. Gerade diese face-to-face-Ansprachemöglichkeit wird von uns
systematisch gepflegt, finden wir doch so auch Zugang zu Internet-Usern, die über keinen
Festnetzanschluss verfügen (ca. 6% «Mobile Only», ca. 1% ohne jeden Telefonanschluss).
11

Eine Selbstrekrutierung der Probanden oder eine Rekrutierung über soziale Netzwerke
oder Mundpropaganda ist nur in bestimmten Fällen für bestimmte Studien/Zielgruppen
vorgesehen.
Wir kaufen in der Schweiz heute keine Daten von Panellisten zu; bei internationalen
Studien werden je nach Zweckmässigkeit die Panels unserer Partner von GALLUP
INTERNATIONAL oder Lightspeed einbezogen. Die Auftraggeber werden vor dem Untersuchungsstart
über die jeweiligen Partner informiert.
Double Opt-In
Mitglied von ISOweb.ch wird nur jemand, der seine Teilnahme gewissermassen zweimal
bestätigt hat (Double opt-in). Nach der Rekrutierung und Anmeldung erhalten die Per-
sonen ein E-Mail, mit dem sie zum ersten Profiling-Fragebogen geführt werden. Nachdem
dieser beantwortet wurde, wird die Registrierung in einem weiteren Mail angezeigt
– erst nach Bestätigung durch den Panellisten gilt er oder sie als effektives Mitglied.
Qualität bedeutet auch, dass eine missbräuchliche Panelregistrierung oder -beantwortung
erkannt und sanktioniert wird. So prüfen wir regelmässig, ob sich eine IP-Adresse in
einem bestimmten Zeitintervall mit mehreren Logins anmeldet.
12

Panelpflege
Ein Panel ist nur so gut wie seine laufende Pflege. Sie hat das Ziel, die Loyalität der Mitglieder
zu erhöhen und ihr Interesse aufrecht zu erhalten:
n im Sinne der weiteren Teilnahme,
n aber auch im Sinne engagierter, ehrlicher Antworten.
Um ein Panel von gleich bleibender Qualität zu haben, müssen im Vorfeld und im laufenden
Betrieb Massnahmen getroffen werden, die die Motivation der Panellisten und die
Seriosität ihrer Antworten erhalten.
n Organisatorisch: Technischer Support und persönliche Betreuung (Webmaster),
Möglichkeiten für Rückfragen/Feedback
n Inhaltlich: Faire Information und Kommunikation (Richtlinien, Hintergründe des Panels),
Schaffung eines Gruppengefühls, Incentivierungsprogramm (s. dort)
n Panelmortalität und -aktualität: Wie viele Panellisten scheiden aus, wie aktuell sind
die soziographischen/psychographischen Daten über die Panellisten
Kommunikation mit den Panellisten
Genau so, wie wir offene und ehrliche Antworten erwarten, gestalten wir auch unsere
Kommunikation mit den Panellisten.
Schon bei der Rekrutierung informieren wir über Ziel und Aufbau von ISOweb sowie die
Panel-Richtlinien. Detailinformationen werden dann auf unserem Online-Portal geboten.
Aktive Mitglieder können nicht nur an den für sie relevanten Studien und damit am
Incentivierungsprogramm teilnehmen, sie können immer wieder aktuelle, zur Veröffentlichung
bestimmte Studienergebnisse und Unternehmensnews auf ISOweb.ch einsehen
– ein Angebot, welches das «Dabeibleiben» zusätzlich interessant macht.
Unser technischer Support steht per E-Mail und telefonisch zur Verfügung, unser ISOweb-Master
beantwortet eingehende Fragen innerhalb von 24 Stunden. Somit garantieren
wir, dass sich unsere Panellisten persönlich betreut fühlen.
Das Gefühl der ISOweb-Community wird neben immer neuen Applikationen (etwa auf
Smartphone) und Informationsaustausch, auch durch die Veröffentlichung von Panellisten,
die am Zusatzgewinnspiel gewonnen haben, gefördert.
Bei jeder Studie haben die Panelmitglieder darüber hinaus die Möglichkeit, uns direkt
Feedback zu geben, standardmässig wird am Ende des Interviews auch die Zufriedenheit
der Panellisten erhoben. Zudem können sie Rückfragen stellen, wenn Fragen nicht verstanden
werden oder auch ihre Kommentare abgeben.
13

Panelmortalität
Die Panelmortalität liegt derzeit bei 15 bis 20% pro Jahr. Panelmortalität bezieht sich auf
die Definition «aktives» Mitglied. Um den Status «aktiv» zu erlangen, müssen mindestens
zwei Aktionen – die Registrierung, das Ausfüllen des Interessensprofil oder eine Umfrage
– erfolgreich ausgeführt worden sein. «Aktiv» bleibt ein Panellist nur, wenn er pro Jahr an
mindestens drei Studien teilnimmt.
Am Ende des Jahres werden alle ISOweb-Panellisten zu einer Aktualisierung des Profils
aufgerufen, um diese Informationen laufend aktuell zu halten. Nicht-«aktive» Panellisten,
welche diesen Aufrufen nicht nachgehen, werden deaktiviert.
14

Panelnutzung
Ein Panellist bleibt dann motiviert dabei, wenn er immer wieder zu für ihn interessanten
Studien eingeladen wird. Wird die Frequenz jedoch zu gross, ermüdet er und nimmt
sich gewissermassen selber aus dem Netz. Ausnahmen sind jene, die – etwa aufgrund
der Incentivierung – «professionell» teilnehmen.
Mit dem nötigen Fingerspitzengefühl sorgen wir dafür, dass unsere Panellisten (egal, welcher
Zielgruppe i.e.S. sie angehören), mit einer ausreichenden, aber nicht überfordernden
Anzahl von Fragebögen eingeladen werden. Selbst wenn ein Panellist für eine Studie
«zu spät» kommt, weil beispielsweise diese Quoten bereits gefüllt sind, findet er auf unserem
Portal andere, passende Umfragen.
Thematische Abwechslung (immer wieder auch Themen, die als persönlich relevant erlebt
werden) und die richtigen zeitlichen Intervalle (maximal zweimal im Monat) sind hier
elementar.
Die Eckdaten dieser Bewirtschaftung (z.B. letzte Teilnahme, Teilnahmefrequenz, Eintrittszeitpunkt
etc.) werden neben den persönlichen Daten und den Profiling-Informationen
gespeichert.
15

Incentivierung
Die Teilnahme an den Umfragen wird den Panellisten üblicherweise vergütet. Form
und Höhe der Incentivierung müssen so festgelegt werden, dass die Teilnahme durchaus
sozial-emotional attraktiv ist, jedoch keine «Profi-Probanden» angezogen werden.
Unsere Incentives sind entweder Bargeld, Gutscheine, eine Spende an eine gemein-
nützige Organisation oder Gewinnchancen. Zusätzlich können aktive Panellisten mehrmals
pro Jahr an der Verlosung von Bargeld oder eines iPad teilnehmen.
Gerade die Bargeld-Variante (Banküberweisung) bietet den zusätzlichen Vorteil, dass die
Probanden hier eindeutig indentifizierbar sind.
17

Glaubwürdigkeit
Panellisten geben dem Panelbetreiber zwei wertvolle Dinge: ihre Zeit und Einblicke in
ihre Meinungen, Wünsche und Bedürfnisse. Incentives können und sollen (s. oben)
keine wirkliche Vergütung darstellen. Wirklich ausschlaggebend sind die emotionale
Befriedigung aus der Teilnahme und das Gefühl, dass mit diesen Daten seriös um-
gegangen wird.
ISOweb.ch wird ausschliesslich für die Markt- und Sozialforschung eingesetzt.
Der gute Ruf unseres Unternehmens (etwa aufgrund der Medienpräsenz bei politischsozialen
Umfragen) trägt neben der optimalen Panelpflege und -bewirtschaftung auch
dazu bei, dass wir im nationalen wie internationalen Vergleich sehr hohe Rücklaufquoten
binnen kurzer Zeit erreichen.
18

Datenschutz, ethische Richtlinien
Für Mitglieder des Branchenverbandes vsms-asms (swiss research institute) gelten über
das Datenschutzgesetz hinaus besondere Vorgaben.
(http://www.vsms.ch/de/institute/portraet-institut.html)
ISOPUBLIC erfüllt die Auflagen der Schweizerischen Gesetzgebung und als Mitglied von
vsms-asms und ESOMAR auch die Vorgaben der beiden Verbände. Unsere Probanden werden
auf der Panel-Plattform ausführlich darüber informiert.
19

Profiling-Informationen
Welche Hintergrundinformationen stehen zur Verfügung, um einerseits die Zielgruppe
der Befragung einzugrenzen und um andererseits die gewonnen Erkenntnisse besser
interpretieren zu können?
Neben den üblichen soziodemographischen Variablen erheben wir bei ISOweb.ch zentrale
Merkmale aus den Bereichen:
n Interessenwelten
n Haushalt und Wohnen
n Internet und Technik
n Beruf und Karriere
n Medien
n Finanzen
n Gesundheit
n Reise und Urlaub
Diese Informationen geben uns die nötige Grundlage für zielgerichtetes Sampling und
Quotensteuerung bei unseren Projekten, sie werden bei der Rekrutierung erhoben und
jährlich aktualisiert.
21

Vor der Feldarbeit:
Fragebogen
Auch bei sorgfältigstem Panelaufbau und optimaler Pflege bleibt als weiteres Qualitätskriterium
der Fragebogen.
Wurde Ihre Ausgangssituation verstanden? Bildet er Ihr Informationsbedürfnis ab?
D. h. erhalten Sie am Schluss Informationen, die für die anstehende Entscheidung brauchbar
sind?
Entspricht der Aufbau und die Frageformulierung den wissenschaftlichen Standards
der empirischen Markt- und Sozialforschung? Werden Fragen beispielsweise suggestiv,
verzerrend oder nicht eindeutig (mehrdimensional) formuliert? Wie werden sensible
Themen angesprochen?
Wie sieht es mit möglichen Fehlerquellen bei der Programmierung aus?
Fragebogen
Die im Briefing vom Kunden (oder gemeinsam mit dem Kunden) definierten Untersuchungsdimensionen
werden von uns in einem ersten Fragebogen abgebildet. Dieser Entwurf,
bei dem selbstverständlich bereits Kundeninput (z.B. bestimmte Vorstellungen oder früher
verwendete Formulierungen) Eingang finden, wird anschliessend gemeinsam mit dem
Auftraggeber überarbeitet und genau auf seine Bedürfnisse abgestimmt. In einem iterativen
Prozess (d. h. in enger Abstimmung mit dem Kunden, gegebenenfalls in mehreren
Durchgängen) werden die optimalen Erhebungsinstrumente entwickelt. Dieser vom Kunden
schriftlich freigegebene Fragebogen gilt, Änderungen finden nur in Absprache statt.
Grundsätzlich wird jeder Fragebogen bei uns durch zwei Personen gelesen, damit logische
Inkonsistenzen, Unverständlichkeiten oder sprachliche Fehler noch vor der Programmierung
behoben werden können.
Programmierung
Die Programmierung erfolgt durch Marktforschungsprofis. Bei uns finden Sie vielleicht
weniger Zierelemente, dafür ansprechende Layouts, die dem Inhalt verpflichtet sind.
Die Programme werden vor dem Einsatz auf ihre Funktionsfähigkeit geprüft (4-Augen-
Prinzip) – dabei stellen wir auch sicher, dass die Daten in der gewünschten Form abgespeichert
werden.
Vor der eigentlichen Feldarbeit führen wir standardmässig Pilotinterviews (Pretests)
durch.
Dabei wird einerseits überprüft, ob es einfach oder schwierig ist, ein Interview von den
Probanden zu erhalten und ob Abbrüche auftreten. Anderseits wird die Reaktion der
Befragten auf die Thematik und den Interview-Verlauf insbesondere auch bei den neu
aufgenommenen Fragen untersucht.
22

Feldarbeit, Roll-out
Während bei CATI/CAPI-Studien die Stichprobenstruktur und die Ausschöpfung stark
thematisiert werden, geschieht dies unserer Meinung nach bei Online-Interviews nicht
immer im gewünschten Umfang. Dabei sind Ergebnisse zu hinterfragen, die etwa darauf
beruhen, dass eine grosse Personenanzahl angeschrieben wird und die Antworten der
ersten 500 oder 1000 Teilnehmer ausgewertet werden. Auch bei dieser Methode muss
geprüft werden, ob die Stichprobe repräsentativ ist – eine grosse Interviewzahl alleine
bringt wenig, wenn es die «falschen» Leute sind!
Repräsentativität bedeutet, dass die Stichprobe ein «massstabgetreues Abbild» der
Grundgesamtheit ist – dass sie also bei zentralen Kriterien strukturgleich ist. Um dies zu
erreichen, werden diese Kriterien überwacht und gesteuert. In diesem Zusammenhang
taucht die Frage nach der Ausschöpfungsquote auf: Wie viele der eingeladenen Probanden
nehmen effektiv teil? Ist dieser Anteil zu gering (beispielsweise bei zu kurzen Feldzeiten),
kann es zu Ergebnisverzerrungen kommen.
Dieses Thema weist verschiedene Aspekte auf:
n Beispielsweise die Frage, wie die Studie gestartet wird: wird die gesamte Stichprobe
auf einmal kontaktiert oder gibt es Tranchen? Können die Teilnehmer nach bestimmten
Kriterien selektioniert werden?
n Die Art der Einladung und ihre Tonalität haben auch Konsequenzen auf die Teilnahmebereitschaft.
n Überdies gilt es sicherzustellen, dass genau die gewünschte Person (und auch diese
nur einmal!) an der Studie teilnimmt.
Für den Auftraggeber ist schliesslich essenziell, nicht erst bei der Ergebnislieferung
Details zur Feldarbeit zu erhalten, sondern gerade bei Schwierigkeiten umgehend
Bescheid – und Lösungsvorschläge – bekommt.
Stichprobenstruktur
Auch bei ad-hoc-Online-Studien rekrutieren wir genau in der gewünschten Zielgruppe,
und zwar aktiv (keine Selbstanmeldung, Vermeidung von Teilnahmeprofis). Die Probanden
werden individuell eingeladen und erhalten einen individuellen Zugangsschlüssel.
Passende Incentivierung (zur Erhöhung der Teilnahmebereitschaft, ohne die Ergebnisse
zu verzerren) und laufende, genaue Kontrolle der Stichprobenstruktur verstehen sich
von selbst.
Bei unserem Panel ISOweb.ch ist eine Vorselektion nach bereits vorhandenen soziodemographischen,
geografischen oder Profiling-Informationen möglich. Bei Trackingstudien
werden darüber hinaus TeilnehmerInnen früherer Wellen von der Befragung ausgeschlossen.
Die ideale Stichprobenstruktur wird im Vorfeld definiert, zentrale Merkmale werden
laufend überwacht. Wir laden die Probanden in mehreren Tranchen ein, die in sich repräsentativ
für die Zielgruppe der Untersuchung sind. Dies führt zusätzlich zu höherer Genauigkeit
der Stichprobenstuktur.
23

Im Unterschied zu anderen Anbietern, die bis zu 5 Prozentpunkte Abweichung tolerieren,
erfüllen wir den Stichprobenumfang zu mindestens 99% und erlauben auch bei einzelnen
Quoten nur +/– 3 Prozentpunkte Abweichung!
Rücklauf
ISOweb.ch erreicht im nationalen und internationalen Vergleich sehr hohe Rücklauf-
quoten von mindestens 40 bis 50%. Diese Quote kann mit entsprechenden Erinnerungsemails
noch gesteigert werden.
Die Drop-out-Quote (also der Interviewabbruch) ist im Normalfall sehr gering – durchschnittlich
10%. Panellisten, welche unsere Umfragen starten, führen diese dann auch
meist zu Ende.
Prozedere, Softlaunch
Die Probanden werden per E-Mail angeschrieben und informiert über:
n Thema
n Dauer
n Incentivierung
Mittels individualisiertem Zugangsschlüssel kommen die Probanden zum Fragebogen.
Gerade die mobile Zielgruppe wird von uns über neue «Apps» erreicht und entsprechend
rasch angesprochen. Die Feldzeiten werden – wenn es die zeitlichen Verhältnisse des
Auftraggebers erlauben – so festgelegt, dass auch Personen, die nicht täglich online sind,
erreicht werden können.
Unser «soft launch» sorgt dafür, die Validität des Erhebungsinstruments sicherzustellen:
Beim Start einer Online-Studie wird zunächst nur eine kleine Gruppe zur Teilnahme
eingeladen – nach etwa einem halben Tag analysieren wir, ob die Studie, der Fragebogen
im gewünschten Sinn «funktionieren». Allfällige Anpassungen sind also in einem frühen
Stadium möglich.
Transparenz in jeder Phase
Unsere Auftraggeber werden laufend über den aktuellen Stand informiert. Während der
Feldzeit senden wir wöchentlich einen Statusreport (Ausschöpfung). Neben diesen
regelmässigen Statusberichten erhalten unsere Kunden umgehend Informationen über
Besonderheiten, Auffälligkeiten, Probleme – und wir stellen durch klare interne Kom-
munikations- und Stellvertreterregelungen sicher, dass dies jederzeit möglich ist.
Am Ende der Feldarbeit werden neben den vereinbarten Auswertungsmodulen (Daten,
Tabellen, Management Summary, Graphiken) im sogenannten technischen Bericht auch
Informationen über die Ausschöpfungs- und Drop-out-Quote zur Verfügung gestellt.
24

--
Nach der Feldarbeit:
Ergebnisse, Daten
Trotz programmierter Fragebögen ist die Datenqualität auch bei Online-Interviews zu
prüfen, damit nur wirklich zuverlässige Antworten ausgewertet werden. Sollte eine
Gewichtung notwendig sein, muss sie mit Augenmass erfolgen und dem Auftraggeber
offengelegt werden. Bei der Auswertung selber liegt das Hauptaugenmerk darauf, ob
der Auftraggeber verwendbare Informationen (anwendungsorientiertes Wissen erhält)
– also jene Form der Ergebnisaufbereitung, mit der weiter gearbeitet werden kann: seien
es belastbare Datensätze oder Tabellen, aussagekräftige Graphiken, ein Management
Summary oder weiter gehende Interpretationen und Empfehlungen, basierend auf den
Erfahrungen des Forschers.
Cleaning
Alle unsere Studien werden mit automatisierten Verfahren hinsichtlich der Datenqualität
überprüft – dies inkludiert bestimmte Antwortmuster oder auch die Beantwortungszeit.
Datensätze mit schlechter Antwortqualität werden schon während der Feldzeit entfernt;
zusätzlich notwendige Interviews werden automatisch nacherhoben. Darüber hinaus
werden diese Panellisten vorgemerkt und bei wiederholten Verstössen von der Teilnahme
ausgeschlossen.
In einem ersten Schritt werden die Antworten auf offene Fragen vercodet. Dieser Codeplan
wird von der Projektleitung geprüft, bei anspruchsvollen Fragestellungen auch selbst
erstellt, die Codierung (Zuordnung) stichprobenartig überprüft. Bei komplexeren Projekten
bzw. auf Wunsch übermitteln wir dem Kunden nach Durchsicht eines Teils der Interviews
unseren vorläufigen Codeplan zur Genehmigung oder Überarbeitung.
Auftraggeber, die sich einen Gesamtüberblick über die einzelnen Facetten verschaffen
oder aus anderen Grün-den die Vercodung selbst übernehmen wollen, können dies selbstverständlich
ebenfalls.
Gewichtung
Je nach Studie ist eine Gewichtung der Daten angezeigt.
Diese Gewichtung verändert bei uns nicht die ausgewiesene Fallzahl (Anzahl Interviews),
sondern nur die Struktur der Stichprobe (wenn beispielsweise eine Zufallsstichprobe zu
wenige Frauen ergeben hätte, würden die Frauen herab-, die Männer hinaufgewichtet).
Die Gewichtungsvariablen, die Basis (z.B. Daten des Bundesamts für Statistik) das Ausmass
der Gewichtung (Strukturdaten vor und nach der Gewichtung) werden von uns
übersichtlich dargestellt. Die Gewichtung erfolgt bei uns standardmässig durch Faktorengewichtung
(das heisst, es werden keine Datensätze dupliziert).
25

Tabellen, technischer Bericht
Wir bieten den Kunden massgeschneiderte Ergebnislieferung. Als Basis liefern wir einen
technischen Studienbeschrieb (methodisches Vorgehen, Ausschöpfung, Besonderheiten/
Zusatzbeobachtungen sowie die eingesetzten Unterlagen).
Die Ergebnisse können in Form von Tabellenbänden (Ergebnisse in Prozent für die Totale
und die wichtigsten Teilstichproben – also gegliedert nach den soziodemografischen
Merkmalen wie z.B. Geschlecht, Alter, Haushaltsgrösse, Einkommen, Beruf, Bildung) oder
in Form von anonymisierten Datensätzen (mit genauer Beschreibung und Beschriftung
sowie einem Gewichtungsfaktor) bezogen werden.
Je nach gewählter Auswertungsoption erstellen wir übersichtliche Powerpoint-Grafiken
bzw. einen schriftlichen Bericht. Dieser enthält ein Management Summary, das innert
Kürze über die Hauptergebnisse informiert (max. 1 bis 2 A4-Seiten), den erwähnten «technischen
Bericht» mit Angaben zur Erhebungsmethode und Stichprobe (ca. 2 A4-Seiten)
sowie einen deskriptiv-analytischen Teil von etwa 10 bis 15 Seiten.
Der Bericht wird in allgemein verständlicher Sprache abgefasst, auf eine gute Lesbarkeit
wird geachtet. Untersucht werden darin insbesondere auch signifikante Veränderungen
zu den Vorjahren oder Abweichungen von Zielvorgaben und/oder Benchmarks sowie Unterschiede
zwischen den soziodemografischen Gruppen.
Je nach Bedürfnis werden die Ergebnisse als gebundener Bericht und/oder elektronisch
geliefert.
Wenn gewünscht, gehen wir in unserem Bericht über die reine empirische Bestandesaufnahme
hinaus und geben unsere Interpretationen, Kommentare und Empfehlungen
ab. Wir präsentieren unsere Befunde für unsere Auftraggeber auch vor einem kritischen
Publikum – etwa vor internen Gremien oder Medien.
27

Unsere Qualitätsrichtlinien
allgemein
Neben diesen Kriterien, die speziell bei Online-Forschung zu beachten sind, lohnt es
sich, das Qualitätsbewusstsein des Anbieters generell zu eruieren. Dieses zeigt sich in
der Offertelegung ebenso wie in der bedürfnisadäquaten Auswertung.
Das in unseren Leitlinien festgeschriebenes ISOPUBLIC-Qualitätsverständnis bedeutet
beispielsweise:
n Modulare Offerte mit klarer Feststellung der Kostenwirkung von Entscheidungen bzw.
Massnahmen (keine Kostenüberraschungen am Ende des Projekts)
n Methodenvarianten mit Pro und Contra – und unsere Empfehlung
n Jeder Fragebogen wird gegengelesen, um eine inhaltliche Optimierung zu erreichen
und Fehler zu vermeiden
n Jedes Programm wird getestet; dabei streben wir neben der inhaltlichen auch die
gestalterische (i.S.v. einfacher Handhabung) Optimierung des Fragebogens an
n Die Stichprobenbildung erfolgt auf Basis der besten verfügbaren Unterlagen
(z.B. Quoten oder Adressen) wissenschaftlich exakt
n Die Projektleiter überwachen jederzeit die Qualität der Feldabteilung
n Feld- und Rücklaufkontrollen werden standardmässig durchgeführt
n Die Validität und Brauchbarkeit des Erhebungsinstruments wird standardmässig in
einer Pilotphase (Pretest) überprüft
n Es gibt klare Auswertungsvorgaben und -kontrollen
n Kundenadäquate, sorgfältige schriftliche und grafische Aufbereitungen (analytisch,
verständlich und stilsicher) beantworten die Ausgangsfragen des Kunden
n Laufendes Projektcontrolling (Qualität, Meilensteine) und anschliessende Analyse
(«Manöverkritik»)
28

Checkliste:
Stellen Sie die richtigen Fragen
Offerte
n Modularität, Wahlmöglichkeit betreffend Anzahl/Umfang der beauftragten Module
n Transparenz (Kostenwirkung verschiedener Alternativen, zugrunde liegende Annahmen)
n Objektive, begründete Methodenempfehlung
Ressourcen
n Qualifikation und Kapazität v.a. der Projektleiter und IT-Spezialisten
n CATI-/CAPI-/Online-Technologie (Hard-/Software, Anzahl Plätze)
n Befragerteam (Qualifikation, Schulung, Erfahrung, Anzahl/regionale Verteilung)
Organisation
n Erreichbarkeit der Projektleiter
n Klare Strukturen und Prozesse (Stellvertreter, Meilensteine)
n Realistische Zeitplanung
n Regelmässige Statusinformationen und Information über Besonderheiten
Projektablauf
n Fragebogen: Abstimmung mit dem Kunden, Gegenlesen, Übersetzung durch Marktforschungsspezialisten
n Pretest und Besprechung der Resultate
n Transparenz hinsichtlich Methodik, Stichprobe und verwendete Unterlagen
n Einhalten der definierten Stichprobenstruktur (Quoten) und Fallzahl
Panelspezifika
n Zeitgemässe, attraktive, seriöse und benutzerfreundliche Befragungs-Plattform bzw. Panel-Portal
n Gesicherte Qualität von Fragebogen und Programmierung
n Rekrutierung der Teilnehmer bei ad-hoc-Studien (Methodik, statistische Basis/Aktualität)
n Kommunikation mit den Probanden (Intensität, Tonalität, Glaubwürdigkeit des Instituts, Transparenz)
n Technischer Support für die Teilnehmer
n Incentivierungsprogramm
n Grösse des Panels (Anzahl, geografische Abdeckung)
n Struktur der Panellisten (bspw. im Vergleich zur Gesamtbevölkerung)
n Vielfalt der Rekrutierungsmethoden (wird auch face-to-face rekrutiert?), Double Opt-In
n Pflege und Nutzung des Panels (minimale und maximale Befragungshäufigkeit)
n Erreichen eines Community-Feeling unter den Panellisten
n Panelmortalität (Austritt bzw. Austausch der Teilnehmer) und Panelaktualität (umfassende und
aktuelle Profiling-Informationen)
n Roll-out der Feldarbeit (Soft-Launch, Einladungsphase, Zugangssteuerung)
n Repräsentativität der Stichprobe, Rücklauf (Ausschöpfungs- und Abbruchquoten)
n Einhaltung der Qualitätsstandards von ESOMAR/vsms-asms
Auswertung, Berichtslegung
n Vercodung aufgrund klarer Vorgaben der Projektleitung
n Transparenz der Gewichtung, Methodenwahl: Faktorengewichtung
n Methodenbericht bzw. technischer Bericht unter Einbeziehung kritischer Punkte
n Wahlmöglichkeit: Daten, Tabellen, Graphiken, Text
n Richtige, gut lesbare und für die Ausgangsfragen relevante Berichte
n Klare Abgrenzung zwischen Analyse und Kommentar bzw. Empfehlung
n Angebot von Follow-Up: Assistenz bei Fragen, Mitwirkung in innerbetrieblichen Prozessen (z.B. Workshops)