Jan Pickery - 2010 - pdf - 1,2 MB - Vlaanderen.be

1. InleidingDe Studiedienst van de Vlaamse Regering (SVR) wil bijdragen aan een kwaliteitsverhoging van destatistiekproductie binnen de Vlaamse overheid. Onze brochure over de principes vankwaliteitszorg in het statistische productieproces met heel wat aanbevelingen in verband met hetverzamelen, verwerken en documenteren van statistische gegevens kadert daarin (APS, 2003).Verder willen wij ook concretere handleidingen aanbieden over het juiste gebruik van statistischetechnieken. Zo verschenen er Technische rapporten over de interpretatie van interactie-effecten inregressiemodellen (Pickery, 2008) en over het gebruik van contextuele regressiemodellen bij hetvergelijken van landen (Callens, 2010).In deze nota gaan we dieper in op de aanmaak van gewichten voor surveydata en het gebruikervan bij de analyse. In deze uiteenzetting beperken we ons tot surveys van personen waarbijslechts een deel van de populatie bevraagd werd en waarbij die steekproef aselect getrokken is,een toevalssteekproef of een kanssteekproef dus. De principes zijn over het algemeen wel vlotoverdraagbaar naar surveys van organisaties en sommige zijn ook toepasbaar als in eersteinstantie de volledige populatie geselecteerd werd voor de survey. De beperking tot surveysgehouden bij een toevalssteekproef van personen, maakt het echter veel eenvoudiger om in dezetekst een eenvormig taalgebruik aan te houden, wat dan weer hopelijk de leesbaarheid ten goedezal komen.De theoretische uiteenzetting wordt eerder beperkt. We verwijzen op verschillende plaatsen naarbestaande literatuur, waar de geïnteresseerde lezer meer uitleg kan vinden. Wel zullen weuitvoerig aandacht besteden aan twee toepassingen. De eerste betreft de survey naar “Sociaalcultureleverschuivingen in Vlaanderen” (SCV-survey), de tweede de survey van de stadsmonitor2008. Deze praktische voorbeelden verduidelijken hopelijk de gebruikte werkwijze bij deberekening van de gewichten en de te volgen analysestrategie.De rest van de tekst is als volgt opgebouwd: in sectie 2 verduidelijken we waarom gewichtennuttig en nodig kunnen zijn. In sectie 3 beschrijven we de assumpties die gelden bij gewogenanalyses. In sectie 4 en 5 beschrijven we de verschillende stappen die gevolgd kunnen worden bijde berekening van de gewichten. In sectie 6 tonen we aan de hand van een fictief voorbeeld aanhoe onoordeelkundig gebruik van gewichten bij de analyse van surveydata tot verkeerdeconclusies kan leiden. Sectie 7 illustreert zowel de berekening van gewichten als het gebruik ervanbij de analyse voor de SCV-survey 2008. Sectie 8 doet hetzelfde voor de survey van destadsmonitor. Sectie 9 ten slotte besluit deze nota.2. Waarom wegen?Het gebruik van gewichten bij de analyse van surveydata heeft tot doel een aantal systematischefouten die gemaakt worden zo klein mogelijk te houden. Uitspraken gebaseerd op een survey dieslechts een deel van de populatie bevraagd heeft, bevatten immers altijd fouten. Die afwijkingen offouten worden doorgaans opgedeeld in twee componenten: steekproefvariabiliteit en vertekening.De eerste component geeft gewoon aan dat een andere, op dezelfde wijze getrokken, steekproeftot een ander resultaat had kunnen leiden. Dat is nu eenmaal het gevolg van een niet-uitputtendebevraging van de volledige populatie en is dus eerder een onzekerheid dan een fout. Dezeonzekerheid neemt af naarmate de steekproefomvang groter wordt. De tweede component,vertekening of “bias”, duidt erop dat de schatting die in de uitspraak vervat is, in een bepaalderichting verkeerd kan zijn, dit als gevolg van bepaalde tekorten bij de meetmethode of hetonderzoeksopzet. Het is een fout die bij een herhaling van de onderzoeksopzet met nieuwesteekproeven telkens weer in dezelfde richting gaat. Biemer en Lyberg (2003, 38-43) delen foutendie tot vertekening kunnen leiden op in 5 componenten: specificatiefouten, fouten met betrekkingtot het steekproefkader, non-responsfouten, meetfouten en procesfouten. Specificatiefoutentreden op als het concept dat gemeten wordt door de vraag van de survey niet (volledig)overeenstemt met het concept dat gemeten zou moeten worden. Een inadequaat steekproefkader,de (administratieve) omschrijving van de te onderzoeken populatie, kan ertoe leiden dat niet devolledige populatie gedekt wordt in het onderzoek (dekkingsfout). Er is non-respons als niet bij alleeenheden (volledige) informatie kan bekomen worden. Respondenten, interviewers envragenlijsten kunnen meetfouten veroorzaken. Respondenten kunnen foute informatie verstrekken(al dan niet gewild), interviewers kunnen het antwoordgedrag beïnvloeden en ambigue vragen of3