Th&ma 2022-2

More documents

Recommendations

Info

TH MA 2-22Publiceren zonder drempelsWe zullen niet nader ingaan op het aspect van ideale archivering,maar een handreiking daarover vind je in referentie(GFISCO). Beperkingen kun je enigszins typeren naaronderzoeksvraag-onderzoeksopzetcombinaties. Om bijvoorbeeldeen oorzaak-gevolgvraag te onderzoeken is eenvragenlijstonderzoek niet het geëigende ontwerp. Ook eenfocusgroeponderzoek of gerandomiseerde trial doen voorvragen naar de prevalentie van een ziekte of ander verschijnsellevert automatisch bepaalde beperkingen op.Als we de onderzoeksvraagstelling kennen, hoe weten wedan welke ideale opzet, uitvoering, analyse, archivering enrapportage daarbij horen? Dat kan moeilijk zijn. We zullenhier niet voor alle soorten onderzoeksvragen op ingaan,maar Tabel 1 geeft een handreiking. In kolom 4 staan denamen van checklists om bronnen van bias te vermijden(risk of bias tools) en in kolom 5 vinden we richtlijnen voorgoede rapportage. Hoewel de laatste gericht zijn op rapportage,is het raadplegen daarvan in de planningsfasevan nieuw onderzoek sterk aan te bevelen. Immers, als weop ideeën komen over wat we geacht worden te rapporteren,zullen we in ieder geval bewust moeten afwegen ofwe die aspecten meenemen in ons ontwerp, onze analyseen archivering.Hoe weten we welkeideale opzet, uitvoering,analyse, archivering enrapportage daarbij horen?Zich beroepend op de evidence-piramide menen veelaanhangers van evidence-based medicine dat voor effectiviteitsvragende gerandomiseerde trial (RCT) de idealeontwerpkeuze is. Maar RCT’s zijn niet altijd mogelijk, zijnduur of tijdverslindend. Bovendien is de ene RCT de andereniet, en binnen die grote ontwerpkeuze zitten tientallenkleinere subontwerpkeuzes verstopt. Resultaten uit eenNr. Type Commentaar Hulp bij keuze optimaal ontwerp in: Hulp bij optimale rapportage in † :1 Prevalentie Vragen naar het vóórkomen van verschijnselen A (Bethlehem, 2017), B (MeursingeReynders et al., 2022)2 Opinie Vragen naar wat (groepen) mensen denken over iets; ditkan kwalitatief of kwantitatief onderzoek zijn3 Oorzaak-gevolg Klassiek onderverdeeld in etiologisch (oorzaken van ziekte(3a)) en interventie-onderzoek (oorzaken van beloop ofprognose; (preventieve) behandeling (3b))4 Marker Klassiek onderverdeeld in diagnostisch onderzoek (crosssectioneel,dat wil zeggen: er is geen tijdverloop tussenvaststelling van de marker en wat je wilt diagnosticeren(bijvoorbeeld ziekte, (4a)) en beschrijvend prognostischonderzoek (longitudinaal, dat wil zeggen: er is tijdsverlooptussen vaststelling van de marker en wat je wiltdiagnosticeren (4b))5 Economischeefficiëntie6 Meeteigenschappenvan meetinstrument7 Beschrijving vanervaringen8 (Systematische)review; meta-researchVragen naar de kosten van gezondheidswinst, oftewelwat de verhouding is tussen monetaire input engezondheidsoutput. Vaak uitgedrukt in gezondheidsmatenzoals (met kwaliteit gewogen) levenstijd (5a) of, bijuitzondering, monetair uitgedrukte gezondheidswinst(kosten-batenanalyse, 5b)Vragen naar validiteit (inclusief responsiviteit) en precisievan meetinstrumentenVragen zoals: waar lopen we tegenaan tijdens hetontwikkelen van een interventie of product?Vaak ontstaat behoefte om een totaaloverzicht te makenvan wat er (in de literatuur) bekend is over de antwoordenop de vragen zoals gesteld onder nummers 1 t/m 7. Ditvergt, per type onderzoek, een apart type meta-onderzoek† Alle in deze kolom genoemde richtlijnen voor goede rapportage zijn te vinden op www.equator-network.orgROBINS I (Sterne et al., 2016)PROBAST (Wolff et al., 2019),QUADAS-2 (Whiting et al., 2011)COSMIN Risk of Bias (Mokkink etal., 2020)ROBIS (Whiting et al., 2018),AMSTAR 2 (Shea et al., 2009)CROSSCREDES, COREQ, SRQRCONSORT-familie, STROBETRIPOD, STARDCHEERSCOSMIN reportingTIDieRPRISMA, ENTREQTabel 1 Hulpbronnen voor optimaal ontwerp (en rapportage) voor de acht soorten toegepast medisch en gezondheids(zorg)-georiënteerd onderzoek46
Publiceren zonder drempelsTH MA themahogeronderwijs.orgNr.Vermelde beperkingen1 De e-mailadressen van onderzoekers die verbonden zijn aan instellingen die de National Survey on Research Integrity (NSRI)niet steunden, werden uit open bronnen geplukt. Daarom kunnen wij niet op geloofwaardige wijze nagaan of de aldus gepluktee-mailadressen voldeden aan onze insluitcriteria voor deelname aan de NSRI. Daarom konden we het responspercentage alleenberekenen op basis van de acht instellingen die de NSRI steunden.2 Zelfs voor de vijf achtergrondkenmerken (gemiddelde duur van onderzoeksgerelateerd werk (per week), het gebied waarin menvooral werkzaam is, academische rang, geslacht en of men empirisch onderzoek deed of niet) kunnen wij de representativiteit vanonze steekproef niet beoordelen.3 † Een beperking van onze analyse betreft het hercoderen van N.v.t.-antwoorden in ‘nooit’ in de multipele lineaire regressie-analyses, aangeziener een verschil is tussen het niet tentoonspreiden van gedrag omdat het echt niet van toepassing is en het opzettelijk nalaten van zulk gedrag.4 † Onze definitie van ‘minstens één frequente QRP’ (twijfelachtige onderzoekspraktijk), voor scores van minstens 5 op de Likert-schaal.Verruiming van de definitie van ‘frequent’ (door een lager afkappunt) zou tot hogere prevalentieschattingen hebben geleid.5 † Andere enquêtes hebben een ander aantal QRP’s beoordeeld en deze soms anders gedefinieerd, wat directe vergelijkingen tussen onzeenquête en die van anderen bemoeilijkt.6 Onjuiste classificaties van academische rang als gevolg van bevordering van personen tot een hogere rang minder dan 3 jaar voorhet invullen van onze enquête. Wij kunnen geen uitspraken doen over het effect van deze verkeerde inschaling op onze resultaten.7 Anderen meldden eerder de hogere prevalentieschatting van falsificatie en fabricatie van gegevens in de bio- en medischewetenschappen. Helaas kunnen we niet concluderen of dit te wijten is aan meer wangedrag of aan het feit dat onderzoekers in ditspecifieke vakgebied zich gewoon bewuster zijn van het probleem en dus eerder bereid zijn het te melden.8 We ontdekten dat wetenschappers uit de Letteren en Wijsbegeerte, evenals promovendi en junior-onderzoekers, de RRP’s(responsible research practices) vaker als ‘niet van toepassing’ rapporteerden. We weten niet of dit komt doordat deze open scienceRRP’s echt niet toepasbaar zijn of dat deze praktijken nog niet erkend worden als standaard verantwoorde praktijken in dezediscipline en rang.Niet vermelde (mogelijke) beperkingen9 † Onze definitie van ‘minstens één frequente QRP’, voor scores van minstens 5 op de Likert-schaal. Vernauwing van de definitie van ‘frequent’(door een lager afkappunt) zou tot lagere prevalentieschattingen hebben geleid. 10 De vier vrij grof onderscheiden velden van onderzoek doen geen recht aan eventuele onderzoekscultuurverschillen binnen die velden.11 Als de mate van bewustzijn inderdaad van invloed is op de geneigdheid een bepaalde antwoordcategorie te kiezen (zie nr. 7 invermelde), heeft dit verdergaande gevolgen voor de interpretatie van de resultaten van de NSRI.12 De psychometrische schalen zijn niet allemaal in dezelfde mate gevalideerd.13 Het is onzeker in welke mate de eventuele selectieve non-respons ook leidt tot verkeerde schattingen van de gevonden associaties.14 Hoewel alle multipele regressieanalyses gecorrigeerd werden voor alle psychometrische schaalscores en de vijfachtergrondvariabelen, is vertekening van de gevonden associaties door het niet meten van andere relevante confounders nietuitgesloten.15 † Hoewel naast hoofdeffecten ook is gekeken naar een beperkt aantal subgroepeffecten, is niet uitgesloten dat er belangrijke, niet-vermoedesubgroepeffecten bestaan die we niet hebben gezien.16 Het is onzeker in welke mate de eventuele systematische meetfouten in de antwoorden op deze gevoelige onderwerpen, ondankstoepassing van de randomised responsemethode, leidt tot verkeerde schattingen van de gevonden associaties.17 Het feit dat deze survey in Nederland werd uitgevoerd heeft mogelijkerwijs verschillende implicaties voor de generalisatie van deresultaten van enerzijds de prevalentieschattingen van (on)verantwoorde onderzoekspraktijken en anderzijds de associaties ervanmet psychometrische schalen, zoals bijvoorbeeld publicatiedruk of mentorschap.18 Het feit dat alleen volledig ingevulde enquêteformulieren konden worden ingezonden, heeft de precisie van de survey mogelijknegatief beïnvloed.19 We kunnen niet geheel uitsluiten dat sommige respondenten onderling overleg hadden over gegeven antwoorden alvorens hunantwoorden in te zenden.20 Ondanks de nodige inspanningen vooraf kunnen we niet uitsluiten dat sommige respondenten bepaalde vragen niet goed begrepen,wat hun antwoorden kan hebben beïnvloed.21 De focus op gedrag in de laatste drie jaar leidt door een selectief of slecht geheugen mogelijk tot meetfouten. Overigens staat het lezers vrij de NSRI-dataset te downloaden op osf.io/ehx7q/ en zelf het effect van andere keuzes te bepalen. Dat is het voordeel van transparant archiveren (GFISCO).† Schuingedrukte items zijn redelijkerwijs in het onderzoek zelf te checken door uitgebreidere robuustheidsanalyses te doen.Tabel 2 Vermelde en niet vermelde beperkingen van de National Survey on Research Integrity (Gopalakrishna, 2021; Gopalakrishnaet al., 2022)47
Page 1 and 2: WWW.THEMAHOGERONDERWIJS.ORGTH MAHOG
Page 3 and 4: Publiceren zonder drempels22022
Page 5 and 6: inhoudTH MAthemahogeronderwijs.orgP
Page 7 and 8: Publiceren zonder drempelsTH MA the
Page 47: Publiceren zonder drempelsTH MA the
Page 67 and 68: TH MA themahogeronderwijs.orgStuden
Page 69 and 70: vernieuwingsbeweging die in2013 van
Page 71 and 72: met de vroegere kweekschooleen veel
Page 73 and 74: drukten op belangrijke momentenhun
Page 75: Maar vóór hetzover is moet de opl

Th&ma 2022-2

Create successful ePaper yourself

Delete template?

Save as template?