Kwantitatief en kwalitatief onderzoek naar IT-USE van ...

Kwantitatief en kwalitatief onderzoek naar IT-USE vaninformatiesystemenMichael U.A. BreitenbachUniversity of TwenteBusiness, Public Administration and Technologymichael_ut@breitenbach.nlABSTRACTHet ontwikkelen van informatiesystemen is een kostbareaangelegenheid. Voor het onderzoeken naar het succes van eeninformatiesysteem wordt vaak gebruik gemaakt van maar éénmethode, kwalitatief of kwantitatief onderzoek. Beide methodenworden gebruikt om onderzoek te doen naar IT-USE van het e-learning-systeem Teletop. Hier komt naar voren dat er verschillenzijn in de uitkomsten. Vooral op de factoren systeem kwaliteit alsook informatie kwaliteit scoort Teletop niet voldoende. De tweemethoden vullen elkaar goed aan en het is aan te vbevelen omvaker beide te gebruiken.KeywordsTechnology Acceptance Model, effort expectancy, performanceexpectancy, system use, Unified Theory of Acceptance and Useof Technology, USE-IT, perceived usefulness, effort expectancy,quantitative research, qualitative research.1. INLEIDINGJaarlijks worden door bedrijven miljoenen euro’s geïnvesteerd innieuwe informatiesystemen. Informatiedeskundigen, consultantsen vele andere partijen worden ingezet om deze te ontwikkelen enin te voeren op een zo ideaal mogelijke manier. Toch komt hetnog steeds vaak voor dat een systeem niet het beoogde resultaatgeeft of dat het zelfs een totale mislukking (failure) is [SHO04].Hoe is dit mogelijk? Hebben de deskundigen hun werk niet goedgedaan?Het succes van informatiesystemen hangt zoals men weet af vanverschillende factoren. Veel adviseurs richten zich hierbij vooralop de wensen van de gebruikers en gaan er al vanuit dat ze debelangrijkste stap hebben gedaan richting succes als ze degebruikerswensen gedestilleerd hebben.Er is veel onderzoek verricht naar het succes en de acceptatie vaninformatiesystemen, dit onderzoek richt zich meestal op een vande twee globale onderzoeksmethoden, kwalitatief dan welkwantitatief onderzoek.Permission to make digital or hard copies of all or part of this work forpersonal or classroom use is granted without fee provided that copies arenot made or distributed for profit or commercial advantage and thatcopies bear this notice and the full citation on the first page. To copyotherwise, or republish, to post on servers or to redistribute to lists,requires prior specific permission.3rd Twente Student Conference on IT , Enschede June, 2005Copyright 2005, University of Twente, Faculty of ElectricalEngineering, Mathematics and Computer ScienceDavis [DAV89] heeft laten zien dat er nog meer factorenmeebepalend zijn voor het gebruik van een informatiesysteem. Inzijn Technology Acceptance Model (TAM) noemt hij devariabelen die de factoren perceived usefulness en perceived easeof use beïnvloeden. Onder perceived usefulness verstaat Davis:“de mate waarin een persoon gelooft dat het gebruik van eensysteem zijn arbeidsprestaties zal verbeteren.” Het begripperceived ease of use omschrijft hij als: “de mate van moeite diede gebruiker denkt te hebben met het gebruik van het systeem.”Deze twee determinanten leiden tot een bepaalde houding naar hetgebruik van het systeem en beïnvloeden de intentie om hetsysteem te gebruiken. In een onderzoek van Hendrickson[HEN96] worden de bevindingen van Davis bevestigd.In 2003 heeft Venkatesh e.a [VEN03] verschillende theorieënover acceptatie van technologie gecombineerd tot een integraalmodel. Het model waar het hier om gaat heet Unified Theory ofAcceptance and Use of Technology model (UTAUT). De termenperceived ease of use en perceived usefulness zijn nu vervangendoor respectievelijk effort expectancy en performance expectancy.Naast deze twee determinanten beschouwt het UTAUT nog socialinfluence en facilitating conditions als belangrijke determinanten.Veel van het uitgevoerde onderzoek leunt maar op één bepaaldemethode, kwantitatief of kwalitatief ([MAT01], [CHA96],[VEN03]). Sinds kort maken sommige onderzoekers gebruik vanbeide methodes en komen hier tot interessante resultaten[KAP05].Onderzoek naar gebruik en acceptatie van informatiesystemenwordt ook omschreven als onderzoek naar IT-USE.Voor de toekomst is het van groot belang om te weten wat debelangrijke verschillen zijn van de twee onderzoeksmethoden, enhoe deze gebruikt kunnen worden bij het ontwikkelen enontwerpen van nieuwe informatiesystemen.2. PROBLEEMSTELLINGOm een onderzoek te kunnen doen naar de verschillen tussen deuitkomsten van kwantitatief en kwalitatief onderzoek op hetsucces van informatiesystemen moest er een informatiesysteemgekozen worden.Gezien de tijdsrestrictie ligt het voor de hand om een systeem tekiezen dat redelijk dichtbij in de omgeving te vinden is en waareen makkelijk te benaderen doelgroep mee te maken heeft. Dekeuze is gevallen op het learning-space systeem Teletop, dat opde Universiteit Twente (UT) wordt gebruikt voor ondersteuningvan de lesvakken.

De onderzoekspopulatie bestaat uit studenten van de UT, die hetsysteem moeten gebruiken voor hun vakken. Door debeschikbaarheid van een grote groep studenten voor hetonderzoek is de keuze, deze groep als onderzoekspopulatie tenemen, gebaseerd.De probleemstelling luidt:Wat is het verschil tussen de uitkomsten van kwantitatief enkwalitatief onderzoek naar IT-Use op informatiesystemen?3. ONDERZOEKSVRAGENOm de onderzoeksvraag te kunnen beantwoorden, werden eenaantal subvragen opgesteld. Via het vinden van de antwoorden opdeze subvragen zal er getracht worden om een antwoord tevinden. Deze subvragen zijn gericht op Teletop als het specifiekte onderzoeken systeem.Onderzoeksvragen:• Hoe kan kwalitatief onderzoek naar IS-succes gebruiktworden bij Teletop?• Hoe kan kwantitatief onderzoek naar IS-succes gebruiktworden bij Teletop?• Hoe kan kwantitatief en kwalitatief onderzoek gebruiktworden voor het meten van IS-succes bij Teletop?• Wat zijn de uitkomsten van kwantitatief en kwalitatiefonderzoek naar Teletop?In dit onderzoek wordt onder succes van een informatiesysteemverstaan:“De gebruiker is tevreden over het systeem.”4. ONDERZOEKSMETHODEHet onderzoek bestaat uit drie delen, als eerste is er eenliteratuurstudie, om tot een antwoord van de eerste twee vragen tekomen. Deze antwoorden leiden tot twee onderzoeksmodellen,kwalitatief en kwantitatief, die nader omschreven worden. Voorhet kwantitatieve model wordt er een vragenlijst gemaakt welkegebaseerd is op de gevonden modellen tijdens de literatuurstudie.Het kwalitatieve onderzoek wordt uitgevoerd door middel vaninterviews die afgenomen worden van studenten.Het tweede deel van het onderzoek bestaat uit het ondervragenvan de studenten. Voor het kwantitatieve onderzoek zal gebruikworden gemaakt van minimaal zestien studenten, waarvan dehelft een niet-technische studie, zoals bestuurskunde enpsychologie, volgt en de andere helft een technische studie, zoalsinformatica of technische natuurkunde. Deze twee groepenvormen een homogene groep. Voor het kwalitatieve onderzoekzullen vier studenten ondervraagd worden door middel vaninterviews, hier zijn weer de helft technisch en de andere helftniet-technisch. Als toevoeging naar het hoofdonderzoek is er eenonderscheid gemaakt tussen deze twee groepen, hiervoor zijndeze dus onderscheiden in een technische groep en een niettechnische.De uitkomsten van de enquêtes en de interviews zullen met elkaarworden vergeleken en geanalyseerd, wat zal leiden tot deconclusie en het antwoord op de hoofdvraag en vormt deel drie.5. ONDERZOEKWetenschappelijk onderzoek, zowel kwantitatief als kwalitatief,houdt zich bezig met het verklaren van oorzaken vanverschijnselen, het vinden van betere methoden of met het meerinzicht krijgen in bepaalde effecten. Wetenschappelijk onderzoekis dikwijls zeer complex en wordt vaak multidisciplinairbeoefend. Ook is er sprake van een zekere taakverdeling tussenfundamenteel en praktijkgericht onderzoek. Het wordt zowelgedreven door nieuwsgierigheid als door de maatschappelijkevraag. Doorslaggevend voor het beoefenen van onderzoek zijn deaanpak van het probleem en het niveau van de bewijskracht vande onderzoeksresultaten5.1 Kwalitatief OnderzoekIn deze paragraaf zal globaal uitgelegd worden wat onderkwalitatief onderzoek wordt verstaan en zal aansluitend naderingegaan worden op het gebruik ervan met betrekking totonderzoek naar gebruik en acceptatie van informatiesystemen.5.1.1 Algemeen“Onderzoek waarbij je overwegend gebruik maakt van gegevensvan kwalitatieve aard en dat als doel heeft onderzoeksproblemenin of van situaties, gebeurtenissen en personen te beschrijven ente interpreteren.” [BAA01]Er zijn verschillende methoden binnen kwalitatief onderzoek omaan de benodigde gegevens te komen. Zoals in de definitie al isaangeduid gaat het om het observeren dan wel het vergaren vanmeningen van personen, deze gegevens kunnen via interviews,observaties of casestudies verkregen worden. Een belangrijk puntbij kwalitatief onderzoek is het vaststellen van de doelgroep inwelke de respondenten gezocht moeten worden, zodat dezerepresentatief zijn voor de gehele groep.5.1.2 Naar gebruik van ITVoor het onderzoek naar het gebruik van IT zijn er verschillendekwalitatieve methoden ontwikkeld. Deze methoden latenuiteindelijk goed zien wat de perceptie van een gebruiker tenaanzien van het informatiesysteem is. Een belangrijk model is hetUSE-IT-model van Lagendijk e.a. [LAG00]. Dit modelonderscheidt drie determinanten die de weestand en het succesbepalen van een IS. De drie determinanten zijn zoals ook te zienin het volgende figuur, relevance, requirements en resources.Hierbij wordt onder relevance verstaan “de mate waarin degebruiker verwacht dat het IT-systeem zijn problemen zaloplossen of zal bijdragen bij het realiseren van zijn actuelerelevante doelen.” Requirements wordt door Spil gedefinieerd als“de mate waarin de behoeften van de gebruiker tegemoet wordengekomen door de productkwaliteit van de innovatie.” enresources beschrijft hij als “de mate waarin hulpmiddelenbeschikbaar zijn voor het ontwerpen, gebruiken en onderhoudenvan het informatiesysteem.” [SPI05] Door deze drie factoren teonderzoeken door middel van interviews en observaties kan eengoede indicatie gegeven worden in hoeverre hetinformatiesysteem succesvol is. Om de verschillende factoren tebepalen, is een vragenlijst ontwikkeld die gebruikt kan worden bijde doelgroep. Via interviews kan vervolgens een beeld verkregenworden in hoeverre de verschillende factoren een rol spelen bijhet succes van het informatiesysteem.

5.2.2 Naar gebruik van ITHet begin van het kwalitatief onderzoek naar het succes vaninformatiesystemen is gemaakt door Davis [DAV89]. PerceivedUsefulness en Ease of Use zijn voor hem de belangrijkstedeterminanten die bijdragen aan de intentie en het uiteindelijkegebruik van informatiesystemen.PerceivedUsefulnessFiguur 1 The success factors of information systemsEen van de belangrijkste modellen die bij kwalitatief onderzoekwordt gebruikt, is het geherformuleerde IS-succes model vanDeLone en McLean [DEL02]. In dit model geven DeLone enMcLean de gebruiker een centrale rol door middel van devariabelen user satisfaction (gebruikers tevredenheid) en use(gebruik). Om het mogelijk te maken om via dit model het succeste meten is het belangrijk om te bepalen vanuit welk gezichtpunthiernaar gekeken zal worden, dit is afhankelijk van debelanghebbende en het type systeem dat gebruikt wordt.Onafhankelijk van de belanghebbende en het systeem blijven deuiteindelijke voordelen afhankelijk van het gebruik en degebruikers tevredenheid. In het model van DeLone en McLeanzijn het gebruik en de gebruikerstevredenheid afhankelijk van drieandere factoren: informatiekwaliteit, systeemkwaliteit enservicekwaliteit.InformationQualitySystem QualityService QualityUse(Intentention touse)User SatisfactionFiguur 2 The Reformulated IS SuccessNetBenefits5.2 Kwantitatief OnderzoekIn de volgende paragrafen zal duidelijk gemaakt worden watonder kwantitatief onderzoek wordt verstaan en op welkemanieren het uitgevoerd kan worden bij onderzoeken naar hetgebruik van informatiesystemen?ExternalVariablesPerceivedEase of UseAttitudeTowardsUsingBehavioralIntentionto UseSystemUseFiguur 3 TAMDavis heeft ter verificatie van het model een aantal onderzoekenuitgevoerd, waarin hij gebruik heeft gemaakt van uitkomsten vanvragenlijsten die de vooral de verhouding tussen de perceivedusefulness, perceived ease of use en system use bekeken. Zoals alin de inleiding is vermeld verstaat Davis onder “perceivedusefulness” de mate waarin een persoon gelooft dat het gebruikvan een systeem zijn arbeidsprestaties zal verbeteren, en“perceived ease of use” is de mate van moeite die de gebruikerdenkt te hebben met het gebruik van het systeem. Omsamenhangen tussen deze factoren te kunnen ontdekken,onderzocht Davis de gegevens op onderlinge correlatie en maaktehij hierbij gebruik van regressieanalyse.Het Technology Acceptance Model (TAM) van Davis werd doorvele onderzoekers gebruikt om bepaalde effecten te kunnenverklaren. Venkatesh e.a. [VEN03] gingen ervan uit dat er nogmeer factoren zijn die de intentie en het gebruik van het systeembij de gebruiker beïnvloeden. Hiervoor hebben ze een modelontwikkeld dat als basis het TAM van Davis gebruikt. Naast detheorie van Davis betrekken Venkatesh e.a. ook een aantal anderemodellen over acceptatie van IT, zoals het Model of PCUtilization van Thompson en de Theory of Reasoned Action vanFishbein en Ajzen. Het resultaat hiervan is het UTAUT-model(Unfied Theory of Acceptance and Use of Technology), zie figuur4. Het model, dat al in de introductie werd genoemd, is doormiddel van uitgebreide statistische berekeningen onderzocht opzijn toepasbaarheid. Venkatesh heeft hiervoor gebruik gemaaktvan een regressieanalyse.5.2.1 AlgemeenOnderzoek waarbij gezocht wordt naar algemene wetmatighedenop basis van een theorie of theoretisch uitgangspunt. Bij dezemethode wordtDoor middel van statistische berekeningen kunnen verbandengelegd worden tussen verschillende uitkomsten en factoren.

Figuur 4 UTAUT-modelDoor kwantitatief onderzoek, o.a. correlatieonderzoek, naar deverschillende verhoudingen tussen de verschillende determinantenis vastgesteld dat het model een goede weergave geeft van dezeverhoudingen.5.3 Combinatie Kwalitatief en KwantitatiefIn een studie van Kaplan [KAP05] werd onderzoek gedaan naardrie verschillende medische informatiesystemen. In al deze driecase-studies komt zij met behulp van kwalitatief onderzoek, naasthet kwantitatief onderzoek, tot belangrijke aanvullendeuitkomsten, waardoor bijvoorbeeld het falen van een systeem tochnog verklaard kon worden.Tot dezelfde conclusie kwam ook van der Meijden in haaronderzoek naar de toegevoegde waarde van het evalueren vanelektronische patiënten dossiers [MEI05].6. ONDERZOEK NAAR TELETOPTeletop is een e-learning systeem dat ontwikkeld werd terondersteuning van de studenten bij hun studie. Met het systeemdat via internet toegankelijk is, is het mogelijk om het rooster tebekijken, studiemateriaal op te halen, zoals college-sheets ofartikelen, en kunnen ook de e-mail-adressen gevonden wordenvan de docenten en de studenten die aan het vak meedoen. ViaTeletop heeft de student ook de mogelijkheid om vragen te stellenaan de docent en kan hij uitwerkingen van opdrachten inleveren.Op dit moment wordt er nog niet voor elk vak gebruik gemaaktvan Teletop, maar groeit het aantal gestaag.6.1 Kwalitatief Onderzoek6.1.1 SetupVoor het kwalitatieve onderzoek naar het succes van Teletop isgebruik gemaakt van een aangepast interviewschema van hetUSE-IT-model van Spil e.a. [SPI05] . Uit het model zijn i.v.m. debeperktheid van middelen niet alle aspecten overgenomen, maarwerd het beperkt tot vragen naar het primaire proces en derelevantie. Tabel 1 laat de vragen zien die gesteld zijn voor hetonderzoek.Tabel 1 Vragenlijst USE-IT bij TeletopP Primary ProcessP1 Hoe deel je je studie in?• lezen• samenvattingen maken• informatie opzoekenP2 Wat voor omstandigheden zorgen ervoor dat de studieniet zoals gepland wordt gevolgd?P3 Waar haal je je informatie op?P4 Hoe loopt het contact naar de docentenP5 Hoe loopt het contact naar de medestudenten?P6 Wie zou er nog meer bij de studie betrokken moetenzijn?P7 Wat vind je belangrijk aan het contact met docenten enmedestudenten?REL RelevanceR1 Wat vind je bij je studie een belangrijk onderdeel?R2 Wat zijn punten in je studieomgeving die eenbelemmering vormen voor het goed volgen vanonderwijs?R3 Heb je ideeën voor verbeteringen betreffende de vormvan de studie?R4 In welke vorm is ICT belangrijk voor je?R5 Welk aspect van de studie zou je missen als het zouworden verwijderd?Voor het uitvoeren van de interviews heb ik gezocht naar eenviertal studenten van de Universiteit Twente, waarbij twee meteen technische en twee met een niet-technische studie. Er zijntwee informaticastudenten ondervraagd, het technische gedeelte,en een psychologiestudent en een student die toegepasteonderwijskunde volgt. De antwoorden van de studenten op deverschillende vragen worden gebruikt om te kijken in hoeverreTeletop aansluit aan het primaire proces en de wensen dan welvoorkeuren die de studenten hebben wat betreft de leermethode.6.1.2 UitkomstenOver het algemeen kan gesteld worden dat Teletop een aardigsysteem is als het gaat om het verstrekken van vakinformatie. Destudenten hebben op zich al voldoende andere mogelijkheden ommet elkaar of met de docent te communiceren, hierbij wordtvooral gebruikt gemaakt van e-mail, en verschillende instantmessengerzoals ICQ en MSN. Een instant-messenger is eenprogramma waarmee twee of meer gebruikers rechtstreeks metelkaar kunnen communiceren via het internet. Alscommunicatiemiddel is Teletop op dit moment niet bijzondergeschikt, dit komt mede doordat actuele informatie soms te laat ofniet beschikbaar gesteld wordt, of dat er op antwoorden op vragendie gesteld worden op de site lang gewacht moet worden.ICT is voor beide groepen studenten heel belangrijk, terwijl detechnische studenten veel met ICT te maken hebben ook buitenhun studie, bijvoorbeeld voor het spelen van games, hebben de

niet-technische studenten vooral voor de communicatie en hetmaken van opdrachten hiermee te maken. Communicatie is hiereen belangrijke relevantie-factor.Aan de hand van de antwoorden op de USE-IT vragen kan ooknagegaan worden in hoeverre het model van DeLone en McLeanvan toepassing is.De student heeft behoefte aan duidelijke informatie die op afroepbeschikbaar is. Dit zijn onderdelen die te maken hebben met deinformation quality uit het model. Informatie is hier een verdererelevantiefactor. De studenten gaven aan dat bepaalde informatiesoms onduidelijk beschikbaar werden gesteld, of verouderd zijn.De student heeft verder niet zoveel behoefte aan communicatiemet de docent, maar als deze nodig is moet deze ook zo snelmogelijk reageren op de vraag. Op Teletop is het wel mogelijkom vragen te stellen, maar worden deze, afhankelijk van het vak,vaak laat of niet beantwoord.6.2 Kwantitatief onderzoek6.2.1 SetupVoor het uitvoeren van het kwantitatieve onderzoek werd eenvragenlijst uit het UTAUT-model van Venkatesh aangepast enwerden hieruit twee onderdelen apart uitgehaald, de Performanceexpectancy en de Effort expectancy. Het onderzoek van deUTAUT probeert te bepalen hoe succesvol het informatiesysteemis door te bekijken of de gebruiker ook daadwerkelijk het systeemgebruikt, omdat Teletop een systeem is dat eigenlijk door dedocent onmisbaar is gemaakt is de vraagstelling van dit gedeelteom toch nog een interessante uit onderzoek. Voor deze enquêtewerd gebruik gemaakt van Likert-schalen, deze waardering gaatvan 1 (helemaal mee eens) tot 5 (helemaal mee oneens), op dezemanier is het mogelijk om berekeningen uit te voeren.Tabel 2 EnquêtevragenPerformance ExpectancyP1P2P3P4Ik vind Teletop bruikbaar voor mijn studie.Het gebruik van Teletop zorgt ervoor dat ik mijn takensneller uitvoer.Het gebruik van Teletop zorgt voor grotere efficiëntie.Door het gebruik van Teletop zal ik hogere cijfers krijgen.Effort ExpectancyE1 Mijn interactie met Teletop is duidelijk en begrijpbaar.E2E3E4Het is makkelijk voor mij om vaardig met het systeem teworden.Ik vind het een makkelijk te gebruiken systeem.Het leren omgaan met Teletop is eenvoudig voor mij.groep studenten werd ingedeeld in twee groepen, de eerste groepbestaat uit studenten met een niet-technische studie, de anderegroep bestaat uit studenten die een technische studie volgen. Destudenten kregen allen de vraag om de enquête in te vullen enweer in te leveren.6.2.2 UitkomstenIn de volgende subparagrafen komen de statistische uitwerkingenen de conclusies aan de hand van deze. Zo is te achterhalen ofeffort expectancy en performance expectancy een positievebijdrage leveren aan het willen gebruiken van Teletop. De scoresvan de enquêtes zijn te vinden in de bijlage.Er wordt een onderscheid gemaakt tussen de technische en niettechnischestudenten maar ook zal er een totale uitkomst bekekenworden.Tabel 3 laat zien dat er een lichte positieve correlatie bestaattussen performance en gebruik en effort en gebruik bij detechnische studenten.Perfor-Tabel 3 Correlatie Technische StudentenPerformanceEffort UsePearsonCorrelation1 -.062 .444mance Sig. (1-tailed) .432 .099N 10 10 10EffortUsePearsonCorrelation-.062 1 .477Sig. (1-tailed) .432 .082N 10 10 10PearsonCorrelation.444 .477 1Sig. (1-tailed).099 .082N 10 10 10Bij de niet-technische studenten is er ook sprake van een lichtepositieve correlatie tussen performance en gebruik, maar is dezeminder significant dan bij de technische studenten (zie tabel 4). Eris hier geen correlatie tussen effort en gebruik te ontdekken.BehaviourB1Ik zou Teletop ook gebruiken als er geen documenten op tehalen warenAls onderzoekspopulatie werden studenten van de UT gekozendie ook met Teletop te maken hebben tijdens hun studie. Deze

Perfor-Tabel 4 Correlatie Niet-technische StudentenPearsonCorrelationPerformanceEffortUse1 .443 .332mance Sig. (1-tailed) .136 .221N 8 8 8EffortUsePearsonCorrelation.443 1 .012Sig. (1-tailed) .136 .489N 8 8 8PearsonCorrelation.332 .012 1Sig. (1-tailed) .221 .489N 8 8 8Wordt er naar de totale populatie gekeken is er een zwak positievecorrelatie te zien tussen performance en gebruik, deze is ooksignificant (zie Tabel 5). Er is geen sprake van correlatie tusseneffort en gebruik.Perfor-Tabel 5 Correlatie Totale PopulatiePearsonCorrelationPerformanceEffortUse1 -.221 .413(*)mance Sig. (1-tailed) .189 .044N 18 18 18EffortUsePearsonCorrelation-.221 1 -.124Sig. (1-tailed) .189 .313N 18 18 18PearsonCorrelation.413(*) -.124 1Sig. (1-tailed) .044 .313N 18 18 18* Correlation is significant at the 0.05 level (1-tailed)Naast deze uitkomsten was een belangrijk verschil tussen beidepopulaties, dat de Effort Expectancy gemiddeld hoog gewaardeerdis door de niet-technische studenten (2,97) en laag door detechnische studenten (1,4). Hieruit zou men kunnen concluderendat Teletop voor technische studenten beter en sneller te begrijpenis dan voor niet-technische studenten. Opvallend is hier dan dat erjuist bij de technische studenten een positieve correlatie is tusseneffort en gebruik en bij de andere groep niet. Hier zou hetmisschien zo kunnen zijn dat vooral de technische studentenkritischer zijn richting effort dan de niet-technische studenten, ofdat ze de beter op letten op de gebruiksvriendelijkheid. Het kanook zo zijn dat de niet-technische studenten de systemen gewoongebruiken zoals dat van hun verwacht wordt en gewoon hun werkdoen zonder stil te staan bij de functionaliteiten.7. VERGELIJK RESULTATENTeletop is een bruikbaar systeem, maar is nog niet helemaalsuccesvol wat het beoogde gebruik betreft. Het is voor niettechniciredelijk moeilijk om te leren, maar dat beïnvloed niet hetgebruik ervan. Bepaalde functionaliteiten zijn nog niet optimaal inhet systeem en worden liever via omwegen verkregen, zoals decommunicatiemogelijkheden met de docent.Via het kwalitatieve onderzoek komt naar voren waarin de studenteigenlijk behoefte heeft en wat zijn primaire processen zijn. Viade antwoorden van de studenten kan men al redelijk bepalen ofbepaalde functies binnen een informatiesysteem geaccepteerdzullen worden en gebruikt. Zo zal er nauwelijks gebruik wordengemaakt van de mogelijkheid tot discussiëren of het stellen vanvragen via Teletop, maar zal er rechtstreeks via mail of viamessenger contact opgenomen worden met de docent dan wel demedestudent.Het kwantitatieve onderzoek onderzoekt eerder de bevindingenmet het huidige systeem. Wat vinden de studenten van hetsysteem, is het eenvoudig te gebruiken en zinvol?Als het naar de verschillende factoren van DeLone en McLeanwordt gekeken kunnen via de uitkomsten uit het UTAUTonderzoekook hierop antwoorden gevonden worden. Zo is desystems quality wat betreft de usability voor niet-technischestudenten laag, terwijl voor de technische studenten deze hoog is.8. CONCLUSIE EN DISCUSSIETijdens het onderzoek is gebleken dat de uitkomsten van de tweeverschillende onderzoeksmethoden, kwalitatief en kwantitatief,beide niet tot dezelfde resultaten leiden, maar elkaar aanvullen.Het is volgens mij belangrijk om in bepaalde gevallen waar eensysteem belangrijk is voor het succes van een onderneming, beidesoorten onderzoek uit te voeren.Belangrijke hulpmiddelen zijn hierbij het USE-IT model vanLagendijk en o.a. het UTAUT-model van Venkatesh. Een goedecombinatie kan mijns inziens worden verkregen door middel vanhet model van DeLone en McLean. In dit model zou zowelgebruik gemaakt kunnen worden van kwantitatieve methoden alskwalitatieve.In het begin werd er op gewezen dat er veel middelen in omgaanbij het ontwikkelen van informatiesystemen. Nu het gebleken isdat het al bij zo een relatief klein systeem tot belangrijkeverschillen dan wel waardevolle aanvullende informatie isgekomen, zal dit bij grotere systemen zeker ook het geval zijn,van daar is het aan te bevelen ook bij andere projecten beidesystemen toe te passen.Een kleine kanttekening van het onderzoek kan worden gemaaktmet betrekking tot de onderzoekspopulatie. Deze heb ik beperkttot de studenten die het systeem voor hun studie moetengebruiken. Het zou interessant zijn om bij hetzelfde onderzoek dedocenten te betrekken om zo ook van hun kant de beperkingen ofmogelijke verbeteringen van het systeem te kunnen achterhalen.Gezien de beperktheid van het onderzoek is het aan te bevelen omhetzelfde onderzoek op uitgebreidere schaal uit te voeren met eengroter systeem en over meerdere tijdsperiodes. Het is goedmogelijk dat via het uitgebreide onderzoek tot andere uitkomstenkan leiden dan die in dit onderzoek.

ACKNOWLEDGMENTSIk wil hierbij iedereen bedanken die mij bij het uitvoeren van ditonderzoek geholpen hebben.REFERENTIES[BAA01] Baarda, D.B., M.P.M. de Goede, BasisboekKwalitatief Onderzoek, eerste druk. Groningen:Stenfert Kroese, 2001[DAV89] Davis, F. D. (1989); Perceived Usefulness, PerceivedEase of Use, and User Acceptance of InformationTechnology. MIS Quarterly, 13 (3), p.319-340.[DEL02] DeLone, W.H., McLean, E.R.; Information SystemsSuccess Revisited. Proceedings of the 35th HawaiiInternational Conference on System Sciences, 2002[GEF98] Gefen, D., Mark, K.; The Impact of DeveloperResponsiveness on Perceptions of Usefulness andEase of Use: An Extension of the TechnologyAcceptance Model, The DATA BASE for Advancesin Information Systems - Spring 1998, Vol. 29, No. 2,p. 35-49[HEN96] Hendrickson, A.R., Collins, M.R. ; An Assessment ofStructure and Causation of IS Usage, The DATABASE for Advance in Information Systems - Spring1996 (Vol. 27, No. 2), p. 61-67.[KAP05] Kaplan, B., Combining Qualitative and QuantitativeMethods in IS in Health Care Revisited, E-HealthSystems Diffusion and Use: The Innovation, the Userand the USE IT Model, eds. R. W. Schuring and T. A.M. Spil, Idea Group Publishing, in press.[LAG00] Lagendijk, P.J.B., e.a.; Telecommunication as aMedicine for General Practitioners; Proceedings ofthe 34th Hawaii International Conference on SystemSciences, 2001[MAT01] Mathieson, K., e.a. ; Extending the TechnologyAcceptance Model: The influence of Perceived UserResources, The DATA BASE for Advance inInformation Systems - Summer 2001 (Vol. 32, No. 3),p. 86-112.[MEI05] Meijden, M. van der; Quantitative and Qualitativemethods: Added value in evaluating electronic patientrecords; E-Health Systems Diffusion and Use: TheInnovation, the User and the USE IT Model, eds. R.W. Schuring and T. A. M. Spil, Idea GroupPublishing, in press.[SHO04] Shoniregun, C.A.; An investigation of informationsystems project failure and its implication onorganizations, International Journal of ServicesTechnology and Management 2004, Vol. 5, No.1,p. 25 - 41[SPI05] Spil, T.A.M.; e.a. ; Combining Qualitative andQuantitative Methods in IS in Health Care Revisited,The USE IT model case studies: IT perceptions in theMultiple Sclerose, Rheumatism and Stroke healthcarechains., eds. R. W. Schuring and T. A. M. Spil, IdeaGroup Publishing, in press.[VEN00] Venkatesh, V., Davis, F. D.; A Theoretical Extensionof the Technology Acceptance Model: FourLongitudinal Field Studies; Management Science,February 2000, Vol. 46 Issue 2, pag. 186.[VEN03] Venkatesh, V., Morris, M. G., Davis, G. B., & Davis,F. D. (2003). User acceptance of informationtechnology: toward a unified view. MIS Quarterly, 27(3), p. 425-478

Bijlage 1 Scores UTAUT-onderzoek TeletopScores Technische StudentenP1 P2 P3 P4 TP E1 E2 E3 E4 TE B11 2 3 3 4 3 2 2 1 1 1,5 32 3 3 2 4 3 2 2 2 2 2 43 2 4 3 5 3,5 1 1 1 1 1 34 4 3 4 4 3,75 2 2 1 1 1,5 45 2 3 2 3 2,5 2 1 2 1 1,5 36 3 3 3 4 3,25 2 1 1 1 1,25 37 2 2 3 4 2,75 1 2 2 1 1,5 48 1 2 2 4 2,25 1 1 1 1 1 39 2 2 2 3 2,25 2 1 2 1 1,5 310 2 4 3 5 3,5 1 2 1 1 1,25 4gem. 2,3 2,9 2,7 4 2,975 1,6 1,5 1,4 1,1 1,4 3,4Scores Niet-technische studentenP1 P2 P3 P4 TP E1 E2 E3 E4 TE B11 2 2 2 3 2,25 3 3 4 3 3,25 22 1 3 2 3 2,25 3 3 3 2 2,75 33 2 2 2 3 2,25 2 2 2 3 2,25 44 3 4 3 4 3,5 3 3 4 3 3,25 35 2 2 3 3 2,5 2 3 3 4 3 46 1 2 2 2 1,75 2 2 4 3 2,75 27 3 3 3 4 3,25 3 3 2 3 2,75 38 2 3 3 4 3 3 4 4 4 3,75 4gem. 2 2,625 2,5 3,25 2,594 2,625 2,875 3,25 3,125 2,969 3,125