Die interne und externe Validität von ... - Reuß, Torsten

Die interne und externe Validität von
Laborexperimenten
Seminararbeit
eingereicht bei
Prof. Dr. Klaus Peter Kaas
Lehrstuhl für Marketing I,
Fachbereich Wirtschaftswissenschaften
Johann Wolfgang Goethe-Universität
Frankfurt am Main
Betreuer:
Jenny Jordan
von
cand. rer. pol. Torsten Reuß
Meisenweg 1
61440 Oberursel
Tel.: xxx
Torsten-Reuss@t-online.de
Studienrichtung: Betriebswirtschaft
8. Fachsemester
Matrikelnummer: xxx

- II -
Inhaltsverzeichnis
1 Einführung ....................................................................................................................... 1
2 Grundlagen und Konzepte............................................................................................... 1
2.1 Charakterisierung von Laborexperimenten .................................................................. 2
2.2 Charakterisierung von Feldexperimenten..................................................................... 3
2.3 Der Begriff der Validität ............................................................................................. 3
3 Laborexperimente in der Diskussion............................................................................... 5
3.1 Interne Validität.......................................................................................................... 5
3.1.1 Bedrohungen der internen Validität ................................................................... 5
3.1.2 Der Vorteil der Kontrollierbarkeit ..................................................................... 7
3.2 Externe Validität......................................................................................................... 8
3.2.1 Das Problem der Künstlichkeit .......................................................................... 9
3.2.2 Das Problem des Realitätsmangels................................................................... 11
3.2.3 Das Problem der Generalisierbarkeit................................................................ 12
3.3 Die Bedeutung der Validität für Experimente............................................................ 14
4 Zusammenfassung .......................................................................................................... 15
Literaturverzeichnis........................................................................................................... 17
Ehrenwörtliche Erklärung................................................................................................. 19

- 1 -
1 Einführung
Über die Angemessenheit und den Nutzen bestimmter experimenteller Methoden wird in der
Literatur kontrovers diskutiert. Besonders das Laborexperiment steht wegen seines künstlichen
Charakters immer wieder im Mittelpunkt der Kritik. 1 Die Übertragbarkeit seiner Ergebnisse auf
die „reale Welt“ wird aufgrund eines postulierten Mangels an externer Validität in Frage
gestellt.
Ziel dieser Arbeit ist es, die Stärken und Schwächen von Laborexperimenten unter besonderer
Berücksichtigung der internen und externen Validität zu untersuchen. Im Zuge dessen soll ein
Überblick über die Diskussion des Themas in der Literatur vermittelt werden. Außerdem soll
ergründet werden, wann bzw. unter welchen Bedingungen die externe Validität für
Laborexperimente überhaupt von Bedeutung ist.
Der Artikel ist wie folgt gegliedert: Im folgenden, zweiten Kapitel werden grundlegende
Begriffe und Konzepte erläutert. Labor- und Feldexperiment werden anhand eines Beispiels
voneinander abgegrenzt und ihre Vor- und Nachteile kurz und knapp beschrieben. Des
Weiteren werden interne und externe Validität definiert und in allgemeiner Form erläutert. Das
dritte Kapitel bildet den Schwerpunkt dieser Arbeit. Es befasst sich mit der internen und
externen Validität von Laborexperimenten und geht dabei besonders auf die bereits erwähnte
Diskussion über die Probleme und Grenzen dieser Untersuchungsmethode ein. Abschließend
werden Meinungen darüber zusammengetragen, welche Bedeutung die interne und externe
Validität für Experimente besitzt. Eine Zusammenfassung rundet das Bild ab.
2 Grundlagen und Konzepte
Die Durchführung von Experimenten ist eine Forschungsstrategie, mit der angenommene
Kausalzusammenhänge überprüft und nachgewiesen oder widerlegt werden sollen. 2 Kausalität
liegt vor, wenn die Änderung einer unabhängigen Variablen (z.B. Preis) eine Veränderung
einer anderen, abhängigen Variablen (z.B. Verkaufsmenge) als Resultat zur Folge hat. 3 Das
Hauptproblem bei der Durchführung von Experimenten liegt häufig in der Isolierung der
1 Vgl. Calder, Phillips and Tybout (1981, 1982, 1983) und Lynch (1982, 1983).
2 Vgl. Franke/Kühlmann (1990), S. 56.
3 Vgl. Lehmann, D.R./Gupta, S./Steckel, J.H. (1998), S. 143.

- 2 -
experimentellen Wirkung. Der Untersucher ist nämlich oft nicht in der Lage, alle relevanten
Einflussgrößen zu kontrollieren und konstant zu halten. Eine gute Kontrolle der relevanten
Einflüsse ist das Hauptziel von Laborexperimenten. Diese sollen nun einer anderen weit
verbreiteten Untersuchungsform, dem Feldexperiment, gegenübergestellt werden. Danach wird
auf das Konzept der Validität eingegangen, welches der Beurteilung von Experimenten und
ihrer Ergebnisse dient.
2.1 Charakterisierung von Laborexperimenten
Laborexperimente finden in künstlich vom Forscher geschaffenen Situationen und
Umgebungen statt. Die künstliche Situation ermöglicht eine bessere Kontrolle der
Störvariablen (z.B. Start der Werbekampagne eines Konkurrenten). 4 Ein Beispiel 5 soll das
Vorgehen bei einem Laborexperiment verdeutlichen:
Die Marketingabteilung eines Herstellers von Tiefkühlpizza hat zwei verschiedene Werbespots
zur Auswahl und möchte nun ihre Wirkung auf die Konsumenten testen. Hierfür werden 100
freiwillige Probanden zufällig in zwei Gruppen eingeteilt und in zwei verschiedene Fernsehsäle
geführt. Während sonst alle weiteren Bedingungen für beide Gruppen gleich sind, wird der
einen Gruppe in der Werbepause Spot A und der anderen Spot B präsentiert. Um eine
realistischere Umgebung zu schaffen, sehen beide Gruppen die Werbung eingebettet in einen
einstündigen Film und wissen nicht, dass sie die Werbung des Pizzaherstellers bewerten sollen.
In einem Fragebogen werden letztlich mehrere Fragen gestellt, unter anderem auch nach der
Beurteilung des Pizza-Werbespots und der Vorliebe für die Pizza des Herstellers. Die
Mittelwerte der Befragungsergebnisse von Gruppe A und B werden miteinander verglichen,
um die Auswirkungen des jeweiligen Werbespots zu untersuchen.
In diesem Beispiel wird das Vorgehen bei Laboruntersuchungen klar. 6 Das Experiment findet
in einer künstlichen Umgebung (Fernsehsaal) und unter kontrollierten Bedingungen (gleicher
Film und -fast- gleiche Werbung in der Pause) statt. Dabei wird eine unabhängige Variable
manipuliert (der Typ der Werbung, also Spot A oder Spot B) und die kausale Veränderung der
abhängigen Variablen (Vorliebe für die Tiefkühlpizza des Herstellers) gemessen.
4 Vgl. Baumgarth/Bernecker (1999), S. 86.
5 Vgl. Parasuraman (1986), S. 271-272.
6 Sicher eröffnen sich durch das gewählte Vorgehen Probleme. Diese sollen in diesem Kapitel aber nicht
behandelt werden.

- 3 -
2.2 Charakterisierung von Feldexperimenten
Auf Feldexperimente soll hier nur kurz zur Abgrenzung gegenüber Laborexperimenten
eingegangen werden. Feldexperimente finden in einer natürlichen, realistischen Umgebung
statt. 7 Dabei werden die unabhängigen Variablen, unter solch kontrollierten Bedingungen wie
es die Situation ermöglicht, durch den Forscher manipuliert. Das oben beschriebene Beispiel
wird nun unter gleicher Ausgangslage in der Art und Weise abgewandelt, dass ein
Feldexperiment durchgeführt wird: 8
Es werden zwei Teststädte bestimmt, die bezüglich ihrer Bevölkerung und des Konsums
möglichst identisch sind. Nun wird ein Fernsehprogramm ausgewählt, welches die Möglichkeit
bietet, in der Werbepause eines Films in den beiden Städten zeitgleich unterschiedliche
Werbespots zu zeigen. In der ersten Stadt läuft also Spot A und in der zweiten Spot B. Nach
der Ausstrahlung werden in den beiden Städten zufällig 50 Probanden, die das Programm
gesehen haben, ausgewählt und telefonisch befragt. Wieder werden die Mittelwerte der
Befragungsergebnisse von Gruppe A und B miteinander verglichen.
Das Beispiel verdeutlicht die größere Realitätsnähe des Feldexperiments gegenüber dem
Laborexperiment. Es ist aber auch offensichtlich, dass das Laborexperiment eine größere
Kontrolle über äußere Störfaktoren liefert als das Feldexperiment. Aufgrund dieser
Problematik differenziert man bei der Beurteilung von Experimenten zwischen deren interner
und externer Validität. 9
2.3 Der Begriff der Validität
Das wichtigste Kriterium zur Beurteilung von Experimenten stellt die Validität (Gültigkeit)
einer Information dar. Es ist erfüllt, wenn das Experiment genau das misst, was es vorgibt zu
messen. In der Literatur gibt es bezüglich der Validität eine Vielzahl von Kategorisierungsansätzen.
Die wohl bekannteste geht auf Campbell und Stanley 10 zurück. Sie
differenziert zwischen interner und externer Validität.
7 Vgl. Baumgarth/Bernecker (1999), S. 86.
8 Vgl. Parasuraman (1986), S. 271-272.
9 Vgl. Hammann/Erichson (2000), 4. Auflage, S. 184.
10 Vgl. Campbell/Stanley (1963), S. 177ff.

- 4 -
Die interne Validität eines Experiments ist gegeben, wenn die gemessene Variation der
abhängigen Variablen einzig und allein auf die Manipulation der unabhängigen Variablen
zurückgeführt werden kann. Dies ist insbesondere dann gewährleistet, wenn während des
Experiments keine unkontrollierten Störeinflüsse auftreten. 11 In dem unter 2.1 und 2.2
beschriebenen Beispiel ist die interne Validität des Laborexperiments höher einzuschätzen als
die interne Validität des Feldexperiments. In der erstgenannten Untersuchung wurden alle
äußeren Einflüsse (z.B. Tageszeit, gezeigter Film etc.) konstant gehalten und nur der
Untersuchungsgegenstand (treatment) manipuliert. Die unterschiedliche Bewertung ist
demnach ausschließlich auf die Variation der unabhängigen Variablen (Typ des Werbespots)
zurückzuführen. Hingegen wirken auf das Feldexperiment zahlreiche äußere Störgrößen. So
könnte beispielsweise in einer der ausgewählten Städte gerade ein Konkurrent des
Tiefkühlpizza-Herstellers massiv in Plakatwerbung investiert haben, was natürlich das Ergebnis
des Experiments verfälschen würde.
Die externe Validität fragt nach der Generalisierbarkeit (generalizability) eines Experiments:
Bezüglich welcher zugrundeliegenden Gesamtheit (population), Untersuchungsbedingungen
(settings), unabhängiger und abhängiger Variablen kann der beobachtete, kausale
Zusammenhang verallgemeinert werden 12 Aufgrund der künstlichen Situation, die Laborexperimente
schaffen, ist die externe Validität in unserem Beispiel zweifelhaft. So sind die
Probanden im Versuchslabor (hier: Fernsehsaal) wahrscheinlich aufmerksamer als sonst oder
entwickeln ein Gespür dafür, was der Forscher untersuchen möchte und ändern deshalb ihr
Verhalten. 13 Da das Feldexperiment in einer völlig natürlichen Umgebung stattfindet, kann man
hier von einer höheren externen Validität ausgehen.
Wie das Beispiel bereits gezeigt hat, sind Bemühungen, die interne Validität eines Experiments
zu erhöhen, dem Ziel der externen Validität meist entgegengerichtet. 14 Zwischen interner und
externer Validität besteht demnach ein Trade-off. Es lohnt sich also, sich mit dem Problem der
Validität von Laborexperimenten etwas genauer zu beschäftigen.
11 Vgl. Berekoven/Eckert/Ellenrieder (1989), S. 86.
12 Vgl. Parasuraman (1986), S. 273.
13 Dieser Effekt wird später unter der Überschrift „Das Problem der Künstlichkeit“genauer erläutert.
14 Vgl. Franke/Kühlmann (1990), S. 64

- 5 -
3 Laborexperimente in der Diskussion
Im nun folgenden Schwerpunkt-Teil dieser Arbeit werden die allgemeinen Konzepte, die im
vorangegangenen Kapitel bereits erklärt wurden, genauer spezifiziert. Die Problematik der
internen und externen Validität von Laborexperimenten soll weiter vertieft werden. Es wird der
Frage nachgegangen, welche Bedrohungen und Probleme der Validität bestehen und wie
relevant sie für die Ergebnisse von Laboruntersuchungen sind.
3.1 Interne Validität
Das im zweiten Kapitel beschriebene Beispiel hat bereits erste Anhaltspunkte dafür geliefert,
dass die interne Validität von Laborexperimenten, zumindest dann, wenn ein geeignetes
Untersuchungsdesign gewählt wurde, hoch ist. In diesem Abschnitt werden mögliche Bedrohungen
der internen Validität diskutiert und die Vorteile von Laborexperimenten genauer
beschrieben.
3.1.1 Bedrohungen der internen Validität
Jedes Ereignis, welches eine andere Erklärung für das Ergebnis eines Experimentes ermöglicht,
als die Manipulation der unabhängigen Variablen, ist eine Bedrohung für die interne Validität
der Untersuchung. 15 In der Literatur werden zahlreiche solcher negativer Effekte beschrieben. 16
An dieser Stelle soll auf einige davon eingegangen werden, um zu verdeutlichen, mit welchen
Störfaktoren der Forscher bei Experimenten rechnen muss:
Maturation Effect 17 : Veränderungen der Probanden im Verlaufe des Experiments, wie zum
Beispiel Müdigkeit oder Hungergefühl. Je länger die Dauer eines Experiments und je
ungewöhnlicher die Erfahrungen der Probanden während des Experiments sind, desto größer
ist die Gefahr einer reduzierten internen Validität aufgrund des Maturation Effect.
Testing Effect 18 : Sensibilisierung der Probanden für bestimmte Situationen und Veränderungen,
da sie wissen oder merken, dass sie an einem Experiment teilnehmen. Ein Beispiel
ist der sogenannte Hawthorne Effect 19 , der in einem Experiment festgestellt wurde, in dem die
15 Vgl. Parasuraman (1986), S. 279.
16 Vgl. Cook/Campbell (1976), S. 227ff.
17 Vgl. Parasuraman (1986), S. 282.
18 Vgl. Aaker/Day (1986), S.260.
19 Vgl. Lehmann/Gupta/Steckel (1998), S. 148.

- 6 -
Produktivität von Arbeitern infolge einer Neustrukturierung des Arbeitsplatzes gemessen
werden sollte. Der Anstieg der Produktivität resultierte aber nicht aus der Veränderung der
Arbeitsbedingungen, sondern aus dem Gefühl der Probanden, durch das Experiment etwas
Besonderes zu sein.
Pretesting Effect 20 : Wenn das Verhalten von Probanden mit zeitlichem Abstand mehrmals
untersucht wird, so kann die vorherige Messung sowohl das Verhalten des Probanden nach der
ersten Messung beeinflussen, als auch seine Reaktion auf die Manipulation im Folgeexperiment.
Beispielsweise antworten Probanden im zweiten Experiment genau wie im ersten,
um konsistent zu erscheinen.
Instrument Variation Effect 21 : Wenn sich das Messinstrument ändert, also beispielsweise ein
anderes Messverfahren (z.B. Lifo/Fifo) eingesetzt wird, so kann sich das Verhalten der
Probanden ändern, ohne dass dafür die eigentliche Variation der unabhängigen Variablen
ursächlich war.
Selection Effect 22 : Werden zwei Gruppen zufällig für ein Experiment ausgewählt, so kann es
vorkommen, dass sich eine Gruppe von der anderen in einer Eigenschaft signifikant
unterscheidet, so dass das Versuchsergebnis verzerrt wird. In dem bekannten Pizza-Beispiel
könnten bessere Bewertungen für Spot A auch daher rühren, dass in der Gruppe, die Spot A
vorgeführt bekam, deutlich mehr Pizzaliebhaber waren, als in Gruppe B.
Mortality Effect 23 : In mehrfach durchzuführenden und lange dauernden Experimenten kann die
Ausstiegsrate durchaus 20 Prozent betragen. Wenn die Aussteiger sich in ihren Reaktionen auf
die Manipulationen anders verhalten als die verbliebenen Probanden, wird das Ergebnis
verzerrt.
Hypothesis Guessing 24 : Probanden versuchen, den Zweck des Experiments zu erraten und die
Antworten zu geben, die der Forscher evtl. hören möchte.
20 Vgl. Parasuraman (1986), S. 283.
21 Vgl. Parasuraman (1986), S. 284.
22 Vgl. Parasuraman (1986), S. 285.
23 Vgl. Lehmann/Gupta/Steckel (1998), S. 148.
24 Vgl. Lehmann/Gupta/Steckel (1998), S. 148.

- 7 -
History Effect 25 : In Experimenten kann ein externes, vom Forscher nicht zu beeinflussendes
Ereignis, wie zum Beispiel Streiks, Wetterveränderungen oder Veränderung der generellen
wirtschaftlichen Lage dazu führen, dass der Treatment-Effekt nicht mehr zu isolieren ist.
Diese Auswahl stellt keinen Anspruch auf Vollständigkeit. Dennoch sollte klar werden, dass
durch ihren Einfluss Störungen der kausalen Zusammenhänge beobachteter Variablen auftreten
können. Die Kunst des Forschers besteht darin, ein Design zu wählen, welches die interne
Validität am wenigsten gefährdet und mögliche Störungsquellen frühzeitig zu identifizieren.
3.1.2 Der Vorteil der Kontrollierbarkeit
Die Durchführung von Laborexperimenten beansprucht weniger Zeit und verursacht geringere
Kosten als ein Feldexperiment, was sich damit begründen lässt, dass bei Feldexperimenten
zunächst das richtige Untersuchungsgebiet ausfindig gemacht werden muss (im Beispiel die
beiden Städte) und dass häufig zusätzliche Kosten der Durchführung anfallen (im Beispiel der
Kauf der Werbezeit auf dem Fernsehkanal). 26 Der größte Vorteil von Laborexperimenten liegt
aber in der gebotenen Vielzahl manipulativer und statistischer Kontrollmöglichkeiten. 27 Durch
die systematische Variation einer Variablen und die gleichzeitige Kontrolle anderer Einflüsse
hat der Forscher die Möglichkeit, genau diejenige kausale Beziehung zu ergründen, die er
untersuchen möchte. Besteht die Gefahr, dass eine dritte Variable den untersuchten, kausalen
Zusammenhang in irgendeiner Weise beeinflusst, so kann durch verschiedene Verfahren dieser
Einfluss so berücksichtigt werden, dass keine Verzerrung entsteht: Die Störgröße kann
ausgeschaltet werden 28 , zum Beispiel wenn ein Einfluss durch fremde Personen auf das
Verhalten der Probanden erwartet wird. Das Experiment wird dann in einem Labor durchgeführt.
Störfaktoren, die nicht zu beseitigen sind, werden über die Probanden und die
Versuchsbedingungen hinweg konstant gehalten. Spielt etwa die Tageszeit eine wichtige Rolle,
wird das Experiment stets zur selben Zeit durchgeführt. 29
Werden durch die beiden
beschriebenen Verfahren Störgrößen nur dann beseitigt, wenn sie bereits erkannt sind, bietet
die zufällige Zuweisung der Versuchsteilnehmer zu den Untersuchungsbedingungen
(Randomisierung) eine sehr wirkungsvolle Technik zur Sicherung der internen Validität, wenn
25 Vgl. Parasuraman (1986), S. 279ff.
26 Vgl. Parasuraman (1986), S. 275.
27 Vgl. Fromkin/Streufert (1976), S. 418.
28 Vgl. Franke/Kühlmann (1990), S. 60.

- 8 -
die Fehlermöglichkeiten bekannt oder unbekannt sind. 30 Diese genannten Strategien 31 erfordern
Kontrolle über die Variablen und die Umweltbedingungen, und Kontrollierbarkeit ist am besten
unter den künstlichen Bedingungen des Laborexperiments zu erreichen. 32 Griffin und Kacmar
(1991) 33 fassen die Stärken von Laborexperimenten pregnant zusammen: „The major strengths
are that, relative to field settings, the researcher can more easily randomize assignments of
subjects to treatments, control extraneous conditions and variables, and manipulate one or
more independent variables in a carefully controlled fashion.“ Die interne Validität von
Laborexperimenten ist also hoch im Vergleich zur internen Validität von Feldexperimenten und
in der Literatur unstrittig. Denn nur mit den beschriebenen Kontroll-möglichkeiten des
Laborexperiments ist eine starke Minimierung der in 3.1.1 erläuterten Effekte möglich.
3.2 Externe Validität
Viele der beschriebenen Bedrohungen der internen Validität können auch negativen Einfluss
auf die externe Validität eines Experiments haben. 34 Ist das Ergebnis eines Experiments nämlich
nicht intern valide, besteht der angenommene kausale Zusammenhang in der Realität gar nicht,
so wäre es sinnlos, die Ergebnisse zu verallgemeinern. Die Diskussion der externen Validität
von Laborexperimenten befasst sich aber mit weiteren Problemen. So wird in zahlreichen
Artikeln die Anwendbarkeit von Ergebnissen aus Laborexperimenten auf praktische, reale
Probleme bezweifelt. 35 Im Zuge der Diskussion werden drei Kritikpunkte besonders hitzig und
variantenreich diskutiert: Die Künstlichkeit (artificiality) der Untersuchungssituation, die
Realitätsnähe 36 (realism) der Untersuchung und ihrer Ergebnisse und die Generalisierbarkeit
(generalizability) der Ergebnisse. Hierauf soll nun genauer eingegangen werden.
29 Vgl. McGuigan, F.J. (1993), S.62.
30 Vgl. Franke/Kühlmann (1990), S. 61.
31 Für weitere Strategien, vgl. McGuigan, F.J. (1993), S.62ff.
32 Vgl. Fromkin/Streufert (1976), S. 418.
33 Vgl. Griffin/Kacmar (1991), S. 302.
34 Vgl. Parasuraman (1986), S. 287.
35 Vgl. Fromkin/Streufert (1976), S.416.
36 Teilweise sind Künstlichkeit und mangelnde Realitätsnähe stark miteinander verbunden. Eine
Situation, in der ein Proband seine Einkäufe mündlich protokolliert ist demnach künstlich
herbeigeführt, die Ergebnisse der Studie können jedoch trotzdem realistisch sein.

- 9 -
3.2.1 Das Problem der Künstlichkeit
Künstlichkeit wird häufig als Unfähigkeit, die Bedingungen außerhalb des Experiments
angemessen abzubilden, verstanden. 37
Nach dieser Argumentation müssen Untersuchungen
realistisch und lebensnah sein. Probanden in Laborexperimenten wissen jedoch fast immer, dass
sie beobachtet werden und befinden sich nur kurz in der Untersuchungssituation. 38 Diese ist
aufgrund der Kontrolle äußerer Einflüsse mit dem Ziel, eine hohe interne Validität zu
erreichen, relativ künstlich. Der durch die Künstlichkeit in vielen Experimenten hervorgerufene
Unterschied zwischen der „realen“Lebenssituation und der Situation im Labor wird
teilweise als so gravierend empfunden, dass die Ergebnisse völlig abgelehnt werden, da sie
nicht auf Alltagssituationen zu übertragen und somit nicht extern valide seien. 39 Verteidiger der
Laborexperimente führen an, dass Kontrolle und systematische Manipulation von Variablen
aber nötig ist, um komplexe Kausalitäten verstehen zu können. 40 Die Künstlichkeit ist demnach
kein Versehen des Forschers, sondern gewollt. Schließlich werden einige Effekte genannt, die
es schwer machen, von „natürlichen“, wenig kontrollierten Experimenten zu lernen. Illusory
Correlation 41 beispielsweise führt dazu, dass aus vergangenen Erfahrungen vorschnell Schlüsse
auf die zu beobachtende Relation zweier Variablen gezogen werden. So glauben viele
Konsumenten, dass der Preis eines Gutes ein akkurates Signal für dessen Qualität ist. Selective
Hypothesis Testing 42 macht das Lernen durch natürliche Erfahrungen ebenfalls problematisch.
Hierbei werden nur wenige Alternativen ausgewählt, um eine Hypothese zu testen. Stimmen
die Beobachtungen mit den Voraussagen der Hypothese überein, wird die Hypothese
angenommen, ohne systematisch weitere Alternativen zu prüfen. Diese systematische Prüfung
ist in Laborexperimenten einfacher durchzuführen, als im Feld. Künstliche Laborexperimente
können demnach ein besseres Verständnis für kausale Ursache-Wirkungszusammenhänge
vermitteln als natürliche Feldexperimente. Damit vermittelt gute, kontrollierte
Forschungsarbeit ein essenzielles Element der externen Validität: Das Ver-ständnis der
Prozesse, die das Verhalten der Menschen verursachen. 43 Ernst zu nehmen ist in jedem Falle
37 Vgl. Henshel (1980), S.467.
38 Vgl. Griffin/Kacmar (1991), S.302.
39 Vgl. Harré/Secord (1972), S.60.
40 Vgl. Kardes (1996), S. 281.
41 Vgl. Kardes (1996), S. 282.
42 Vgl. Kardes (1996), S. 282.
43 Vgl. Dobbins/Lane/Steiner (1988), S. 282.

- 10 -
die Gefahr des Reactive Bias 44 . Auch wenn gute interne Validität bei einem Experiment
gewährleistet ist, kann die Tatsache, dass der Proband weiß oder merkt, dass er an einem
Experiment teilnimmt, dazu führen, dass er sich anders verhält, als unter natürlichen
Bedingungen. Folglich besteht die Gefahr, dass Probanden infolge größerer Aufmerksamkeit
überreagieren oder anders handeln als normal. Da bei Laborexperimenten häufig ein Forscher
oder Interviewer mit den Probanden in Kontakt steht, kommt ein weiteres Problem hinzu,
welches in der Literatur als Experimenter Effect 45 bezeichnet wird. Beispielsweise können
persönliche Charakteristika des Forschers wie sympathisches Auftreten, großes Engagement
oder vermeintliche Kompetenz die Antworten der Probanden beeinflussen. In einem
Experiment von Birney erhielt ein wissenschaftlicher Forscher der Universität grundlegend
andere Ergebnisse als ein Hochschulstudent. 46 Es muss jedoch angemerkt werden, dass der
Experimenter Effect auch in Feldexperimenten auftauchen kann, z.B. bei einer telefonischen
Befragung wie im bereits mehrfach zitierten Pizza-Beispiel. 47 Ein Argument, die Künstlichkeit
von Laborexperimenten zu verteidigen, führt Henshel 48 an. Kontrollierte Bedingungen, die so
nicht in der Realität vorkommen, können im Kontext der Entdeckung sehr nützlich sein und
etwa „was passiert, wenn“-Fragen beantworten. In einem Experiment haben Wissenschaftler
z.B. das Prinzip des Biofeedback untersucht. Nachdem Probanden im Labor ihre Herzfrequenz
bei Anstrengung oder Stress beobachten konnten, waren sie später in der Lage, willentlich
Kontrolle auf diese eigentlich unwillkürlichen Funktionen auszuüben. Dies ist ein gutes Beispiel
dafür, dass unnatürliche Untersuchungssituationen geeignet sein können, neue Entdeckungen
zu machen, die unter natürlichen Bedingungen nicht möglich gewesen wären. 49 Diese
Entdeckungen sind zweifellos in die reale Welt zu übertragen. Künstliche Untersuchungen
werden demnach unterbewertet. 50 Die beschriebenen Probleme bezüglich der
Verhaltensänderungen der Probanden sind dennoch nicht ganz von der Hand zu weisen. Das
Ziel des Forschers sollte demnach darin bestehen, seine Laboruntersuchungen trotz großer
Kontrolle der Umgebung und der Variablen so durchzuführen, dass diese Probleme minimiert
44 Vgl. Parasuraman (1986), S. 287-288.
45 Vgl. Venkatesan (1967), S. 142.
46 Vgl. Venkatesan (1967), S. 144.
47 Für weitere Informationen hierzu, vgl. Boyd/Westfall (1955), S. 311ff.
48 Vgl. Henshel, (1980), S. 470ff.
49 Vgl. Henshel (1980), S. 473.
50 Vgl. Kardes (1996), S. 293.

- 11 -
werden. Hierfür kann er versuchen, die kritischen Unterschiede zwischen Laborexperiment und
realer Welt zu identifizieren und diese kritischen Variablen danach im Labor systematisch
variieren. 51
Bei der Interpretation seiner Ergebnisse sollte er die beschriebene Problematik
berücksichtigen und falls möglich ausschalten. 52
3.2.2 Das Problem des Realitätsmangels
Ein weiteres Thema, welches bezüglich der externen Validität experimenteller Ergebnisse
immer wieder auftaucht, ist das der Realitätsnähe des Versuchsdesigns, der Manipulationen
und der Messinstrumente. In der strengsten Form der Kritik heißt es, jeder unrealistische
Aspekt einer Studie mache ihre Ergebnisse extern invalide, 53
schließlich seien wirklich
bedeutende Wahrheiten eher in der realen Welt zu finden, als in unnatürlichen Laborsimulationen.
54 Von einem Mangel an Realitätsnähe wird also auf eine Nichtübertragbarkeit der
Ergebnisse über die Versuchsgrenzen hinaus geschlossen. Die Ergebnisse einer irrealen
Untersuchungssituation seien also zwangsläufig auch unrealistisch. Henshel 55 entgegnet, dass
realistische Versuchsdesigns nur beim deduktiven 56
Hypothesentesten von nennenswerter
Bedeutung sind und Lynch 57
weist darauf hin, dass die gesuchte Verallgemeinerung der
Ergebnisse auf kausalen Zusammenhängen aufbaut. Daher könne man ein Experiment nicht
realistischer gestalten, wenn hierunter die interne Validität leiden würde. Vielmehr würde,
gegeben ein intern valides Experiment, eine Erhöhung der Realitätsnähe von Versuchsdesign,
Manipulationen und Messinstrumenten die externe Validität steigern. Bedingungen der realen
Welt werden also nicht als notwendige Bedingung betrachtet, damit ein Experiment extern
valide ist. Schließlich werden die Ergebnisse eines Experimentes nur dann verzerrt, wenn der
unrealistische Aspekt mit der manipulierten, unabhängigen Variablen oder der abhängigen
Variablen interagiert. So ist es beispielsweise realitätsfremd, von einem Konsumenten zu
verlangen, während des Einkaufes in einem Testmarkt seine Kaufüberlegungen laut
auszusprechen. Ob deshalb allerdings die externe Validität bedroht ist, hängt davon ab, ob die
51 Vgl. Sawyer/Worthing/Sendak (1979), S. 64.
52 Vgl. Parasuraman (1986), S. 291.
53 Vgl. Lynch (1982), S. 231.
54 Vgl. Ebbesen/Konecni (1980), S. 38.
55 Vgl. Henshel (1980), S. 470.
56
Deduktion: Ableitung einer Aussage aus anderen Hypothesen mit Hilfe von logischen
Schlussfolgerungen.

- 12 -
Anfertigung des mündlichen Protokolls Veränderungen der Verhaltensmuster bezüglich
verschiedener experimenteller Bedingungen verursacht. 58
Realitätsnähe kann auch in zwei
Ebenen unterschieden werden: In den weltlichen Realismus (mundane realism), der gegeben
ist, wenn die Untersuchungssituation Situationen in der realen Welt entspricht und in den
experimentellen Realismus (experimental realism), der erfüllt ist, wenn die Probanden die
Untersuchungssituation als realistisch empfinden und deshalb auch normal handeln. 59 Haben
Feldexperimente allgemein einen höheren weltliche Realismus, gilt dies für den experimentellen
Realismus nicht unbedingt. 60 Vielleicht sollte der Forscher, um die gewünschte
Interpretation der Ergebnisse zu erleichtern, sogar eher nach experimental realism als nach
mundane realism streben. 61
3.2.3 Das Problem der Generalisierbarkeit
In der Diskussion der Generalisierbarkeit und damit der externen Validität von (Labor-)
Experimenten wird immer wieder die Frage gestellt, ob die Ergebnisse einer Studie für andere
Personen, Settings, Zeitpunkte oder Orte zu verallgemeinern sind. 62 Besonders das
Zurückgreifen auf College-Studenten und das Vertrauen auf freiwillige Probanden wird immer
wieder scharf kritisiert. 63
Studenten und freiwillige Probanden könnten spezielle (z.B.
finanzielle) Anreize haben, an dem Experiment teilzunehmen oder aufgrund ihrer aktuellen
Lebenssituation grundlegend anders sein, als „normale Menschen“. Auf die Frage, ob sich
College-Studenten wie „normale“Leute verhalten, gibt Roth (1988) die süffisante Antwort:
„You can never be sure.“ Für die meisten Zwecke gebe es allerdings wenige Gründe
anzunehmen, dass sie es nicht täten. 64 Einige Untersuchungen zu diesem Thema bestätigen ihn
in seiner Annahme. In einer Analyse wurden die Ergebnisse von Feldexperimenten mit denen
von Laborexperimenten, an welchen zu sehr großem Teil Studenten teilnahmen, verglichen.
57 Vgl. Lynch (1982), S. 231.
58 Vgl. Lynch (1982), S. 232.
59 Vgl. Dobbins/Lane/Steiner (1988), S. 284-285.
60 Vgl. Dobbins/Lane/Steiner (1988), S. 285.
61 Vgl. Berkowitz/Donnerstein (1982), S. 255.
62 Vgl. Calder/Phillips/Tybout (1983), S. 112.
63 Vgl. Fromkin/Streufert (1976), S. 420.
64 Vgl. Roth (1988), S. 1022.

- 13 -
Die Ergebnisse wichen nicht signifikant voneinander ab. 65 Die Generalisierbarkeit von
Ergebnissen aus Laborexperimenten hat aber auch mit der Art und Weise zu tun, wie die
gewonnenen Versuchsdaten angewendet werden sollen. Hierfür werden Effekt- und Theorie-
Anwendung 66 unterschieden (Effects Application vs. Theory Application).
Effects Application beruht auf dem Wissensdrang über Ereignisse und Beziehungen in einer
natürlichen Situation. 67 Es werden also Ergebnisse gesucht, welche direkt für die reale Welt
verallgemeinert werden können. Daher muss die Übereinstimmung zwischen der realen Welt
und den experimentellen Bedingungen möglichst hoch sein, was ein Argument pro
Feldexperiment darstellt. Auch die Probanden sollten für die Zielpopulation, auf die
Rückschlüsse gezogen werden sollen, repräsentativ sein. 68
Theory Application möchte wissenschaftliche Theorien identifizieren, die es ermöglichen, die
reale Welt besser zu verstehen. Die experimentellen Daten dienen also nicht der Gewinnung
allgemeingültiger Regeln, sondern der Überprüfung von Theorien. Popper argumentiert in
seiner Theorie des kritischen Rationalismus, dass Theorien niemals bewiesen, sondern nur
widerlegt werden können. Deshalb sind Daten, die zum Widerlegen einer Theorie führen,
aufschlussreicher und wünschenswert. 69 Folglich wird die Technik der Falsifizierung
(Widerlegung) angewendet. In Experimenten, denen die Technik der Falsifizierung unterliegt,
ist es sinnvoll, einen möglichst strengen Test der Theorie durchzuführen. Das heißt für das Ziel
der Allgemeingültigkeit, dass ein Test mit jeder Gruppe (z.B. Studenten), idealerweise aber mit
einer möglichst homogenen Gruppe, möglich ist. 70 Kardes leitet aus den unterschiedlichen
Forschungswegen ab, dass College-Studenten für die Untersuchung kausaler Zusammenhänge
geeignet sind (basic research), nicht aber für die Vorhersage von Verhalten (applied
research). 71 Bezüglich des Versuchssettings gilt, dass die Variablen geeignet sein müssen, die
Theorie zu operationalisieren, weshalb Störgrößen, die ungewollt die unabhängige oder
abhängige Variable beeinflussen, eliminiert oder auf andere Weise unschädlich gemacht werden
65 Vgl. Dipboye/Flanagan (1979), S. 141ff.
66 Vgl. Calder/Phillips/Tybout (1981), S. 197.
67 Vgl. Calder/Phillips/Tybout (1981), S. 198.
68 Vgl. Calder/Phillips/Tybout (1981), S. 199.
69 Vgl. Lynch (1982), S. 226.
70 Vgl. Calder/Phillips/Tybout (1981), S.199.
71 Vgl. Kardes (1996), S. 287.

- 14 -
sollen. 72 Diese benötigte Kontrolle verlangt nach den künstlichen Bedingungen des
Laborexperiments.
Zusammenfassend lässt sich sagen, dass Laborexperimente aufgrund mangelnder
Generalisierbarkeit für Effects Application schlecht geeignet sind. Ist jedoch Theory
Application das Ziel, so bieten sie die am besten geeignete Umgebung, um die Theorie in einem
möglichst strengen Test zu untersuchen. Wie gezeigt wurde, ist die Verallgemeinerbarkeit von
Laborergebnissen umstritten. Dennoch können die beobachteten Daten sehr nützlich sein. Die
geringere externe Validität von Laborexperimenten ist folglich kein Grund, ihre
Existenzberechtigung in Frage zu stellen.
3.3 Die Bedeutung der Validität für Experimente
Calder et al. (1981) halten die Forderungen vieler Forscher nach Repräsentativität der
Probanden und Realitätsnähe der Versuchssituation zwar für gerechtfertigt, aber nur für
Effects Application. Im Falle von Theory Application ist die Generalisierbarkeit der Ergebnisse
nicht mehr wichtig, da eigentlich Falsifizierung das Ziel ist und diese durch homogene Gruppen
am besten erreicht wird. Die externe Validität eines Experiments ist in diesem Falle also von
zweitrangiger Bedeutung. 73 Auch Cook und Campbell (1979) 74 argumentieren: „For persons
interested in theory testing (...) external validity is of relatively little importance.“Lynch (1982)
kritisiert diese Einstellung, da Ergebnisse, die nicht extern valide sind, eine möglicherweise
falsche Theorie unterstützen. Für ihn ist externe Validität daher keinesfalls von geringer
Bedeutung. 75 Dobbins und Steiner (1988) 76 weisen darauf hin, dass Laborexperimente teilweise
eine geringe externe Validität besitzen, dass dies aber von geringer Bedeutung ist, wenn es
darum geht, Theorien zu testen und Verhalten zu verstehen.
Da das Ziel eines Experiments darin besteht, Kausalitäten zu prüfen, dürfte die Bedeutung der
internen Validität weniger umstritten sein. Misst ein Experiment nicht den Effekt, den es
72 Vgl. Calder/Phillips/Tybout (1981), S.202.
73 Vgl. Calder/Phillips/Tybout (1983), S. 112.
74 Vgl. Cook/Campbell (1979), S. 83.
75 Vgl. Lynch (1982), S. 234.
76 Dobbins/Lane/Steiner (1988), S. 285.

- 15 -
eigentlich untersuchen will, so darf der Sinn des Experiments angezweifelt werden. Es wäre
nämlich belanglos, experimentelle Ergebnisse, die nicht intern valide sind, zu verallgemeinern. 77
Das ursprüngliche Ziel der Forschung ist es, neue Erkenntnisse zu gewinnen. Die Kunst, eine
bestimmte Fragestellung geeignet zu untersuchen, besteht darin, die richtige Forschungsmethode,
sei es das Feldexperiment oder das Laborexperiment, auszuwählen. 78 Dabei sollten
Validitätsüberlegungen stets eine wichtige Rolle spielen, da Experimente sonst schnell ihre
Aussagekraft verlieren können.
4 Zusammenfassung
Zunächst wurden anhand eines Beispiels Labor- und Feldexperiment sowie interne und externe
Validität voneinander abgegrenzt. Bereits das einfach gestrickte Beispiel verdeutlichte, dass
Laborexperimente eine größere Kontrolle externer, ungewollter Einflüsse ermöglichen. Es
wurde aber ebenso klar, dass Laborexperimente für die Erhöhung der internen Validität einen
Preis zu zahlen haben. Das kontrollierte Design schafft nämlich künstliche Bedingungen, deren
Übertragbarkeit in die Realität in Frage steht. Im nächsten Abschnitt wurden Effekte
geschildert, die die interne Validität von Experimenten bedrohen und Methoden wie
beispielsweise das Eliminieren von Störfaktoren erklärt, die helfen sollen, den eigentlich
gesuchten, kausalen Effekt messbar zu machen. Erneut offenbarte sich hierin die Stärke des
Laborexperiments. Strittig ist die externe Validität von Laborexperimenten, also die Frage, ob
sich die Ergebnisse verallgemeinern und auf die Zielpopulation übertragen lassen. Hier gibt es
berechtigte Zweifel. Es gibt aber genügend Argumente, das Laborexperiment trotzdem gegen
Angriffe zu verteidigen. Zum Beispiel, dass die Künstlichkeit der Versuchssituation es
ermöglicht „was passiert, wenn“-Fragen zu beantworten und somit völlig neue Entdeckungen
zu machen. Oder, dass es ausreichen kann, ein Design zu wählen, welches der Proband als
realistisch empfindet (experimental realism) und sich demnach normal verhält, auch wenn der
Versuch künstlich konstruiert wurde. Und außerdem, dass Generalisierbarkeit nicht unbedingt
ein wünschenswertes Ziel ist. Im Rahmen von Theory Application ist es vielmehr ratsam, eine
möglichst homogene Gruppe auszuwählen und somit die Wahrscheinlichkeit der Falsifizierung
zu erhöhen. Im letzten Abschnitt wurde klar, dass die Bedeutung der externen Validität in der
77 Vgl. Parasuraman (1986), S. 287.
78 Vgl. Griffin/Kacmar (1991), S. 309.

- 16 -
herrschenden Diskussion je nach Standpunkt verschieden ist, während die Bedeutung der
internen Validität unbestritten ist.
Es lohnt sich, darüber nachzudenken, ob die Frage „Ist diese Studie extern valide“ bei
Experimenten richtig ist, oder ob sie nicht lauten müsste „Bezüglich welcher Akteure,
Situationen und Verhalten können wir die Ergebnisse verallgemeinern“. 79 Denn teilweise
vergessen die Gegner der Laborexperimente den Grund, weshalb Experimente durchgeführt
werden, nämlich um kausale Beziehungen zu prüfen. Die Ergebnisse eines Experiments dann
generell als extern invalide zu bezeichnen, Laborexperimente abzulehnen und Feldexperimente
zu fordern, wäre demnach fahrlässig. Vielmehr können sich Labor- und Feldexperiment in ihren
Stärken ergänzen und komplettieren.
79 Vgl. Dipboye/Flanagan (1979), S. 149.

- 17 -
Literaturverzeichnis
1. Aaker, D.A./Day, G.S. (1986): Marketing Research, 3. Edition, Wiley.
2. Baumgarth/Bernecker (1999): Marketingforschung, Oldenbourg.
3. Berekoven, L./Eckert, W./Ellenrieder, P. (1989): Marktforschung – Methodische
Grundlagen und praktische Anwendung, 4. Auflage, Wiesbaden: Gabler.
4. Berkowitz, L./Donnerstein, E. (1982): External Validity Is More Than Skin Deep: Some
Answers to Criticisms of Laboratory Experiments, in American Psychologist, Vol. 37, S.
245-257.
5. Calder, B.J./Phillips, L.W./Tybout, A.M. (1981): Designing Research for Application, in:
Journal of Consumer Research, Vol. 8, S. 197-207.
6. Calder, B.J./Phillips, L.W./Tybout, A.M. (1982): The Concept of External Validity, in:
Journal of Consumer Research, Vol. 9, S. 240-244.
7. Calder, B.J./Phillips, L.W./Tybout, A.M. (1983): Beyond External Validity, in Journal of
Consumer Research, Vol. 10, S. 112-114.
8. Campbell, D.T./Stanley, J.C. (1963): Experimenatal And Quasi-Experimental Designs For
Research on Teaching, in: N.L. Gage (Hrsg.), Handbook of Research on Teaching.
Chicago: Rand McNally.
9. Campbell, D./ Stanley, J. (1966): Experimental and Quasi-Experimental Designs for
Research, Chicago: Rand McNally & Co.
10. Cook, T.D./Campbell, D.T. (1976). The Design and Conduct of Quasi-Experiments and
True Experiments in Field Settings, in Dunnette, M.D. (Hrsg.), Handbook of Industrial
and Organizational Research, S. 223-326. Skokie, IL: Rand McNally.
11. Cook, T.D./Campbell, D.T. (1979): Quasi Experimentation: Design and Analysis Issues
for Field Settings, Chigago: Rand McNally.
12. Dipboye, R.L./Flanagan, M.F. (1979): Research Settings in Industrial and Organizational
Psychology: Are Findings in the Field ore Generalizable Than in the Laboratory, in
American Psycholgist, Vol. 34, S. 141-150.
13. Dobbins, G.H./Lane, I.M./Steiner, D.D. (1988): A Note on the Role of Laboratory
Methodologies in Applied Behavioral Research: Don´t Throw the Baby Out With the Bath
Water, in: Journal of Organizational Behavior, Vol. 9, S. 281-286.
14. Ebbesen, E.B./Konecni, V.J. (1980): On the External Validity of Decision-Making
Research: What Do We Know About Decisions in the Real World, in Cognitive
Processes in Choice and Decision Behavior, S. 21-45.
15. Franke, J./Kühlmann, T.M. (1990): Psychologie für Wirtschaftswissenschaftler,
Landsberg/Lech: Verl. Moderne Industrie.
16. Fromkin, H./Streufert, S. (1975): Laboratory Experimentation, in Handbook of Industrial
and Organizational Psychology, in: Dunnette, M.D. (Hrsg.), S. 415-463.
17. Griffin, R./Kacmar, K.M. (1991): Laboratory Research in Management: Misconceptions
and Missed Opportunities, in: Journal of Organizational Behavior, Vol. 12, S. 301-311.

- 18 -
18. Hammann, P./Erichson, B. (2000): Marktforschung, 4. Auflage, Lucius & Lucius.
19. Harré, R./Secord, P.F. (1972): The Explanation of Social ehavior, Oxford, England:
Blackwell.
20. Henshel, R.L. (1980): The Purposes of Laboratory Experimentation and the Virtue of
Deliberate Artificiality, in: Journal of Experimental Social Psychology, Vol. 16, S. 466-
478.
21. Kardes, F. (1996): In Defense of Experimental Consumer Psychology, in: Journal of
Consumer Psychology, Vol. 5, S. 279-296.
22. Lehmann, D.R./Gupta, S./Steckelm J.H. (1998): Marketing Research, Reading.
23. Lynch, J. (1982): On the External Validity of Experiments in Consumer Research, in:
Journal of Consumer Research, Vol. 9, S. 225-239.
24. Lynch, J. (1983): The Role of External Validity in Theoretical Research, in Journal of
Consumer Research, Vol. 10, S. 109-124.
25. McGuigan, F.J. (1993): Experimental Psychology: Methods of Research, 6. Auflage,
Englewood Cliffs.
26. Parasuraman, A. (1986): Marketing Research, Reading, Mass. [u.a.]:Addison-Wesley.
27. Roth, A.E. (1988): Laboratory Experimentation in Economics: A Methodological
Overview, in: The Economic Journal, Vol. 98, S. 974-1031.
28. Sawyer, A./Worting, P./Sendak, P. (1979): The Role of Laboratory Experiments to Test
Marketing Strategies, in: Journal of Marketing, Vol. 43, S. 60-67.
29. Venkatesen, M. (1967): Laboratory Experiments in Marketing: The Experimenter Effect,
in: Journal of Marketing Research, Vol. 4, S. 142-147.

- 19 -
Ehrenwörtliche Erklärung
Versicherung
Ich versichere hiermit, dass ich die vorliegende Arbeit selbständig und nur unter Benutzung der
angegebenen Literatur und Hilfsmittel angefertigt habe. Wörtlich übernommene Sätze und
Satzteile sind als Zitate belegt, andere Anlehnungen hinsichtlich Aussage und Umfang unter
den Quellenangaben kenntlich gemacht. Die Arbeit hat in gleicher oder ähnlicher Form noch
keiner Prüfungsbehörde vorgelegen und ist nicht veröffentlicht.
Ort, Datum: _________________________
Unterschrift: ________________________