Vorlesung 9

uni.mit.kind.de

Vorlesung 9

Prof. Donsbach

Philosophische Fakultät – Institut für Kommunikationswissenschaft

Ringvorlesung

Einführung in die Methoden der

empirischen Sozialforschung

WS 2005/2006 – SS 2006


Vorlesung 22

Einführung in die

standardisierte Befragung


• Demoskopie und öffentliche Meinung

• Einbettung der Entwicklung der Demoskopie in

empirische Sozialforschung

• Anfänge der Demoskopie

• Entwicklung

• Nomenklatur

• Unterscheidungskriterien für Befragungen

• Fehlerquellen

• Literatur

Gliederung

Prof. Donsbach


Demoskopie als Streitpunkt

• Repräsentanz:

Wiedergabe der

öffentlichen Meinung als

Kernelement der

Demokratie

• Kommunikation:

zwischen Regierten und

Regierenden

• Aufklärung: empirische

Fakten gegen

interessengeleitete

Behauptungen und

mystische Vermutungen –

auch Presse

• Qualität Was überhaupt

misst die Demoskopie

• Populismus Schielen der

Regierung nach der Mehrheit

• Validität und Reliabilität

Wie genau misst die

Demoskopie

Prof. Donsbach


Entstehung der bürgerlichen Öffentlichkeit

Öffentliche Meinung als neue Form der politischen

Autorität. Ersetzt die politische Autorität des absoluten

Fürsten und legitimierte sich...

...hinsichtlich ihrer

Merkmale durch den

Anspruch des Egalitären

und Rationalen

...hinsichtlich ihrer

Funktion durch den

Anspruch, dem

Gemeinwohl zu dienen

Prof. Donsbach


Entstehung der bürgerlichen Öffentlichkeit

Ende 16. Jhd./17. Jhd.

Merkantilismus,

Kapitalismus

Aufstrebendes

Bürgertum

(noch) unpolitische

Öffentlichkeit

Denaturierung/

Strukturwandel

Legitimiert sich

gegen Autorität

Gemeinwohl

Rational

Egalitär

(dann) politische

Themen

Kaffeehäuser/Salons

„topics of government“

England: frühes18. Jhd

Prof. Donsbach


Öffentliche Meinung bei Luhmann: Grundannahmen

Hoher

Entscheidungsbedarf

von

Gesellschaften

Gesellschaften

sind komplex

Aufmerksamkeitsregeln

Reduktion von

Komplexität durch

die öffentliche

Meinung

Entscheidungsregeln

Aufmerksamkeit

des Bürgers ist ein

knappes Gut

Meinungsbildung, u.a.

in den entscheidungsbefugten

Instanzen

Prof. Donsbach


Definition der öffentlichen Meinung bei Noelle-Neumann

"Unter öffentlicher Meinung versteht man wertgeladene,

insbesondere moralisch aufgeladene Meinungen und

Verhaltensweisen, die man – wo es sich um festgewordene

Übereinstimmung handelt, zum Beispiel Sitte, Dogma –

öffentlich zeigen muss, wenn man sich nicht isolieren will;

oder bei im Wandel begriffenem ‚flüssigen‘ Zustand

öffentlich zeigen kann, ohne sich zu isolieren."

Noelle-Neumann 1996

Prof. Donsbach


Person A

Andere

Eigene Meinung

zu Thema X

konsonant

dissonant

Keine

Isolationsfurcht

Isolationsfurcht

Reden

Schweigen

Wahrnehmung

der Umweltmeinung

zum

Thema X

Wahrnehmung der

Umweltmeinung zu

Thema X

aktuell

Zukunft

Direkte

Umweltwahrnehmung

Wahrnehmung

aus Medien

Zeitpunkt t1

Quelle: Donsbach 1987, 327

Zeitpunkt t2

Prof. Donsbach


Dimensionen in den Definitionen von öffentlicher

Meinung

1. Any opinion held by a majority of citizens

2. The opinion of elites, with intellectual capacity or powers to

influence society

3. Any opinion concerning public affairs (definition by object of

opinion)

4. An opinion reached through a public process of learning and

consensus

5. Any opinion allowed to be expressed in public without fear of

social isolation

Schönbach and Becker (1995)

Prof. Donsbach


Demoskopie als Streitpunkt

Zwei grundlegende Konfliktlinien:

I. Individuum – Kollektiv

Ist ÖM nur eine simple

Aggregierung von

individuellen Meinungen

oder

ein Phänomen der kollektiven

Ebene, eine Produkt von

Debatten und Diskussionen, das

man nicht reduzieren kann auf

die Meinung von Individuen

II. Rationalität versus Subjektivität

Ist ÖM ein Ausdruck der

weisen Meinung

aufgeklärter und

gebildeter Bürger

oder

ein schwankendes, Stimmungen

unterworfenes und letztlich

„gefährliches“ Element der

Demokratie

Prof. Donsbach


Dialektik in Konzept und Begriff der öffentlichen Meinung

Rationalität

Irrationalität

Individuum

ÖM als

demokratietheoretisch

funktionaler

Ausdruck des

Willens aller

Bürger oder

bestimmter Eliten

ÖM als

demokratietheoretisch

dysfunktionaler

Ausdruck der

Meinung der

Uninformierten

Kollektiv

ÖM als Institution

der sozialen

Integration, des

Zusammenhalts

von

Gesellschaften

ÖM als sozialpsychologisches

Phänomen von

Prozessen der

Massengesellschaft

Prof. Donsbach


Demoskopie als Streitpunkt

• Ist Demoskopie = öffentliche Meinung

• Was ist öffentliche Meinung

• Normative Konzepte

• Funktionale Konzepte

• Soziologische und Sozialpsychologische Konzepte

• Demoskopische Konzepte: Öffentliche Meinung = das, was

die Demoskopie misst

• Liegt die Wahrheit in der Mitte

• Repräsentative Demokratie = Aus Mehrheitsmeinung des

Volkes folgt kein direkter Auftrag an die Regierung

• Aber: Indikator für Loyalitäts-Niveau für Regierung zwischen

Wahlen

Prof. Donsbach


Einbettung in Geschichte der empirischen Sozialforschung

• Anwendung Statistik auf Menschen: bis ins 18. Jhd. verpönt

(AT: Veranstaltung einer Volkszählung durch König David wurde von Gott

angeblich durch eine Pest bestraft, die 70.000 Tote forderte (Samuel 24)

• Vom Untergang Roms bis Anfang 17. Jhd.: praktisch keine

Volkszählungen

• 1753 in England: Vorschlag einer Volkszählung

zurückgewiesen, da ‚gottlos‘ und ‚die persönliche Freiheit

untergrabend‘

• 1662: Erstes statistische Verfahren auf Menschen angewandt

durch engl. Kaufmann John Graunt: Regelmäßigkeit von

Todesfällen

• 1775 dt. Prediger Süßmilch: Todesfall-Statistik in Deutschland

• Entstehen empirischer Sozialforschung erste Hälfte bis Mitte

19. Jhd. WARUM

Prof. Donsbach


Einbettung in Geschichte der empirischen Sozialforschung

Auguste Comte (1798-1857): legte philosophischen Grundstein ("Cours de

Philosophie Positive"). Forderung: Jeder Satz der Wissenschaft muss auf

Beobachtung und Tatsachen zurückzuführen sein.

Adolphe Quetelet (B): Anwendung Wahrscheinlichkeitstheorie auf Statistik vom

Menschen (sogen. Moralstatistik) 1853 auf 1. Statistiker-Kongress

Forderung: Strenge Sozialwissenschaft, die ‚auf objektiver Beobachtung, Zählung

und Messung beruhend, nachweisen will, dass auch die Handlungen der

Individuen, sobald sie massenhaft auftreten, Gesetzen unterworfen sind, die

denen ähneln, die die unbelebte Natur beherrschen‘

Stützte sich auf "politische Arithmetik" William Pettys (1623-87): Statistik von

menschlichem Verhalten (Wahrscheinlichkeitsrechnung, die aus der Astronomie

und der Versicherungsmathematik in die Sozialwissenschaft kommt.)

Beispiele:

• Haushaltsbudget - 1. sozialwissenschaftliches Gesetz (Engelsches Gesetz)

• Regelmäßigkeiten menschlicher Handlungen (Geburten, Verbrechen,

Selbstmorde)

• prägte Bezeichnung: "der mittlere Mensch"

Prof. Donsbach


Einbettung in Geschichte der empirischen Sozialforschung

Friedrich Jonas (Geschichte der Soziologie):

"Quetelet gibt damit die Zielvorstellung oder das Ideal für die

empirische Sozialforschung, wie sie sich im 19. und beginnenden

20. Jhd. ausbreitet. Die vorurteilslose Erfassung und Beschreibung

von Sozialtatsachen soll die Gesetzmäßigkeiten offenbaren, die

hinter den Werten und Institutionen die menschlichen

Gesellschaften zusammenhalten"

Prof. Donsbach


Erste Umfragen

• Ab Ende 18. Jhd.: Sozialenqueten einzelner Forscher

• Z.B. David Davies 1795: systematische Erhebung zum Budget

von Landarbeitern (nicht repräsentativ aber aufbauend auf

empirischen Beobachtungen

• Mitte 19. Jhd. Deutschland. 1847: "Preußischlandesökonomisches

Collegium zur ländlichen Arbeiterfrage")

• „Sozialmedizin“ (Rudolf von Virchow). Untersuchung sozialer und

struktureller Ursachen für mediz. und hygienische Probleme

• 1906: Arthur Bowley (Prof. für Statistik), beschreibt vor der brit.

Royal Statistical Society Methode eines repräsentativen

Bevölkerungsquerschnitts

• 1912: erste statistisch repräsentative Erhebung nach

Randomprinzip in England

• 1912: erste wirkliche Umfrage (in Deutschland)

Prof. Donsbach


Erste wissenschaftliche Bevölkerungsumfrage

• Oberschall: „It remained for the self-educated worker Adolf

Levenstein [1912] to undertake the first large attitude-opinion

survey of on record.“

• 8000 schriftl. Fragebogen an Gruben-, Stahl- und Textilarbeiter

in Deutschland

• Schneeball-Auswahlverfahren

• 63% Rücklauf

• Oberschall: „Weber convinced Levenstein to code and tabulate

and publish the results... There was no follow up, partly

because Levenstein was marginal for German scholars and

partly because World War One set back German social science.

Anthony Oberschall (2006): The historical roots of public opinion research. In: W.

Donsbach, M. Traugott (eds.): Handbook of Public Opinion Research. Beverly Hills,

London, New Delhi: Sage (in preparation)

Prof. Donsbach


Erste Umfragen

• Ab Ende 18. Jhd.: Sozialenqueten einzelner Forscher

• Z.B. David Davies 1795: systematische Erhebung zum Budget

von Landarbeitern (nicht repräsentativ aber aufbauend auf

empirischen Beobachtungen

• Mitte 19. Jhd. Deutschland. 1847: "Preußischlandesökonomisches

Collegium zur ländlichen Arbeiterfrage")

• „Sozialmedizin“ (Rudolf von Virchow). Untersuchung sozialer und

struktureller Ursachen für mediz. und hygienische Probleme

• 1906: Arthur Bowley (Prof. für Statistik), beschreibt vor der brit.

Royal Statistical Society Methode eines repräsentativen

Bevölkerungsquerschnitts

• 1912: erste statistisch repräsentative Erhebung nach

Randomprinzip in England

• 1912: erste wirkliche Umfrage (in Deutschland)

• USA 20er Jahre: Marktforschung mit repräsentativen Erhebungen

Prof. Donsbach


Geburt der modernen Demoskopie: George Gallup

„In 1933, the young George Gallup, who earned a PhD in psychology from a

small mid-western university and who combined careers in academia and

market research, decided to draw on both these fields to create public opinion

polling. He collected and studied detailed voting records for the U.S. over a

century, and sent out ballots to a small but carefully selected group of voters in

each state based on his analysis of past electoral behavior. He estimated results

for the 1934 congressional elections with great accuracy. He continued to

experiment with these hybrid methods of choosing purposive samples of voters

based on political geography, and founded the American Institute of Public

Opinion (AIPO) in 1935 whose goal was “impartially to measure and report

public opinion on political and social issues of the day without regard to the

rightness and wisdom of the views expressed.” AIPO conducted national public

opinion surveys using Gallup’s method of combining purposive sampling with

quotas for relatively small sizes (compared to the tens of thousands of

responses in straw polls) whose results he distributed to subscribing

newspapers in the form of press releases.“

Anthony Oberschall (2006): The historical roots of public opinion research. In: W.

Donsbach, M. Traugott (eds.): Handbook of Public Opinion Research. Beverly Hills,

London, New Delhi: Sage (in preparation)

Prof. Donsbach


Durchbruch: Gallup versus Literary Digest

Literary Digest

• 10 Mio Fragebögen versandt

•2,3 Mio zurück

• Landon: 55%,

• Roosevelt: 41%

Tatsächliches Ergebnis:

Roosevelt: 61%

Landon: 37%

Squire, P. (1988): Why the 1936 Literary

Digest was wrong. POQ 52, 125-33

Gallup

• 3000 persönl. Interviews

• Richtige Voraussage

Ursachen:

• Niedrige Ausschöpfung: 25 %

• Verzerrte Ausschöpfung

• Verzerrte Ausgangsstichprobe:

Basierten auf eigenen

Abonnenten sowie Adressen

von Telefon- und Autobesitzern

unterrepräsentierten ärmere

Bevölkerungsschichten (mehr

Wähler der Demokraten)

• 1938: LD eingestellt

Prof. Donsbach


Stationen

• Pioniere: George Gallup, Elmor Roper, Archibald Crossley: seit

20ern Marktforschung, seit 30ern politische Themen

• 1937 Paul Lazarsfeld: Office of Radio Research, später Bureau of

Applied Social Research

• 1941 National Opinion Research Center (NORC) U of Chicago

• 1944: Lazarsfeld, Paul F., Bernard Berelson & Hazel Gaudet: The

People's Choice. New York

• 1946: American Association for Public Opinion Research (AAPOR)

• 1946 Survey Research Center U of Michigan

• 1947: World Association for Public Opinion Research

• 1947: Institut für Demoskopie Allensbach

• 1948: Public Opinion Quarterly

Prof. Donsbach


Simone Wack (1998): Die Branchenstruktur der Markt- und

Meinungsforschung in der Bundesrepublik Deutschland von 1986 bis 1996.

Eine deskriptive Analyse

Prof. Donsbach


Standortbestimmung

"Survey research is not itself an academic discipline,

with a common language, a common set of principles for

evaluating new ideas, and a well-organized professional

reference group. Lacking such an organization, the field

of survey research has evolved through the somewhat

independent an uncoordinated contributions of

researchers trained as statisticians, psychologists,

political scientists, and sociologists. These brief

encounters between survey method and bodies of theory

have produced what we know about survey quality

today"

Robert M. Groves (1987): Research on Survey Data Quality.

POQ 51, S156-172, S156

Prof. Donsbach


Lang, Kurt & Gladys Engel Lang (1991): The Changing professional Ethos: A Poll of Pollsters.

International Journal of Public Opinion Research 3, 323-339

• Umfrage: AAPOR-Verzeichnis, American Ass. of Political Consultants,

Zeitungsberichte n=270 Grundgesamtheit

• Befragung schriftlich 1988 n=129, bereinigt = 53 %

• Unterscheidung Newcomers, Intermediate, Veterans

• Was vorher gemacht: Newcomers: 37 % aus Politik, Veteranen: 29%

• akademischer Hintergrund: Newcomers: 19%, Veteranen: 38%

• Ausbildungs-Hintergrund: Newcomers: weniger Sozialwiss., mehr Statistics,

Naturwiss., Journalism/Communications

• Newcomers: mehr nicht-öffentliche Polls

• "Regardless of how you got into this, what have been the one or two major satisfactions

for you personally from your polling on politics and political issues"

Newcomers und Intermediate: mehr „influence public policy“, weniger

„improve quality“

"(The findings) show the newcomers, ..to be somewhat less oriented to the

professional ethos that the pioneers brought with them into the field. (338)

Prof. Donsbach


Nomenklatur

Demoskopie

Meinungsforschung

Umfragen

Wahlumfragen

Das Volk messen: quantitative Bevölkerungsumfragen

Unspezifischer, kann auch durch andere,

nicht-quantitative Methoden geschehen

Impliziert wiederum das quantitative Element

Spezielles Anwendungsgebiet

amerikanischer Sozialforscher (Stuart Dodd)

schlug den Begriff 1946 vor

Momentaufnahmen

Keine Voraussage, nur aktueller Stand

Tracking polls

Wahlprognosen

Exit Polls

Hochrechnungen

Kontinuierliche, jeweils aggregierte Umfragen

Prognosen über Wahlausgang auf Umfragebasis

Umfragen auf Basis des stattgefundenen Verhaltens

Prognose auf Basis echter Wahlergebnisse

„Prognosen sind schwierig, vor allem, wenn sie die Zukunft betreffen“...

Prof. Donsbach


Nomenklatur

Demoskopie

Meinungsforschung

Umfragen

Wahlumfragen

Momentaufnahmen

Tracking polls

Wahlprognosen

Exit Polls

Hochrechnungen

Englisch

Survey/opinion research

Public opinion research

Surveys/polls

Election surveys/polls

Current state of opinion

Tracking polls

Election predictions/forecasts

Exit Polls

Projection

Prof. Donsbach


Unterscheidungskriterien für

sozialwissenschaftliche Befragungen

Grad der Ausschöpfung

der Population

Vollerhebung

Stichprobe

Random

Quota

Grad der Standardisierung

des Stimulus

Intensiv-

Interview

demoskopisches Interview

offene Fragen

geschlossene

Modus der Befragung

Face-to-face

schriftlich

Paper &

Pencil

CAPI

CASQ

telefonisch

Email, Internet

CATI

Einmal-Befragung

Zeitliche Abfolge

Trend

Mehrfach-Befragung

Panel

Prof. Donsbach


Zweistufige Zufallsauswahl beim Telefon-Interview

Auswahl aus Telefonbuch, CD, RDD

Auswahl im Haushalt

Prof. Donsbach


Response Rates of Listed and

Unlisted Numbers

Wolfgang Donsbach & Olaf Jandura

University of Technology Dresden, Germany

Joint Conference WAPOR/AAPOR, Montreal, Canada, May 16-21, 2006


Higher Sample Quality

Differences from official statistics of Dresden.

18-24 years

25 - 44 years

45 - 59 years

60+ years

men

woman

low edu.

middle edu.

hig edu.

average

-20

under

representation

-14

-12

-3

-4

-3

-4

-3

Gabler- Häder- numbers

only listed numbers

-15

-10

-5

-1

-1

-1

n=2.740 interviews

0

1

1

4

6

7

4,3

5,9

overrepresentation

12

15

per cent

0 5 10 15 20

Prof. Donsbach


Ebene der theoretischen Konstrukte

Operationalisierung

Wahl von

Indikatoren

Ebene der Messung

Prof. Donsbach


Trend versus Panel: Was das Panel kann

1. Erfassen von Veränderungen: Netto vs. individuelle

Veränderungen

2. Ursachen für Wandel: individuelle Veränderungen können

auf Ursachen verfolgt werden

3. Menge der gemessenen Eigenschaften: Zusätzliche Fragen

möglich, da dieselben Personen

4. Daten zu Vergangenheit und Zukunft: Beim Panel nicht auf

Erinnerungsvermögen und eigene Kausal-Attributionen des

Befragten angewiesen

5. Verlässlichkeit der Ergebnisse: Bei Trend addiert sich

Zufallsfehler von zwei Stichproben auf, beim Panel nicht

Prof. Donsbach


Untersuchungsdesign

Dresdner Projekt zum ersten TV-Duell

Welle 1

Welle 2 Welle 3

7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 1

August

2002

Sept

.

Inhaltsanalyse der

Nachberichterstattung

Prof. Donsbach


Stoiber verliert stärker als Schröder

Tabelle 3: Fluktuation in der Wahrnehmung des Siegers

Einige Tage später

Schröder Unentschieden Stoiber

Direkt nach

dem ersten

Duell

Schröder 70% 24% 6%

Unentschieden 24% 54% 22%

Stoiber 15% 17% 68%

Lesebeispiel: 70 Prozent derer, die Schröder direkt nach dem TV-Duell

als Sieger identifizierten, waren wenige Tage später noch immer

dieser Meinung, während 24 Prozent sich nicht mehr sicher waren

bzw. 6 Prozent nun Stoiber den Sieg zusprachen.

Prof. Donsbach


Fehlerarten der Umfrageforschung

1 Verzerrung und Varianz

1.1 Fehler durch Nicht-Messung

1.1.1 Abdeckungsfehler

1.1.2 Keine Antwort-Fehler

1.1.3 Stichproben-Fehler

1.2 Messfehler

1.2.1 Interviewer

1.2.2 Befragter

1.2.3 Fragebogen

1.2.4 Interviewmodus

2 Validität und Reliabilität

2.1 Validität

2.2 Reliabilität

Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51,

S156-S172

Prof. Donsbach


Richard Curtin, Stanley Presser, and Eleanor Singer (2005):

Changes in Telephone Survey Nonresponse over the Past

Quarter Century. Public Opinion Quarterly 69: 87-98

Nonrespondents are commonly divided into three groups:

• those never reached (noncontacts),

• those unwilling to cooperate (refusals),

• and all others, composed mainly of those for whom it

would have been difficult or impossible to cooperate

(for example, those with language or hearing barriers).

Prof. Donsbach


Fazit

• Response rate on the Survey of Consumer Attitudes has declined

dramatically over the past quarter century, averaging roughly one percentage

point a year.

• Moreover, the decline has accelerated in the last few years. In contrast to

an average annual decline in response rate of 0.74 percentage points from 1979

to 96, the yearly decline averaged 1.50 points between 1997 and 2003.

• Refusals increased an average of 0.21 percentage points per year between 1979

and 2003, whereas noncontacts increased by 0.63 points.

• Thus, the perception that it has become increasingly difficult to contact

households by telephone, and that noncontacts have become a more

substantial part of nonresponse, is borne out by these data.

• However, the relative role of noncontacts and refusals has recently reversed.

• Although the growth in nonresponse from 1979 to 1996 was driven mainly by

rising noncontacts, the even steeper nonresponse rise after 1996 was due

mainly to a rise in refusals.

Prof. Donsbach


The most promising explanation to account for the SCA

increase in both refusals and noncontacts over the past 25

years may be the rapid growth in sales and survey phone

calls during the period, though further work is required to

document this.

Curtin et al. 2005

Prof. Donsbach


ZUMA-Nachrichten 57, November 2005

Prof. Donsbach


ZUMA-Nachrichten 57, November 2005

Prof. Donsbach


Literatur

Abschnitte aus allgemeiner Methoden-Literatur

Atteslander, P. (2000), Methoden der empirischen Sozialforschung,

Berlin/New York: de Gruyter.

Bortz, J. & Döring, N. (1995), Forschungsmethoden und Evaluation für

Sozialwissenschaftler: Berlin: Springer.

Brosius, H.B., Koschel, F. (2003). Methoden der empirischen

Kommunikationsforschung. Opladen: Westdeutscher Verlag.

Diekmann, A. (1995), Empirische Sozialforschung. Reinbek: Rowohlt.

Friedrichs, J. (1982), Methoden der empirischen Sozialforschung, Opladen:

Westdeutscher Verlag.

Schnell, R., Hill, P. & Esser, E. (1992), Methoden der empirischen

Sozialforschung, München: Oldenbourg.

Prof. Donsbach


Einführung in die standardisierte Befragung

Groves, R. (1987). Research on survey data quality. Public Opinion Quarterly 52

(4). 156-172.

Kaase, M. (1999). Qualitätskriterien der Umfrageforschung. Berlin: Akademie-

Verlag.

Wüst, A.M. (1998). Die Allgemeine Bevölkerungsumfrage der

Sozialwissenschaften als Telefonumfrage. ZUMA-Arbeitsbericht 98(04).

Price, V. & Neijens, P. (1997). Opinion quality in public opinion research.

International Journal of Public Opinion Research 9, 336-360.

Noelle-Neumann, E., Petersen, T. (2000). Alle nicht jeder. Einführung in die

Methoden der Demoskopie. Berlin.: Springer.

Koch, W. (1998). Wenn "mehr" nicht gleichbedeutend mit "besser" ist:

Ausschöpfungsquoten und Stichprobenverzerrungen in allgemeinen

Bevölkerungsumfragen. ZUMA-Nachrichten, 22(42).

Porst, R., Ranft, S.& Ruoff, B. (1998). Strategien und Maßnahmen zur Erhöhung

der Ausschöpfungsquoten bei sozialwissenschaftlichen Umfragen. Ein

Literaturbericht. ZUMA-Arbeitsbericht 98(07).

Prof. Donsbach

Weitere Magazine dieses Users
Ähnliche Magazine