Extended Reality – Code and Materiality in Art and Culture

EXTENDED REALITY

CODE AND MATERALITY

IN ART AND CULTURE

EDITED BY

DAGMAR SCHÜRRER AND MAJA STARK FOR

UNIVERSITY OF APPLIED SCIENCES BERLIN

AND CLUSTER OF EXCELLENCE

»MATTERS OF ACTIVITY«

HUMBOLDT UNIVERSITÄT ZU BERLIN

EDITORIAL

How can innovative extended reality technologies be

used in art, culture, and science? What added value do

they actually provide? And what is the significance of

materiality in this creative context?

In view of the rapid digitization of society, pressing

questions like these have for several years been occupying

a Berlin-based independent network of

art and culture professionals, international cultural

institutions, and interdisciplinary researchers

from fields such as computer science, design, art,

media studies, and anthropology. This context provided

the springboard for the interactive exhibition

»Extended Reality – Code and Materiality in Art and

Culture,« a cooperation between the interdisciplinary

INKA research group at the HTW – University

for Applied Sciences Berlin, and the Humboldt-

Universität zu Berlin’s Cluster of Excellence »Matters

of Activity. Image Space Material« and Media Theater.

It is the final exhibition of the INKA project

AURORA School for ARtists at the HTW Berlin, enriched

by further—thematically and technologically

wonderfully fitting—exhibits and installations with

XR technologies. All of them were developed in diverse

constellations of members from the INKA reserach

group, Cluster of Excellence »Matters of

Activity. Image Space Material,« and many more individuals

and institutions such as artists and creators

from Berlin’s independent art and culture scene, Konzerthaus

Berlin, Università degli Studi di Firenze, Lviv

Polytechnic National University, and École Supérieure

des Arts Décoratifs Paris.

Our special thank goes to the European Regional Development

Fund’s (ERDF) special program »Strengthening

the Potential for Innovation in Culture II«

(INP-II) and the kind support from the Berlin Senate

Administration for Culture and Europe for the main

funding of both the exhibition and this accompanying

catalog.

Dagmar Schürrer and Maja Stark

Editors

Wie können innovative Extended-Reality-Technologien

in Kunst, Kultur und Wissenschaft zum Einsatz

kommen, worin besteht eigentlich ihr Mehrwert

– und welche Bedeutung hat Materialität in diesem

kreativen Kontext?

Fragen wie diese sind angesichts der rasanten Digitalisierung

unserer Gesellschaft von größter Aktualität

und beschäftigen in Berlin seit mehreren

Jahren ein freies Netzwerk aus Kunst- und Kulturschaffenden,

internationalen Kulturinstitutionen

und interdisziplinären Forschenden aus Bereichen

wie Informatik, Gestaltung, Kunst- und Medienwissenschaft

sowie Anthropologie. Aus diesem Kontext

heraus ist die interaktive Ausstellung »Extended

Reality – Code and Materiality in Art and Culture«

entstanden, und dies in Kooperation zwischen der

interdisziplinären Forschungsgruppe INKA an der

HTW – Hochschule für Technik und Wirtschaft Berlin,

dem Exzellenzcluster »Matters of Activity. Image

Space Material« und dem Medientheater an der

Humboldt-Universität zu Berlin.

Dabei handelt es sich um die Abschlussausstellung

des INKA-Projekts AURORA School for

ARtists an der HTW Berlin, ergänzt um weitere

– thematisch wie technologisch wunderbar

passende – Exponate und Installationen mit

XR-Technologien. Alle wurden in vielfältigen

Konstellationen aus Mitgliedern der Forschungsgruppe

INKA, des Exzellenzclusters »Matters of

Activity. Image Space Material« und weiteren Akteur*innen

wie Kunst- und Kulturschaffenden der

freien Szene Berlins, Konzerthaus Berlin, Università

degli Studi di Firenze, Lviv Polytechnic National

University und École Supérieure des Arts Décoratifs

Paris entwickelt.

Unser besonderer Dank gilt dem Sonderprogramm

»Stärkung des Innovationspotenzial in der Kultur

II« (INP-II) des Europäischen Fonds für regionale

Entwicklung (EFRE) und die freundliche Unterstützung

der Berliner Senatsverwaltung für Kultur und

Europa für die Übernahme des Großteils der Finanzierung

sowohl der Ausstellung als auch dieses begleitenden

Katalogs.

Editorial

1

CONTENT

04

INTRODUCTION

Dagmar Schürrer | Maja Stark

CATALOG ENTRIES

06

08

10

12

14

16

BOT 03

Banz & Bowinkel

ELEKTRA.APP

Peter Sandhaus

VIRTUALIZED AR

Dagmar Schürrer

SOCIAL CAPSULE

Theresa Reiwer

O.B.E. EGO PASSAGES

Anke Schiemann

AUGMENTING THE MATERIAL REALITY

OF COMPUTING

Léa Perraudin

CATALOG ENTRIES

24

26

28

30

32

NEW YORK, NEW YORK

Sarah Müller

KARLA

Olga Bedia Lang | Julia Laube

SEÑOR PULPO

Christina Sarli

ZITTAU 1999

Juliane Wünsche

HEIDENROSE

Ariane Stamatescu

2 Content

TRANSFER OF MATERIALITY

The Interactive Virtual Reality Installation »Umwelten«

at the Konzerthaus Berlin

Interview with visual artist Mark Barden and composer Julian Bonequi

34

CATALOG ENTRIES

UMWELTEN

Interactive virtual reality experience at the Konzerthaus Berlin

KONZERTHAUS PLUS

Augmented reality application by the Konzerthaus Berlin

AURA

Auralization of acoustic heritage sites

using augmented and virtual reality

40

42

44

BETWEEN NIGHT AND DAY

Immersive Explorations within a Slide Archive

Maxime Le Calvé | Mareike Stoll

46

CATALOG ENTRIES

IMMERSIVE SLIDESHOW

Maxime Le Calvé | Mareike Stoll | Dionysios Zamplaras

TRANSIENT EXPOSURE

Artists’ collective reverb | Chitrasena Dance Company | XR_Unites

STRETCHING HANBOK

Yoonha Kim | Julien Letellier

52

54

56

GLOSSARY

CONTRIBUTORS

ACKNOWLEDGEMENTS

IMPRINT

58

60

68

72

Content

3

INTRODUCTION

Dagmar Schürrer and Maja Stark

What does materiality mean for art and culture from

our present-day perspective? How can materiality be

understood in our »post-digital« 1 age, where digital

technologies permeate creative work from start to finish,

both in terms of the tools and materials used and

conceptually? Indeed, many artists today no longer

work solely with physical materials such as paint and

paper or wood and stone—instead, artworks, like design

processes and cultural productions, pass through

various states of analog and digital materiality. Augmented

and mixed reality enable the combination

of physical and programmed realities. In the case of

virtual reality, the result is usually an experience that

hides the analog environment—how can we still speak

of materiality in this context?

Code simulates the nature of visual surfaces using

shaders and textures, abstracting, enhancing, or distorting

them in such a way that new materials are

created in the virtual world. These materials open up

an enormous spectrum of sometimes surreal possibilities

of expression for artists. The (im)materiality of

the computer-generated human body is one of several

aspects that is increasingly coming into focus in the

performative arts. Similarly, orchestral music can be

comprehended anew as material that can be digitally

processed on the computer and combined with visual

art in extended reality. The use of sound—but also of

haptic stimuli—can contribute quite significantly to

the simulation of multisensory materiality.

On the front end, we interact with 3D models, animations,

and sound. In the back end, however, code

written by humans goes through various levels of abstraction

in order to be understood and executed by a

mobile device such as a smartphone or virtual reality

goggles. The algorithm is literally inscribed in its material:

once triggered, it ultimately forces the techni-

Was bedeutet Materialität aus heutiger Sicht für

Kunst und Kultur? Wie lässt sich Materialität in unserem

»post-digitalen« 1 Zeitalter verstehen, in dem

digitale Technologien das kreative Schaffen von Anfang

bis Ende durchdringen, sowohl in Hinblick auf

verwendete Werkzeuge und Materialien als auch

konzeptuell? Tatsächlich arbeiten viele Künstler*innen

heute nicht mehr nur mit physischen Materialien

wie Farbe und Papier, Holz und Stein – stattdessen

durchlaufen Kunstwerke ebenso wie Designprozesse

und Kulturproduktionen verschiedene Zustände

analoger und digitaler Materialität. Augmented und

Mixed Reality ermöglichen die Kombination physischer

und programmierter Wirklichkeiten. Bei Virtual

Reality ist das Resultat meist eine Erfahrung unter

Ausblendung der analogen Umgebung – wie lässt

sich dabei noch von Materialität sprechen?

Code simuliert die Beschaffenheit visueller Oberflächen

mithilfe von Shadern und Texturen, er abstrahiert,

steigert oder verzerrt sie derart, dass in der

virtuellen Welt neue Materialien entstehen. Diese eröffnen

Kunstschaffenden ein enormes Spektrum mitunter

surrealer Ausdrucksmöglichkeiten. Die (Im-)

Materialität des computergenerierten Menschenkörpers

ist dabei einer von mehreren Aspekten, die

etwa in den performativen Künsten zunehmend in

den Fokus rücken. Gleichermaßen lässt sich Orchestermusik

auf neue Weise als Material verstehen, das

in digitalisierter Form am Computer bearbeitet und

in Extended Reality mit visueller Kunst kombiniert

werden kann. Der Einsatz von Klang, aber auch von

haptischen Reizen kann ganz wesentlich zur Simulation

multisensorischer Materialität beitragen.

Vordergründig interagieren wir mit 3D-Modellen,

Animationen und Sound. Im Backend indessen

durchläuft von Menschen geschriebener Code ver-

4 Introduction

cal device to transform between changing energetic

states—invisible, but still material, even at the nanolevel.

2 Digital art can be described as neo-material

that, among other things, reveals precisely this invisible

connection between user interface and backend as

its own condition, its conditio-sine-qua-non. 3

The following pages illuminate various aspects of

materiality both in scientific articles and by means

of selected works from design, art, literature, music,

performance, and science that have been created in

interdisciplinary engagement with extended reality

technologies: augmented, mixed, and virtual reality.

1

The term was coined by Kim Cascone in 2012, »because

the revolutionary period of the digital information

age has surely passed.« (»The Aesthetics of Failure,«

Computer Music Journal, 24 no. 4, 12).

2

See Bernard Stiegler, Économie de l’hypermatériel et

psychopouvoir, (Paris: Mille et une Nuits, 2008), and

his term »hypermateriality.«

3

This term was proposed by Christiane Paul in »From

Immateriality to Neomateriality,« ISEA2015: 21 st International

Symposium on Electronic Art, ISSN: 2451-

8611, 552–555.

schiedene Abstraktionsstufen, um vom mobilen Gerät

– etwa dem Smartphone oder der Virtual-Reality-Brille

– verstanden und ausgeführt werden zu

können. Der Algorithmus ist dabei seinem Material

regelrecht eingeschrieben: Einmal angestoßen, versetzt

er das technische Device in eine Transformation

wechselnder energetischer Zustände – zwar unsichtbar,

aber selbst auf Nanoebene noch materiell. 2 Als

neomateriell lässt sich digitale Kunst bezeichnen, die

unter Anderem ebendiese unsichtbare Verbindung

zwischen User Interface und Backend als ihre eigene

Bedingung, ihre Conditio-sine-qua-non offenlegt. 3

Die folgenden Seiten beleuchtet verschiedene Aspekte

analoger und digitaler Materialität – sowohl in

wissenschaftlichen Artikeln als auch anhand ausgewählter

Werke aus Design, Kunst, Literatur, Musik,

Performance und Wissenschaft, die in interdisziplinärer

Auseinandersetzung mit Extended-Reality-

Technologien – Augmented, Mixed und Virtual Reality

– entstanden sind.

1

Den Begriff schöpfte Kim Cascone 2012, »because the

revolutionary period of the digital information age

has surely passed« (»The Aesthetics of Failure«. In:

Computer Music Journal, 24(4), S. 12).

2

Vgl. Bernard Stiegler (2009): Économie de l’ Hypermatériel

et Psychopouvoir, Paris: Mille et une Nuits,

und seinen Begriff der »Hypermaterialität«.

3

Vgl. den Vorschlag dieses Begriffs von Christiane

Paul (2015): »From Immateriality to Neomateriality«.

In: ISEA – Proceedings of the 21 st International

Symposium on Electronic Art, ISSN: 2451-8611,

S. 552–555.

Introduction

5

BOT 03

2019, avatars on augmented vinyl print

Artists: Banz & Bowinkel

Supporting developers:

André Selmanagić and Michael Droste

Text: Banz & Bowinkel and Maja Stark

»Bot 03« is part of a series for which an avatar from

a previous Banz & Bowinkel project was revised and

equipped with its own independent behavior. The

bot’s decisions are now simulated live. It has to orient

itself in a specially created structure of meta-rules,

though inevitably its performance is directed by the

artists’ will rather than its own. A vinyl floor serves

as a marker: multiple avatars ›exist‹ on it and can be

made visible through augmented reality technology.

Just like real humans, these virtual beings are driven

by internal needs. Whereas in our case it might

be hunger, fatigue, or a need for hygiene that lead us

to become active, the avatars’ action is determined by

mathematical formulas through the use of a utility AI.

Although breaking down human behavior into code

was a time-consuming process, it provided insight

into our own human decision-making processes.

»Bot 03« ist Teil einer Serie, für die ein Avatar aus

einer vorigen Arbeit überarbeitet und mit einem eigenständigen

Verhalten ausgestattet wurde. Seine

Entscheidungen werden nun live simuliert. In einer

eigens kreierten Struktur von Meta-Regeln muss er

sich selbst orientieren, vollführt dabei aber unweigerlich

eine Performance, die keineswegs von einem

eigenen Willen, sondern von den Künstler*innen dirigiert

wird. Ein Vinyl-Boden dient als Marker, hier

›existiert‹ eine Anzahl von Avataren und kann durch

Augmented-Reality-Technologie sichtbar gemacht

werden.

Wie echte Menschen sind die virtuellen Wesen getrieben

von Bedürfnissen. Führen bei uns Hunger,

Müdigkeit und Hygiene zu aktivem Handeln, wird

dies bei den Avataren von mathematischen Formeln

bestimmt, wozu in der Programmierung eine Utility

Screenshot: Banz & Bowinkel

6

Installation shot: Banz & Bowinkel

With their bots, Banz & Bowinkel draw attention to

the fact that avatars, just like robots, are not self-actuating

but dependent on human-written code—and

thus also on the socioculturally shaped decisions of

the respective developers. This is also what Frank

Hartmann argues in his book »Medienmoderne: Philosophie

und Ästhetik« (2018, 158), namely that »in

all programming, in every piece of software and every

algorithm, and certainly also in all hardware, human

ideas and cultural values [are] inscribed.«

The precursor of »Bot 03« by Banz & Bowinkel was

developed in the production lab of the INKA project

AURORA School for ARtists at the HTW Berlin.

AI (Artificial Intelligence) herangezogen wird. Das

Herunterbrechen menschlichen Verhaltens in Code

war zeitaufwendig, lieferte aber auch Einsichten in

menschliche Entscheidungsprozesse.

Banz & Bowinkel machen durch ihre die Bots darauf

aufmerksam, dass Avatare ebenso wie Roboter nicht

selbsttätig, sondern abhängig von menschgeschriebenem

Code sind – und damit auch von den soziokulturell

geprägten Entscheidungen der jeweiligen

Entwickler*innen. So schreibt auch Frank Hartmann

in seinem Buch »Medienmoderne. Philosophie

und Ästhetik« (2018, S. 158): »[I]n jede Programmierung,

in jede Software, in jeden Algorithmus, freilich

auch in die Hardware, [sind] menschliche Ideen und

kulturelle Wertvorstellungen eingeschrieben«.

Catalog | Bot 03

Der Vorreiter von »Bot 03« von Banz & Bowinkel

wurde im Produktionslabor des INKA-Projekts

AURORA School for ARtists an der HTW Berlin

entwickelt.

7

ELEKTRA.APP

2019, augmented reality simulation of a new landmark

for Berlin-Oberschöneweide

Artist: Peter Sandhaus

Developer: Elisabeth Thielen

Text: Peter Sandhaus and Maja Stark

Electricity is the blood that is pulsing through our digital

devices—without it, there would be no circuits

and switches, no zeros and ones. Matter would come

to a standstill. In the twenty-first century, electric

current manifests itself in illuminated matte screens,

cities flooded with light, and global data streams—but

the conventional production of electricity also causes

blatant environmental damage.

Strom ist wie Blut, das durch die Gefäße unserer

digitalen Devices pulsiert – ohne ihn keine Kreisläufe

und Schalter, keine Nullen und Einsen. Stillstand

der Materie. Elektrischer Strom manifestiert sich im

21. Jahrhundert etwa durch mattleuchtende Screens,

durch lichtdurchflutete Städte und globale Datenströme

– er bringt aber durch seine konventionelle

Erzeugung auch eklatante Umweltschäden mit sich.

At the end of the nineteenth century, AEG was headquartered

in Oberschöneweide, a European beacon of

the electricity industry. Its famous emblem from 1888

shows the embodiment of electrical energy: the goddess

of light on the winged wheel of progress. Peter

Sandhaus’ contemporary interpretation is »Elektra«,

which will soon stand as a new landmark on the Kaisersteg

in Berlin-Oberschöneweide. The sculpture,

thirty-four meters in height, will also herald the dawn

of a new era, as a fusion of the local tradition of the

electricity industry and a signal of the awakening of a

renewed electropolis—characterized by renewable energies,

smart electromobility, and virtual networking.

A small wind power plant is integrated to generate

electricity. It lights up the sculpture and can be used

for charging mobile devices or e-bikes on the site. The

augmented reality application »Elektra.app« makes

it possible to experience the planned sculpture as a

real-time simulation—on site and at scale; in the exhibition

it is just large enough to fit into the designated

atrium.

»Elektra.app« by Peter Sandhaus was developed

in the production lab of the INKA project AURORA

School for ARtists at the HTW Berlin.

8 Catalog | Elektra.app

Ende des 19. Jahrhunderts war Oberschöneweide

der Hauptsitz der AEG, eines europäischen Leuchtturms

der Elektroindustrie. Ihr berühmtes Signet

von 1888 zeigt die Verkörperung elektrischer Energie

als Göttin des Lichts auf dem geflügelten Rad

des Fortschritts. Eine zeitgenössische Interpretation

ist »Elektra« von Peter Sandhaus, die bald als

neue Landmark auf dem Kaisersteg in Berlin-Oberschöneweide

stehen wird. Auch diese 34 Meter hohe

Skulptur wird vom Aufbruch in eine neue Zeit künden:

als Verschmelzung der lokalen Tradition der

Elektroindustrie mit einem Aufbruchssignal in eine

erneuerte Elektropolis – geprägt von regenerativer

Energiegewinnung, smarter Elektromobilität und

virtueller Vernetzung. So ist ein kleines Windkraftwerk

integriert, über das Strom gewonnen wird. Es

bringt die Skulptur zum Leuchten und kann vor Ort

zum Laden von mobilen Devices oder E-Bikes genutzt

werden. Die Augmented-Reality-Anwendung

»Elektra.app« macht die geplante Skulptur als Echtzeit-Simulation

erlebbar – ursprünglich vor Ort und

in Originalgröße; in der Ausstellung gerade so groß,

dass sie in das vorgesehene Atrium passt.

»Elektra.app« von Peter Sandhaus wurde im

Produktionslabor des INKA-Projekts AURORA

School for ARtists an der HTW Berlin entwickelt.

Screenshot: Peter Sandhaus

9

VIRTUALIZED AR

2020, augmented reality video installation, 10:55 min

Artist: Dagmar Schürrer

Supporting developers: Leonid Barsht and Elisabeth Thielen

Text: Dagmar Schürrer and Maja Stark

Dagmar Schürrer’s two-part video work »Virtualized

AR« is visually captivating in its materiality, though it

is not material. Its surfaces are seductive, yet it cannot

be touched. It unsettles with its use of organic forms

and sounds that are in fact mostly artificial.

The artist’s focus is on the virtual, which, like the philosopher

Pierre Lévy, she understands not as illusionary

or fake, but as an additional layer to the real and

the current: a state of possibility, detached from material

presence and geographical location—like dreams

or memories, a vague structure before actualization in

the real, constantly in flux, and multiply distributed,

floating in transition and subject to its own laws.

Dagmar Schürrer experiments with augmented reality

in a virtuoso manner: triggered by individual video

stills, she lets her visual worlds break out of the

screen. One enters a virtual space, a 3D collage of digital

objets trouvés and her artistic creations. Here,

the oscillation between representational and abstract

content opens up a broad field of chains of associations

that refer to the familiar and at the same time

imply something new.

»Virtualized AR« by Dagmar Schürrer was developed



Dagmar Schürrers zweiteilige Videoarbeit

»Virtualized AR« besticht visuell durch ihre Materialität,

ohne materiell zu sein. Sie verführt durch

ihre Haptik, ohne greifbar zu sein. Sie verstört durch

organische Formen und Sounds, die größtenteils

artifiziell sind.

Der Fokus der Künstlerin liegt auf dem Virtuellen,

das sie in Übereinstimmung mit dem Philosophen

Pierre Lévy nicht als Illusion oder Fälschung, sondern

als zusätzliche Ebene zum Realen und Aktuellen

versteht: ein Zustand des Möglichen, von materieller

Präsenz und geografischer Verortung losgelöst – wie

Träume oder Erinnerungen ein vages Gefüge vor der

eigentlichen Aktualisierung im Realen, ständig im

Fluss und vielfach verteilt, schwebend am Übergang

und eigenen Gesetzen unterworfen.

Virtuos experimentiert Dagmar Schürrer mit Augmented

Reality: Ausgelöst durch einzelne Videostills,

lässt sie ihre Bildwelten aus den Screens ausbrechen.

Man betritt einen virtuellen Raum, eine 3D-Collage

aus digitalen objets trouvés und Kreationen der

Künstlerin. Hier eröffnet das Changieren zwischen

konkret figürlichen und abstrakten Inhalten ein breites

Feld von Assoziationsketten, die auf Vertrautes

verweisen und zugleich Neues implizieren.

10 Catalog | Virtualized

»Virtualized AR« von Dagmar Schürrer wurde

im Produktionslabor des INKA-Projekts AURORA


Video still and installation shot: Dagmar Schürrer

11

SOCIAL CAPSULE

2021, augmented room installation

Artist: Theresa Reiwer

Developers: Carlos A. Serrano and Janosch Marian Friedrich

Text: Theresa Reiwer

»Social Capsule« is futuristic feel-good living. Safe,

clean, perceptive and—above all—mobile! It has modernized

social contact: physical encounters are replaced

by artificial intelligence and the home’s augmented

reality friend.

In accordance with current hygiene regulations, only

one person at a time can make an appointment to try

out the trial version of the smart Tiny House. But with

the intelligent voice operating system and the computer-generated

roommate, every human nevertheless

has optimal companionship. One’s personal comfort

zone as a meeting place—finally in good company that

is stimulating without being draining. Simply touch

your own four walls for »intimacy on demand.« Who

wouldn’t be satisfied with an augmented reality roommate

as an additional body in the room—especially as

living space becomes increasingly scarce? WELCOME

HOME!

»Social Capsule« ist das Wohlfühlwohnen von

morgen. Sicher, sauber, einfühlsam und vor allem:

mobil! Soziale Kontakte werden hier modernisiert,

physische Begegnungen durch die Künstliche

Intelligenz und den Augmented-Reality-Freund des

Hauses ersetzt.

Zeitgenössischen Hygienebestimmungen angemessen,

wird die Trial-Version des smarten Tiny Houses

in Einzelterminen probebewohnt. Mit dem intelligenten

Voice Operating System und dem computergenerierten

Mitbewohner ist mensch trotzdem in bester

Begleitung. Die persönliche Comfort Zone als Begeg-

»Social Capsule« is the second work in Reiwer’s smart

home series after »Slow Rooms«. The narrative room

installation with augmented reality deals with artificial

intelligence and the question of what shortcomings

digital togetherness demonstrates. Can the feeling of

social isolation be artificially substituted or are there

desires that only a physical counterpart can fulfill? In

the work, the artist adapts neoliberal principles and

staging strategies. Her referencing of urban dynamics

and the current state of the housing market is another

important element in the immersive installation.

»TOVIAS«, the precursor of »Social Capsule« by Theresa

Reiwer, was developed in the production lab of

the INKA project AURORA School for ARtists at the

HTW Berlin. André Selmanagić was the developer.

Image: Anna Tiessen

12 Catalog | Social Capsule

nungsstätte – endlich in empathischer Gesellschaft,

die anregt ohne anzustrengen. Eine Berührung der

eigenen vier Wände und »Intimität on demand«.

Wem genügt ein Augmented-Reality-Mitbewohner

als zusätzlicher Körper im Raum nicht – vor allem

wenn Wohnraum immer knapper wird? WELCOME

HOME!

»Social Capsule« ist nach »Slow Rooms« die zweite

Arbeit aus Reiwers Smart-Home-Reihe. Die narrative

Rauminstallation mit Augmented Reality beschäftigt

sich mit Künstlicher Intelligenz und der

Frage, welche Leerstellen digitales Miteinander aufweist.

Kann das Gefühl von sozialer Isolation artifiziell

substituiert werden oder gibt es ein Begehren,

das nur das physische Gegenüber ausfüllen kann? In

der Arbeit adaptiert die Künstlerin Prinzipien und

Inszenierungsstrategien des Neoliberalismus. Der

Querverweis auf urbane Dynamiken und die aktuelle

Situation des Wohnungsmarktes ist ein weiteres

wichtiges Element der immersiven Installation.

»TOVIAS«, der Vorreiter von »Social Capsule«

von Theresa Reiwer, wurde im Produktionslabor

des INKA-Projekts AURORA School for ARtists an

der HTW Berlin entwickelt. Der Entwickler war André

Selmanagić.

Both images: Anna Tiessen

Models: Marie Gramss and Patrick Chen

Catalog | Social Capsule

13

O.B.E.

EGO PASSAGES

2020, two of six scenes from an augmented reality dance performance

Artist: Anke Schiemann

Developer: Leonid Barsht

Text: Anke Schiemann and Maja Stark

14 Catalog | O.B.E. Ego Passages

Screenshot: Anke Schiemann

The installation »O.B.E. Ego Passages« by Anke

Schiemann deals with the nature of consciousness.

The artwork is based on the ideas of contemporary

philosopher Thomas Metzinger, who has been working

with specialists in brain research, cognitive science,

and artificial intelligence for many years.

How does our conscious model of reality relate to physical

reality? According to Metzinger’s book »The Ego

Tunnel« (2009), this model is only a faint projection

of a much more substantial environment comprising

electromagnetic radiation that is, for the most part,

imperceptible to the human senses. For Metzinger,

the human consciousness is a reality generator that

only simulates the existing world. And unlike other

biologically evolved phenomena, it is able to generate

a mental model of itself: the Ego-Machine.

Does that mean that reality as we experience it every

day is just mental scenery? Are we already living in

a virtual reality? Schiemann explores these questions

through the creation of an ego-machine agent:

a recording of a dancer who appears in augmented

reality as an immaterial, translucent cloud of pixels.

She moves fluidly between the analog and virtual

worlds to shake up our model of reality: What is real?

What is simulated and by which machines?

The process of consciousness, meanwhile, remains inscribed

in the body machine and thus always part of

the material world: a flash fire running through myriads

of neurons.

»O.B.E. Ego Passages« by Anke Schiemann was developed

in the production lab of the INKA project

AURORA School for ARtists at the HTW Berlin.

Die Natur des Bewusstseins steht im Zentrum der

Installation »O.B.E. Ego Passages« von Anke Schiemann.

Das Kunstwerk basiert auf Ideen des zeitgenössischen

Philosophen Thomas Metzinger, der

seit vielen Jahren mit Spezialist*innen aus Hirnforschung,

Kognitionswissenschaft und Künstlicher Intelligenz

zusammenarbeitet.

Wie verhält sich unser bewusstes Wirklichkeitsmodell

zur physikalischen Realität? Folgt man Metzinger

in seinem Buch »Der Ego-Tunnel« (2009), ist

dieses Modell nur eine schwache Projektion einer

ungleich gehaltvolleren Umgebung aus elektromagnetischer

Strahlung, die für die menschlichen Sinne

größtenteils nicht wahrnehmbar ist. Das menschliche

Bewusstsein sei ein Wirklichkeitsgenerator, der

die existierende Welt nur simuliere. Es unterscheide

sich von anderen biologisch evolvierten Phänomenen,

da es in der Lage sei, ein mentales Modell des

eigenen Selbst zu erzeugen: die Ego-Maschine.

Ist also die Realität, wie wir sie täglich erleben, nur

ein mentales Bühnenbild? Leben wir bereits in einer

virtuellen Realität? Schiemann erforscht diese Fragen

durch die Schöpfung einer Ego-Maschine-Agentin:

Es ist die Aufnahme einer Tänzerin, die in der

Augmented Reality als immaterielle, durchscheinende

Pixelwolke erscheint. Fließend bewegt sie sich

zwischen der analogen und virtuellen Welt, um unser

Realitätsmodell ins Wanken zu bringen: Was bedeutet

real, was ist simuliert und durch welche Maschinen?

Der Bewusstseinsprozess bleibt indessen der Körpermaschine

eingeschrieben und damit stets Teil der

materiellen Welt: ein über Myriaden von Neuronen

ablaufendes Blitzfeuer.

»O.B.E. Ego Passages« von Anke Schiemann wurde

im Produktionslabor des INKA-Projekts AURORA


Catalog | O.B.E. Ego Passages

15

AUGMENTING THE

MATERIAL REALITY

OF COMPUTING

Léa Perraudin

»There is no software.« It was in 1992 that the German

media theorist Friedrich Kittler put forth this

provocative yet programmatic thesis about the ineluctable

materiality of computer-based communication,

and his words have resonated into the twenty-first

century. Inasmuch as every computer operation is determined

by hardware, Kittler’s polemical ›software

denial‹ is formulated simultaneously as a testament

to its technological a priori and a commentary on the

discourses around immaterialization and virtualization

of his time. 1

The immaterial appears to have become greedy in the

meantime, if we are to believe Netscape co-founder

and internet entrepreneur Marc Andreessen. He proclaims

that software is subjugating nothing less than

the entire planet to its logic: »software is eating the

world.« 2 Accordingly, in this metaphor, that which we

call the world has long since been ›metabolized‹ by

programs and algorithms. Yet the materiality of this

dynamic remains obscure, despite the fact that both

concrete artifacts, like (mobile) devices and embedded

computers in the Internet-of-Things architecture,

and the technological infrastructure of global connectivity,

such as intercontinental submarine cables, server

farms, sensor networks, and satellites, give rise to

this metabolic process. Even though both levels—device

and infrastructure—are disappearing from view

through habitualization, ubiquitization, and miniaturization,

their prior materiality remains.

»There is no software« – die provokative These des

deutschen Medientheoretikers Friedrich Kittler, mit

der er 1992 programmatisch auf die unhintergehbare

Materialität computergestützter Kommunikation

insistiert, hallt im 21. Jahrhundert nach. Jede Operation

eines Computers ist bestimmt durch Hardware,

insofern ist Kittlers polemische ›Softwareleugnung‹

zugleich Testament ihres technischen Apriori und als

ein Kommentar zu den Immaterialisierungs- und

Virtualisierungsdiskursen seiner Zeit formuliert. 1

Mittlerweile scheint das Immaterielle gefräßig geworden

zu sein, will man dem Netscape Mitbegründer

und Internet-Entrepreneur Marc Andreessen glauben.

Er proklamiert, dass Software nicht weniger als

die gesamte Welt ihrer Logik unterwirft: »software

is eating the world«. 2 In dieser Metaphorik ist das,

was wir Welt nennen, also längst von Programmen

und Algorithmen ›verstoffwechselt‹. Die Materialität

dieser Dynamik bleibt dabei im Dunkeln. Doch

sowohl konkrete Artefakte wie (mobile) Endgeräte

und eingebettete Computer der Internet-of-Things-

Architektur als auch die technischen Infrastrukturen

globaler Konnektivität (etwa interkontinentale

Tiefseekabel, Serverfarmen, Sensornetzwerke und

Satelliten) sind Generatoren dieses Stoffwechselprozesses.

Dass beide Ebenen – Gerät und Infrastruktur

– durch Habitualisierung, Ubiquitisierung und

Miniaturisierung aus dem Blickfeld geraten, ändert

nichts an ihrer vorgängigen Materialität.

Ralf Baecker:

»Irrational Computing« (2011)

Berlin-based artist Ralf Baecker brings this materiality

to the fore by exposing its spatiotemporal arrange-

Ralf Baecker:

»Irrational Computing« (2011)

In den Arbeiten des Berliner Künstlers Ralf Baecker

rückt jene Materialität über ihre exponierten

Image: Ralf Baecker

16 Augmenting the Material Reality of Computing

ments and image relations. 3 »Irrational Computing«

(2011) is a speculative confrontation with the material

foundation of technological processes as explored

through semiconductor crystals such as silicon

carbide and quartz. Ten years after the creation of

Baecker’s irrational computer, it is worth taking an

updated look at the composition’s own media-technological

internal logic through the lens of a particular

understanding of augmented reality. In five interconnected

modules, the project showcases the use of

crystals at a macroscopic level, thus countering contemporary

technology’s tendency toward miniaturization

and invisibilization. Baecker unceremoniously

transforms the crystalline components of technological

systems into the key players in an experimental

setup with sculptural proportions (Fig. 1). 4 The material

›reality‹ of computational operations thus takes

center stage through the augmentation of its all too

often ignored material foundation and the amplification

of its acoustic dynamics.

raum-zeitlichen Ordnungen und Bildrelationen in

den Fokus. 3 »Irrational Computing« (2011) ist eine

spekulative Auseinandersetzung mit der materiellen

Grundlage technischer Prozesse anhand von Halbleiterkristallen

wie Siliziumcarbid und Quarz. Zehn

Jahre nach Entstehung des ›irrationalen Computers‹

lohnt ein aktualisierender Blick auf die medientechnische

Eigenlogik des Gesamtarrangements im Kontext

einer spezifischen Lesart von Augmented Reality.

In fünf miteinander verbundenen Modulen zeigt das

Projekt den Einsatz von Kristallen auf einer makroskopischen

Ebene und bewegt sich damit gegenläufig

zu den Miniaturisierungs- und Invisibilisierungstendenzen

zeitgenössischer Technik. Hier werden die

kristallinen Komponenten technischer Systeme kurzerhand

zu Hauptakteuren in einem Versuchsaufbau

skulpturalen Ausmaßes (Abb. 1). 4 Die materielle ›Realität‹

von Rechenaktivität wird hier also durch ein

Augmentieren ihrer allzu oft ignorierten stofflichen

Grundlage und die Amplifizierung ihrer akustischen

Dynamik in Stellung gebracht.

Augmenting the Material Reality of Computing

17

The staging of the oversized crystals and their signals

takes on a particular function in each of the electromineral

modules. Module I, the »Silicon Carbide

Display« placed in the center, is equipped with sixty-four

iron needles that electrically stimulate a silicon

carbide crystal, rendering the electromagnetic

and acoustic waves emitted by the crystal visible and

audible (Fig. 2). The »Coincidence Detector«, Module

II, comprises two G-M tubes (which are also used

in Geiger counters) to detect cosmic radiation, while

simultaneously functioning as a generator of random

signals that are translated into flashing diodes and

click noises. A field of Rochelle salt crystals operates

as Module III, the »Crystal Field Oscillator« (Fig. 3).

The piezoelectric quality of these crystals is harnessed

to generate a feedback loop. Three galena crystals

are used as additional noise sources in Module IV, the

»Shot Noise Generator,« and three more crystals operate

as logic gates that compute a constantly fluctuating

binary pattern. The »Phase-Locked Loop« designates

the final module, Module V, in which eight

interconnected quartz crystals arranged in a closed

loop interact with one another (Fig. 4). Each crystal’s

output is fed into that of the previous one, creating a

constantly fluctuating signal flow. All of the materials

used can be found in fundamentally similar or even

identical assemblies in technological devices. Quartz,

for example, is used to keep time in computers; silicon

carbide was used in the first commercial semiconductors.

5

On the arcane locus of

technological activity

Although the experimental setup signifies a scientific

process, the blinking and crackling signals emanating

from the luminescent crystal modules, as seen by a lay

person, do not readily deliver insights. 6 This computer

is irrational: it has rejected the logic of exploitation

inherent to technological advancement, and it lacks

any purpose beyond the circular interaction of its elements.

Whereas the methods of mineral extraction

and processing are hardwired into the very workings

of the technology industry, for »Irrational Computing«

the commodification of its operations is not up

for debate. Moreover, as the raw antithesis to systems

specifically designed to ensure technological advancement,

it makes no consideration for potential users.

Kittler deplored the shallow surface quality of graphic

user interfaces, which he claimed deprived users of

the machine as a whole. 7 Without knowing the operational

principles of technological devices, we interact

with them successfully on a daily basis, thus falling

prey to what Kittler termed ›computer illiteracy.‹ 8

18


Die Inszenierung der vergrößerten Kristalle und

ihren mit Mikrofonen verstärken Signalen nimmt in

den elektromineralischen Modulen eine je spezifische

Funktion ein. Modul I, das im Zentrum platzierte

»Silicon Carbide Display«, ist ausgestattet mit 64

Eisennadeln, die einen Siliziumcarbitkristall elektrisch

stimulieren und die vom Kristall ausgehenden

Wellen sicht- und hörbar werden lassen (Abb. 2). Der

»Coincidence Detector« besteht als Modul II aus zwei

G-M-Röhren (die auch in einem Geigerzähler eingesetzt

werden) um kosmische Strahlung zu ermitteln

und fungiert zugleich als zufallsbasierter Generator

von Signalen, die in blinkenden Dioden und Klickgeräuschen

übersetzt werden. Eine mit Seignettesalzkristallen

ausgelegte Fläche operiert als Modul

III, der »Crystal Field Oscillator« (Abb. 3). Sie nutzt

die piezoelektrischen Eigenschaften von Kristallen,

um einen Feedback Loop zu erzeugen. Drei Galenitkristalle

werden in Modul IV, dem »Shot Noise Generator«

als zusätzliche Störquellen eingesetzt; drei

weitere fungieren als Gatter für fluktuierende binäre

Signale. Im »Phase-Locked Loop«, der schließlich

Modul V markiert, interagieren acht kreisförmig

ausgerichtete und miteinander verbundene Quarzkristalle

(Abb. 4). Ihr Output wird jeweils mit dem

vorherigen Output kombiniert, um einen sich permanent

verändernden Signalfluss zu erzeugen. Sämtliche

eingesetzte Stoffe sind in einem grundlegend

ähnlichen bis identischen Aufbau in technischen Geräten

zu finden. Quarz fungiert etwa als Taktgeber

in Computern, Siliziumcarbid war das Material der

ersten kommerziell genutzten Halbleiter. 5

Vom arkanen Locus technischer Aktivität

Signalisiert der Versuchsaufbau also einen wissenschaftlichen

Vorgang, so lassen sich die blinkenden

und knackenden Signale der lumineszenten Kristallmodule

(in einer laienhaften Betrachtung) dennoch

nicht in Erkenntnis übersetzen. 6 Dieser Computer

ist irrational, er hat der Verwertungslogik technischer

Entwicklungen eine Absage erteilt und besitzt

keinerlei über das zirkuläre Zusammenspiel

seiner Elemente hinausgehenden Zweck. Während

die Verfahren der Extraktion und Verarbeitung von

Mineralien also dezidiert in die Funktionsweise der

Technikindustrie eingeschrieben sind, steht für »Irrational

Computing« eine Kommodifizierung seiner

Operationen nicht zur Debatte. Mehr noch: Als rohe

Antithese eines zur Sicherung des technischen Fortschritts

ausdifferenzierten Systems sind potenzielle

Nutzer*innen hier nicht Teil des Konzepts.

Kittler beklagt das Oberflächliche der graphischen

User Interfaces, die »eine ganze Maschine ihren Be-

»Irrational Computing« scrutinizes the workings of

this interaction: it points out how the user interface

makes sense by way of metaphor, and it emphasizes

the general dominance of the display—which Baecker

attempts to eliminate:

Current technologies are characterized by manifold

layers. Approaching them from the top layer,

there are the metaphorical user interfaces, signs,

the operating system, binary symbols down to

the CPU, the transistors, the silicon and finally

tiny analog electronic currents. My aim is to carry

out some kind of re-appropriation of the digital.

And this becomes a poetic starting point for my

work . . . . My aim is to get rid of the display. I

want process, and therefore I try to enhance the

visual aspects of the machinery. 9

By stripping technology of its user-friendly interfaces

and by emphasizing the indiscernible nature of input/

output mechanisms that have been decoupled from

their materiality in everyday use for ›computer illiterates,‹

Baecker draws attention to the crystals. In the

experimental setup they portray themselves as the arcane

locus of technological activity, as matters of fact

that are visible on the surface yet remain tamperproof.

Crystal images without displays

According to Gilbert Simondon, the genesis of a crystal

cannot be grasped through the hylomorphic schema.

10 The potentially infinite process of crystallization

originates in a substance with a metastable state, a supersaturated

solution, for example, in which a nucleus

has formed. Along the nucleus the crystal expands in

multiple directions as particles are deposited, thereby

creating layers that form the foundation for further

crystallization. 11 The crystal and its environment are

thus bound in a relation of mutual becoming. Simondon

uses the formation of crystals to explicate his concept

of individuation, which indicates something that

is neither derived from an anterior principle nor can

be seen as the mere result of development; rather, it is

an open process. 12 Simondon’s »taking-form« interferes

with the hylomorphic attributes of passive matter

and the active shaping of form. An occurrence is never

simply the result of individuation; instead, it brings

forth individual and environment in their becoming. 13

In this the crystal becomes the subject of a dual dynamic

and fundamentally challenges the attribution of

interior and exterior as well as before and after.

In his philosophy of cinema, Gilles Deleuze expands

on this conceptual model. The crystal takes on a central

role in his examination of the temporal specifics

nutzern entziehen«. 7 Ohne die Operationsgrundlage

eines technischen Geräts kennen zu müssen, interagieren

wir also alltäglich erfolgreich mit ihm und

fallen hierin dem »Computeranalphabetismus« anheim.

8 »Irrational Computing« widmet sich dieser

Dynamik und weist auf den metaphorisierenden Gehalt

der User Interfaces und die generelle Dominanz

des Displays hin, die es probeweise zu eliminieren

gilt:

Current technologies are characterized by manifold

layers. Approaching them from the top layer,

there are the metaphorical user interfaces, signs,

the operating system, binary symbols down to the

CPU, the transistors, the silicon and finally tiny

analog electronic currents. My aim is to carry out

some kind of re-appropriation of the digital. And

this becomes a poetic starting point for my work

[...]. My aim is to get rid of the display. I want

process, and therefore I try to enhance the visual

aspects of the machinery. 9

Indem er dem Technischen seine bedienfreundlichen

Schnittstellen entzieht und die von ihrer Materialität

im alltäglichen Gebrauch entkoppelten Input/

Output-Mechanismen in ein für ›Computeranalphabet*innen‹

unersichtliches Miteinander versetzt,

lenkt Baecker den Fokus auf den Kristall. Dieser wird

im Versuchsaufbau zum arkanen Locus technischer

Aktivität und zu einer zwar oberflächlich sicht-, aber

nicht handhabbaren Tatsache.

Kristallbilder ohne Display


Die Genese eines Kristalls ist nach Gilbert Simondon

nicht mit dem hylemorphistischen Schema in

den Griff zu bekommen. 10 Als potenziell unendlicher

Prozess nimmt die Kristallisation ihren Ursprung in

einer Substanz metastabilen Zustands, etwa einer

übersättigten Lösung, in der sich ein fester Kristallisationskeim

mit geringem Volumen gebildet hat.

Entlang dieses Keims treibt sich die Bildung des

Kristalls multidirektional voran, indem er Schichten

bildet, die für die fortschreitende Kristallisation

die weitere Grundlage bilden. 11 Der Kristall und sein

Milieu stehen also in einem Verhältnis gemeinsamer

Hervorbringung. Simondon verdeutlicht am Kristallwachstum

sein Konzept der Individuation, das

sich nicht von einem vorgängigen Prinzip herleiten

lässt und kein Produkt einer Entwicklung ist, sondern

ein offener Prozess. 12 Die Formwerdung durchkreuzt

die hylemorphistischen Attribute von passiver

Materie und aktiver Formgebung. Ein Ereignis ist

damit nie einfach Ergebnis der Individuation, sondern

ein prozessual gedachtes Milieu dieser Indivi-

19

20 Augmenting the Material Reality of Computing

Both images: Ralf Baecker

of cinematic images; it becomes an analytic tool in exploring

the coexistence of the actual and the virtual.

The crystal »always lives at the limit, . . . . because it

is a perpetual self-distinguishing, a distinction in the

process of being produced.« 14 The crystal-image takes

on this capacity of the crystal, although it marks »the

point of indiscernibility of the two distinct images, the

actual and the virtual.« 15 Deleuze inscribes the crystal-image

with a simultaneity of past and present. 16 As

a metaphor, the crystal comes to bear a specific temporality

of the image and the ›imagality‹ of time.

There is no such image relation in »Irrational Computing«:

getting rid of the display is its cogent motto.

Whereas the screen—as the universal artifact of

screen culture—has become central to applications of

augmented reality, Baecker’s computer has no display

to guide our attention. Instead, the crystals in the exhibition

space expose the temporality of the material

and the materiality of time: extracted from the earth

they are the present realizations of their past. In nature,

crystallization is a protracted process; embedded

in layers of rock, crystals are witnesses of past eons.

Yet Baecker informs us that the crystals in the work

are not exclusively natural. He also used crystalline

material from industrial waste and crystals that were

specially cultivated for the project—although the precise

conditions of each individual crystal’s emergence

remain unclear. 17 Their indeterminate nature hints at

the simultaneous occurrence of a crystal that is potentially

millions of years old, one that is inserted into a

new temporal loop as recycled material of crystalline

origin, and a self-made artifact. Here, crystal-images

without images—sensu stricto—are at play.

In their homogeneous application across modules,

the crystals, regardless of whether they are manmade

or have been modified, emerge from a process of

form-taking. Even though the act of showcasing the

crystals in »Irrational Computing« necessarily transforms

them into aesthetic objects as mandated by the

spatiotemporal and social conventions of an exhibition

space, they nevertheless manage to revert to the

resistant activity of matter itself. This kind of matter

has nothing in common with a reductionist understanding

of nature; it is not functional—it is unfolding.

By presenting its computer components macroscopically,

the project addresses technological in/visibility

relations explicitly in terms of their material relations.

For »Irrational Computing« the articulation of a selfactive

crystal is not an object of fascination—the crystal

listens in on itself without having to make itself

heard, and it is precisely in this hermeticism that it is

so powerful.


duation. 13 Der Kristall wird hierin zum Gegenstand

einer doppelten Dynamik, er stellt die Definition von

Innen und Außen, Davor und Danach in ein unentscheidbares

Verhältnis.

In seiner Kinophilosophie schreibt Gilles Deleuze

diese Denkfigur fort. Dort nimmt der Kristall eine

zentrale Funktion zur Untersuchung der zeitlichen

Spezifika filmischer Bilder ein; er wird zum Analysewerkzeug

der Koexistenz von Aktuellem und Virtuellem.

Der Kristall »existiert ständig an der Grenze

[...], da er ein fortwährendes Sich-Unterscheiden, ein

sich bildender Unterschied ist«. 14 Im Kristallbild ist

diese Kapazität des Kristalls aufgegriffen, markiert

es doch den »Punkt der Ununterscheidbarkeit zwischen

den beiden verschiedenen Bildern, dem aktuellen

und dem virtuellen«. 15 Hier ist dem Kristallbild

eine Gleichzeitigkeit von Vergangenem und Gegenwärtigem

eingeschrieben. 16 Der Kristall wird metaphorisiert

zum Träger einer spezifischen Zeitlichkeit

des Bildes und Bildlichkeit der Zeit.

In »Irrational Computing« gibt es diese Bildrelation

nicht: getting rid of the display ist die konsequente

Devise. Während das Universalartefakt der Screen

Culture – der Bildschirm – zentral für Augmented

Reality Anwendungen ist, lenkt hier kein Display

unsere Aufmerksamkeit. Die Kristalle im Ausstellungsraum

exponieren vielmehr die Zeitlichkeit des

Materials und die Materialität der Zeit: Enthoben

aus dem Erdreich sind sie Vergegenwärtigung ihres

Vergangenen. In der Natur ist die Kristallisation ein

langwieriger Prozess, ihre Integration in Gesteinsschichten

macht sie zu Zeugen vergangener Äonen.

Doch Baecker lässt uns wissen, dass die verwendeten

Kristalle nicht ausschließlich und direkt aus der

Natur stammen. Er gebraucht außerdem kristallines

Material aus Industrieschrott und speziell für das

Projekt kultivierte Kristalle – die konkreten Entstehungsbedingungen

der einzelnen Kristalle bleiben jedoch

unklar. 17 Ihre Unentscheidbarkeit rührt von der

Gleichzeitigkeit eines potenziell Jahrmillionen alten

Kristalls, eines durch Recycling in eine neue Schleife

des Zeitlichen eingefügten Abfalls kristallinen Ursprungs

und eines eigens produzierten Artefakts.

Hier sind Kristallbilder ohne Bild im tradierten Sinne

des Wortes am Werk.

In ihrer gleichwertigen Anwendung innerhalb

der Module gehen die Kristalle, ungeachtet ob sie

menschlich gemacht oder verändert sind, aus einem

Prozess der Formwerdung hervor. Auch wenn die

Kristalle in »Irrational Computing« durch den Fakt

ihrer Inszenierung ästhetisch überformt sind, so

schlägt die Überformung trotz der raum-zeitlichen

und sozialen Konventionen des Ausstellungsortes in

21

22

1

Friedrich A. Kittler, »There Is No Software,« Stanford

Literature Review 9, no. 1 (1992): 81–90.

2

Marc Andreessen, »Why Software Is Eating The

World,« The Wall Street Journal, 20 August 2011, accessed

11 June 2021, https://www.wsj.com/articles/SB

10001424053111903480904576512250915629460.

3

With his installations and experimental machines

Ralf Baecker addresses questions of material computing

(such as in his 2007 work »Rechnender Raum«)

as well as obsolescence and the digital and physical

materiality of technological artifacts (such as in »Interface

I« from 2015 or »Random Access Memory« from

2016). »Irrational Computing« was created with support

from the Berlin-based Schering Stiftung. It was

exhibited in their project space in 2011. The Schering

Stiftung supports trailblazing projects at the intersection

between art and science with the aim to bolster an

open dialog between the two domains.

4

Ralf Baecker and Mitchell Whitelaw, »Epistemological

Machines and Protocomputing,« in Experiencing the

Unconventional: Science in Art, eds. Theresa Schubert

and Andrew Adamatzky (Singapore: World Scientific,

2015), 1–17, here 8. For the technical descriptions that

follow, see the artist’s specifications in the Vimeo video

documentation: Ralf Baecker, Irrational Computing /

Documentation, posted 25 February 2012, accessed 11

June 2021, https://vimeo.com/37443273.

5

For further technical specifications of the modules,

see Baecker and Whitelaw, »Epistemological Machines

and Protocomputing,« 9–11.

6

Baecker emphasizes the immersive quality of sound

and light that provides the viewer with intuitive access

to »Irrational Computing« without it having to feign

utility. See Pau Waelder, »Interview with Ralf Baecker,«

VIDA Fundación Telefónica, 16 April 2013, accessed

11 June 2021, https://vida.fundaciontelefonica.

com/en/2013/04/16/interview-with-ralf-baecker/.

7

Kittler, »There is No Software,« 233.

8

See Friedrich A. Kittler, »Computeranalphabetismus,«

in: Literatur im Informationszeitalter, eds.

Dirk Matejovski and Friedrich A. Kittler (Frankfurt am

Main: Campus, 1996), 237–250.

9

Pau Waelder, »Interview with Ralf Baecker.«

10

See Gilbert Simondon, »The Position of the Problem

of Ontogenesis,« trans. Gregory Flanders, Parrhesia 7

(2009): 4–16.

11

Der große Brockhaus, 16th ed., s.v. »Lemma ›Kristall.‹«

12

Simondon, »The Position of the Problem of Ontogenesis,«

6–7.

13

Ibid., 8.

14

Gilles Deleuze, Cinema 2: The Time-Image, trans.

Hugh Tomlinson and Robert Galeta (Minneapolis:

University of Minnesota Press, 1989), 81–82, italics in

original.

15

Ibid.

16

In the cinematic use of mirroring and doubling this

indeterminate realization becomes evident, which

Deleuze analyzes through the films of Ophüls, Renoir,

Fellini, and Visconti, among others. See ibid., 109.

17

Ralf Baecker, »Irrational Computing,« 2011, accessed

11 June 2021, http://rlfbckr.org/work/irrational-computing.


eine widerständige Aktivität der Materie um. Diese

Materie hat nichts mit einem reduktionistischen Naturbegriff

gemein; sie nimmt keine Funktion ein, sie

entfaltet sich.

Mit der makroskopischen Präsentation der Computerkomponenten

adressiert das Projekt technische

Un-/Sichtbarkeitsrelationen explizit als Frage des

Materiellen. Für »Irrational Computing« ist die

Artikulation des selbstaktiven Kristalls kein Faszinosum

– er lauscht sich selbst, ohne sich Gehör verschaffen

zu müssen und ist gerade in dieser Hermetik

so machtvoll.

1

Friedrich A. Kittler (1992): »There Is No Software«.

In: Stanford Literature Review, 9 (1), S. 81–90.

2

Marc Andreessen (2011): »Why Software Is Eating

The World«. In: The Wall Street Journal, 20.08.2011,

verfügbar unter: https://www.wsj.com/articles/SB1

0001424053111903480904576512250915629460 (zuletzt

aufgerufen am 11.06.2021), o.S.

3

Ralf Baecker adressiert in seinen Installationen und

experimentellen Maschinen Fragen des materiellen

Computing (etwa in »Rechnender Raum«, 2007) sowie

der Obsoleszenz und der digitalen und physischen

Materialität technischer Artefakte (etwa in »Interface

I«, 2015, und »Random Access Memory«, 2016). »Irrational

Computing« ist im Rahmen einer Förderung

der Berliner Schering Stiftung entstanden und wurde

2011 in deren Projektraum ausgestellt. Die Schering

Stiftung unterstützt Projekte, die mit Pioniergestus an

der Schnittstelle von Kunst und Wissenschaft operieren,

und möchte einen offenen Dialog beider Domänen

befördern.

4

Vgl. Ralf Baecker/Mitchell Whitelaw (2015): »Epistemological

Machines and Protocomputing«. In: Andrew

Adamatzky/Theresa Schubert (Hrsg.): Experiencing

the Unconventional: Science in Art. Singapur:

World Scientific, S. 1–17; hier S. 8. Vgl. für den nachfolgenden

technischen Aufbau die Beschreibungen des

Künstlers in der Videodokumentation: Ralf Baecker

(2011): »Irrational Computing/Documentation«, verfügbar

unter: https://vimeo.com/37443273 (zuletzt

aufgerufen am 11.06.2021).

5

Vgl. für weitere technische Spezifika der Module Baecker/Whitelaw

(2015), S. 9–11.

6

Baecker betont die immersive Qualität von Klang

und Licht, um einen intuitiven, nicht über einen vermeintlichen

Gebrauchswert valorisierten Zugang

zu »Irrational Computing« zu eröffnen. Vgl. Pau

Waelder (2013): »Interview with Ralf Baecker«.

In: VIDA Fundación Telefónica, 16.04.2013, verfügbar

unter: https://vida.fundaciontelefonica.com/

en/2013/04/16/interview-with-ralf-baecker/ (zuletzt

aufgerufen am 11.06.2021), o.S.

7

Kittler (1993), S. 233.

8

Vgl. Friedrich A. Kittler (1996): »Computeranalphabetismus«.

In: Ders./Dirk Matejovski (Hrsg.): Literatur

im Informationszeitalter. Frankfurt a.M.: Campus,

S. 237–250.

9

Baecker (2013), o.S.

10

Vgl. Gilbert Simondon (2009) [frz. Orig. 1954–58]:

»The Position of the Problem of Ontogenesis«. Übers.

v. Gregory Flanders, In: Parrhesia, Vol. 7, S. 4–16.

11

Vgl. o.V. (1955): Lemma »Kristall«. In: Der gro-

Image: Ralf Baecker

ße Brockhaus. 16. völlig neubearbeitete Auflage

in 12 Bänden, Bd. 6. Wiesbaden: F.A. Brockhaus,

S. 661–665.

12

Vgl. Simondon (2009), S. 6f.

13

Vgl. ebd., S. 8.

14

Gilles Deleuze (1990) [frz. Orig. 1985]: Das Zeit-Bild.

Kino II. Übers. v. Klaus Englert. Frankfurt a.M.: Suhrkamp,

S. 112 [Herv. i.O].

15

Ebd.

16

In filmischen Spiegelsituationen und Verdopplungen

wird diese unentscheidbare Vergegenwärtigung

evident, die Deleuze unter anderem entlang der Filme

von Ophüls, Renoir, Fellini und Visconti analysiert.

Vgl. ebd., S. 109.

17

Vgl. Dirk Baecker (2011): »Irrational Computing«,

o.D., verfügbar unter: http://rlfbckr.org/work/irrational-computing

(zuletzt aufgerufen am 11.06.2021),

o.S.

Image: Ralf Baecker


23

NEW YORK,

NEW YORK

2020, augmented reality poster series

Artist: Sarah Müller


Text: Maja Stark

Image: Sarah Müller

»New York, New York« is a prime example of a postdigital

design process in which the product passes

through various states of analog and digital materiality.

Equipped with a notebook and camera, the

communication designer Sarah Müller explored all of

New York’s neighborhoods on her strolls through the

metropolitan city streets. Back in Berlin, she created

a veritable atlas of images—an analog collage made

up of the city map, photographs, and initial sketches.

With the help of digital tools such as Adobe Photoshop

and Illustrator, these impressions gradually

gave rise to an abstract formal language for a large

series of posters, three of which are shown in the exhibition.

As a further progression, the programs Blender

and Adobe After Effects were used to produce an

additional layer of two- and three-dimensional shapes

and animations, which were then programmed

in the game engine Unity such that it is possible to

»New York, New York« ist ein Paradebeispiel für

einen post-digitalen Designprozess, bei dem das Produkt

verschiedene Zustände analoger und digitaler

Materialität durchläuft: Ausgerüstet mit Notizbuch

und Kamera erkundete die Kommunikationsdesignerin

Sarah Müller in Streifzügen durch New York

alle Stadtteile der Metropole. Zurück in Berlin, entstand

ein regelrechter Bilderatlas, eine analoge Collage

aus dem Stadtplan, Fotografien und ersten Entwürfen.

Mithilfe digitaler Tools wie Photoshop und

Illustrator entstand aus diesen Eindrücken nach und

nach eine abstrakte Formensprache für eine großangelegte

Posterserie, aus der drei Exemplare in

der Ausstellung zu sehen sind. Mit den Programmen

Blender und After Effects produzierte die Künstlerin

eine zusätzlichen Ebene aus zwei- und dreidimensionalen

Formen und Animationen, die dann in der

Game Engine Unity so programmiert wurden, dass

24 Catalog | New York, New York

interact playfully with the content at the interface

between the analog and the virtual world—that is, on

the screen of a mobile device. Poster elements can be

digitally wiped away and redrawn, various 3D objects

can be scaled, and all layers can be moved. One of the

images, for example, abstracts Manhattan’s famous

urban canyon of skyscrapers from a bird’s-eye view.

On the plan view brightly colored 3D models of skyscrapers

can be placed and resized. The city can thus

be reinterpreted and experienced in terms of design—

through an interactive application that combines analog

and digital design.

»New York, New York« received the Red Dot Award

for Brands & Communication Design in 2020.

The application was developed in the production lab

of the INKA project AURORA School for ARtists at

the HTW Berlin.

an der Schnittstelle der analogen zur virtuellen Welt

– sprich am Screen des mobilen Devices – spielerisch

mit diesen Inhalten interagiert werden kann: Posterelemente

lassen sich digital wegwischen und neu

zeichnen, es gibt verschiedene 3D-Objekte zum Skalieren

und alle Layer lassen sich verschieben. Eines

der Motive abstrahiert zum Beispiel Manhattans bekannte

Stadtcanyons aus der Vogelperspektive. Zu

sehen sind Grundrisse, auf denen 3D-Modelle von

Wolkenkratzern in leuchtenden Farben platziert und

in ihrer Größe verändert werden können. Auf diese

Weise lässt sich die Stadt neu interpretieren und gestalterisch

erleben – durch eine interaktive Anwendung,

die analoges und digitales Design verbindet.

»New York, New York« wurde ausgezeichnet mit dem

Red Dot Award für Kommunikationsdesign 2020.

Die Anwendung wurde im Produktionslabor

des INKA-Projekts AURORA School for ARtists

an der HTW Berlin entwickelt.

All images: Sarah Müller

Catalog | New York, New York

25

KARLA

2019/20, augmented reality production in public space

Artists: Olga Bedia Lang and Julia Laube

Developers: Elisabeth Thielen and André Selmanagić

Text: Olga Bedia Lang and Maja Stark

History is immaterial, fleeting, and invisible—at the

same time it inscribes itself into our memory and literature,

leading to the transformation of bodies, cultures,

landscapes, or cityscapes, among others. In these

changed forms it is manifest yet remains hidden,

as long as it is not deciphered, narrated, or retraced.

Berlin’s urban space is rich in individual stories that

should be told—bundled and networked, they form a

historical topography of the city.

How can we work with urban space in literary and

scenographic terms while taking its historical dimension

into account? How can we interweave narratives

Geschichte ist immateriell, flüchtig und unsichtbar

– zugleich schreibt sie sich in unsere Erinnerung

und Literatur ein, führt zur Veränderung etwa von

Körpern, Kulturen, Landschaften oder Stadtbildern:

Hier ist sie manifest und doch verborgen, so lange sie

nicht dechiffriert, erzählt und nachvollzogen wird.

Der Berliner Stadtraum ist reich an individuellen

Geschichten, die erzählt werden sollten – gebündelt

und vernetzt bilden sie eine historische Topografie

der Stadt.

Wie lässt sich mit dem Stadtraum literarisch und

szenografisch arbeiten und dabei seiner historischen

Screenshot: Julia Laube

26 Catalog | Karla

with places? Under the name Urban AR Productions,

Julia Laube and Olga Bedia Lang formulated an

innovative answer by using augmented reality to establish

a spatiotemporally intermediate level in urban

space and then let their story unfold on it: »Karla«

is an integrative theatre production that premiered in

September 2020 on Karl-Marx-Allee in Berlin. Delivered

through their application, visual and auditory

content were combined with the context of Berlin’s

urban space to form seven chapters that could be explored

in a performative city walk: the female protagonist

guides participants through the love story

of her youth in the context of political criticism and

resistance in the German Democratic Republic of the

1980s. The historical decoding takes place via augmented

reality—while, at the same time, true historical

events are evoked through a fictional story. In the

exhibition, two of the urban stations are simulated on

photographic wallpaper that acts as an image marker

to trigger the digital content, which appears like fleeting

memories.

»Karla« was developed in the production lab

of the INKA project AURORA School for ARtists at

the HTW Berlin.

Dimension Rechnung tragen? Wie auf eine Weise

erzählen, die den Orten verbunden ist? Unter dem

Label Urban AR Productions formulierten Julia Laube

und Olga Bedia Lang eine innovative Antwort,

indem sie durch Augmented Reality eine zeitlichräumliche

Zwischenebene im Stadtraum etablierten

und diese bespielten: »Karla« ist eine integrative

theatrale Inszenierung, die im September 2020 an

der Karl-Marx-Allee in Berlin uraufgeführt wurde.

Vermittelt durch ihre Anwendung verbinden sich

visuelle und auditive Inhalte mit dem Kontext des

Berliner Stadtraums zu sieben Kapiteln, die in einem

performativen Stadtspaziergang erlaufen werden

können: Die weibliche Protagonistin führt durch die

Liebesgeschichte ihrer Jugend im Kontext von politischer

Kritik und Widerstand in den 1980er-Jahren

in der DDR. Die historische Decodierung vollzieht

sich über Augmented Reality – gleichzeitig wird die

wahre durch eine fiktive Geschichte evoziert. In der

Ausstellung werden zwei der Stadtraumstationen

auf einer Fototapete simuliert, welche als Bildmarker

die digitalen Inhalte Inhalte – flüchtig wie Erinnerungen

– auslöst.

»Karla« wurde im Produktionslabor des INKA-

Projekts AURORA School for ARtists an der HTW

Berlin entwickelt.

Screenshot: Julia Laube

Catalog | Karla

27

SEÑOR PULPO

2020/21, hybrid artist’s book

Artist: Christina Sarli

Developer: André Selmanagić

Text: Christina Sarli and Maja Stark

»Señor Pulpo« is a hybrid artist’s book by Christina

Sarli, organized in two parts. Each part tells the story

of a common octopus from a different temporal perspective.

The first part features visual interpretations of eight

of the seventy-three haikus – the haiku is the shortest

form of poetry in the world – from Gabriel Rosenstock’s

collection »The Naked Octopus«. They depict

the fantasies and adventures of an octopus that emerges

from the sea to fulfill its abiding love for a human

woman in eight acts. Afterwards, she cruelly kills and

eats him. The images are augmented with 3D animations

that interpret the near-death experience of an

octopus in color and sound—rendered as day or night

versions, depending on the time of interaction.

The second part is an augmented reality comic that

provides the background for the central near-death

experience described before: the capture and cruel

handling of the animal—still alive—according to traditional

practice. The story ends with the last memory

of our hero, Señor Pulpo: the appearance of the fisherman’s

beautiful wife. Within the augmented reality, a

close-up function has been implemented: the closer

you get to the images with your mobile device’s camera,

the more digital content you will discover—coded

functions that act as an invitation to influence the

material in a participatory way and to decode hidden

content ever more deeply.

»Señor Pulpo« by Christina Sarli was developed in the

production lab of the INKA project AURORA School

for ARtists at the HTW Berlin.

»Señor Pulpo« ist ein hybrides Artist’s Book von

Christina Sarli in zwei Teilen. Diese erzählen die

Geschichte eines gewöhnlichen Kraken aus unterschiedlichen

zeitlichen Perspektiven.

Der erste Teil umfasst visuelle Interpretationen

von acht der 73 Haikus – der Haiku ist die kürzeste

Gedichtform der Welt – aus Gabriel Rosenstocks

Sammlung »The Naked Octopus«. Sie schildern die

Fantasien und Abenteuer eines Kraken, der aus dem

Meer auftaucht, um seine langjährige Liebe zu einer

menschlichen Frau in acht Akten zu vollenden. Danach

tötet und frisst sie ihn grausam. Die Bilder sind

mit 3D-Animationen augmentiert, welche die Nahtoderfahrung

eines Oktopus in Farbe und Ton interpretieren

– je nach Uhrzeit der Interaktion als Tages-

oder Nachtversion.

Der zweite Teil ist ein Augmented-Reality-Comic, der

die Hintergründe der zuvor geschilderten, zentralen

Nahtoderfahrung liefert: den Fang und die grausame

Bearbeitung des noch lebenden Tieres gemäß

real praktizierter Tradition. Diese Story endet mit

der letzten Erinnerung unseres Helden Señor Pulpo:

dem Erscheinen der schönen Frau des Fischers. In

die erweiterte Realität eingebaut ist eine Close-up-

Funktion: Je näher man den Bildern mit der Kamera

seines mobilen Gerätes kommt, desto mehr digitale

Inhalte wird man entdecken – codierte Funktionen,

die dazu einladen, das Material partizipativ zu beeinflussen

und verborgene Inhalte immer tiefergehend

zu entschlüsseln.

»Señor Pulpo« von Christina Sarli wurde im Produktionslabor

des INKA-Projekts AURORA School

for ARtists an der HTW Berlin entwickelt.

Comic: Christina Sarli

28 Catalog | Señor Pulpo

29

ZITTAU 1999

2019/20, augmented reality application

in combination with the novel »Nationalbefreite Zone«

Artist: Juliane Wünsche


Text: Juliane Wünsche and Maja Stark

Juliane Wünsche’s novel »Nationalbefreite Zone« is

set in the small town of Zittau in East Saxony and is

partly based on true events: with a lack of jobs and

prospects in the region, the economic and social disruptions

of the post-reunification period led to the

proliferation of excessive national pride and xenophobia.

In the narrative, the East German student Franziska

Wendt and the West German professor Alexander

Harten are drawn into the struggles between left

and right and have to decide: get involved or look the

other way. Fight or give up. Leave or stay.

In the augmented reality application for the novel,

contemporary witnesses from Zittau get the chance to

speak and background knowledge is conveyed. The diverse

digital content is brought to life by a set of cards

with illustrations by Kerstin Welther and Matthias

Ries. Some of them also serve as markers that can be

combined to trigger augmented reality content—for

example animations that breathe life into the drawings,

or an interactive dialect memory, composed of

images and terms related to the local dialect, recorded

in analog form and digitized for the application. In its

experimental multimedia quality, the combination of

novel and app thus creates a hybrid format with obvious

potential for conveying contemporary history.

At the same time, »Zittau 1999« can be seen as an

example of post-internet literature, analogous to

post-internet art: as a hybrid and at the same time experimental

format, the novel is deeply influenced by

digital technologies and has, quite naturally, repeatedly

crossed boundaries between analog and digital

materiality in the production process.

»Zittau 1999« by Juliane Wünsche was developed



Der Roman »Nationalbefreite Zone« von Juliane

Wünsche spielt in der ostsächsischen Kleinstadt Zittau

und beruht teilweise auf wahren Begebenheiten:

In der von Arbeits- und Perspektivlosigkeit geprägten

Region lassen die wirtschaftlichen und sozialen

Brüche der Nachwendezeit Nationalstolz und Fremdenhass

aufbrechen. Die ostdeutsche Studentin

Franziska Wendt und der westdeutsche Professor

Alexander Harten geraten in die Kämpfe zwischen

links und rechts und müssen sich entscheiden: einmischen

oder weggucken, kämpfen oder aufgeben,

gehen oder bleiben.

In der Augmented-Reality-Anwendung zum Roman

kommen Zeitzeugen aus Zittau zu Wort und es wird

Hintergrundwissen vermittelt. Hervorgerufen werden

die vielfältigen digitalen Inhalte durch ein Kartenset

mit Illustrationen von Kerstin Welther und

Matthias Ries. Diese Marker können teils kombiniert

werden, um Augmented-Reality-Inhalte hervorzurufen

– so etwa Animationen, die den Zeichnungen

Leben einhauchen, oder ein interaktives Mundart-

Memory, das analog erstellt und für die Applikation

digitalisiert wurde. In ihrer experimentellen Multimedialität

bildet die Roman-App-Kombination damit

ein hybrides Format, dessen Potenzial zur Vermittlung

neuerer Geschichte auf der Hand liegt.

Zugleich lässt sich »Zittau 1999« analog zur Post-

Internet-Kunst als ein Beispiel für Post-Internet-

Literatur betrachten: als hybrides und zugleich experimentelles

Format ist der Roman tief geprägt von

digitalen Technologien und hat im Produktionsprozess

ganz selbstverständlich immer wieder Grenzen

zwischen analoger und digitaler Materialität überschritten.

»Zittau 1999« von Juliane Wünsche wurde im Produktionslabor



Screenshots: AURORA School for ARtists

Illustrations: Kerstin Welther and Matthias Ries

30 Catalog | Zittau 1999

31

HEIDENROSE

2020, two-sided interactive augmented reality card

Artist: Ariane Stamatescu

Developers: Leonid Barsht and Dagmar Schürrer

Text: Ariane Stamatescu and Maja Stark

Goethe: love-bombing narcissist and one of the most

important creators of German-language poetry. To

what extent the poem »Heidenröslein« belongs to

Johann Wolfgang von Goethe’s great poetic creations

and how it could achieve such fame is not self-explanatory.

After all, one can’t help but notice the blatantly

violent nature of this poem—it reads as the rape of a

woman by a boy.

»Heidenrose« uses »Heidenröslein« to examine critical

aspects in the depiction of sexualized violence

against women in our cultural history. Visual playfulness

is coupled with theories and artistic positions

on this topic. The work consists of two sides that are

viewed separately but intertwined in terms of content:

on the scenic front side, 3D models of fleshy roses

grow, their appearance and/or accompanying sounds

changing when touched. The informative critical reverse

side guides the viewer to interactive collages of

texts, images, and videos.

The reverse side proverbially reveals the roots of

the animated roses, thereby deciphering anew the

»Heidenröslein« as an exemplary part of German cultural

heritage. The materiality of the rose as a symbol

of the female body is contrasted with its digital

immateriality. A finger reaching out to touch the alienated

flowers is met by the cool screen. It is a symbolic

action that, like its result—the roses’ retaliation—is

conveyed through the interplay of code and matter. At

the same time, the view through the display is Stamatescu’s

corrective view of the »Heidenröslein«, who

through the artistic intervention becomes a »Heidenrose«:

she has experienced sexualized violence, but

she won’t be victimized again.

»Heidenrose« by Ariane Stamatescu was developed



Goethe: Love-bombing Narzisst und einer der bedeutendsten

Schöpfer deutschsprachiger Dichtung.

Inwieweit das Gedicht »Heidenröslein« zu Johann

Wolfgang von Goethes großen dichterischen Schöpfungen

zählt und warum es so eine Berühmtheit erlangen

konnte, ist nicht selbsterklärend. Man kommt

schließlich nicht umhin, bei dieser Dichtung auf die

verblümte Gewalttat einzugehen – das Gedicht liest

sich als die Vergewaltigung einer Frau durch einen

Knaben.

»Heidenrose« untersucht anhand des »Heidenrösleins«

kritische Aspekte in der Darstellung von sexualisierter

Gewalt gegen Frauen in unserer Kulturgeschichte.

Visuelle Verspieltheit wird mit Theorien und

Screenshot: Ariane Stamatescu

32 Catalog | Heidenrose

künstlerischen Positionen zu dieser Thematik gekoppelt.

Die Arbeit besteht aus zwei getrennt voneinander

zu betrachtenden Seiten, die inhaltlich ineinandergreifen:

Auf der szenischen Vorderseite wachsen

3D-Modelle fleischiger Rosen, die sich durch Berührungen

in Erscheinungsbild und Sound wandeln. Die

informativ-kritische Rückseite führt zu interaktiven

Collagen aus Texten, Bildern und Videos.

Indem die Rückseite sprichwörtlich die Wurzeln der

animierten Rosen offenlegt, wird das »Heidenröslein«

als exemplarischer Teil deutschen Kulturerbes

neu dechiffriert. Der Materialität der Rose als Sinnbild

für den weiblichen Körper steht ihre digitale

Immaterialität gegenüber. Berühren lassen sich die

Catalog | Heidenrose

verfremdeten Blumen nur mit dem Finger auf dem

kühlen Screen. Es ist eine symbolische Handlung, die

ebenso wie ihr Resultat – die Wehrhaftigkeit der Rosen

– durch das Zusammenspiel von Code und Materie

vermittelt wird. Der Blick durch das Display

ist zugleich der korrigierende Blick Stamatescus auf

das »Heidenröslein«, das durch den künstlerischen

Eingriff zu einer »Heidenrose« wird, die sexualisierte

Gewalt erlebt hat, sich aber nichts mehr gefallen

lassen muss.

»Heidenrose« von Ariane Stamatescu wurde im Produktionslabor



33

TRANSFER OF

MATERIALITY

THE INTERACTIVE

VIRTUAL REALITY INSTALLATION

»UMWELTEN«

AT THE KONZERTHAUS BERLIN

INTERVIEW WITH VISUAL ARTIST JULIAN BONEQUI

AND COMPOSER MARK BARDEN

34

Screenshot: Elisabeth Thielen

What does materiality mean from your professional

perspective?

Was bedeutet Materialität aus Eurer professionellen

Perspektive?


Julian: While designing specific interactions, physicality

or human materiality is not excluded from mental

immersion, and they aren’t separated from visual

stimuli and the aural sense and its representation either—because

materiality cannot simply focus on the

characteristics of objects. And even if the metaobjects

are virtual, the experience is not. When we work with

3D audio spatialization and virtual phenomena, materiality

expands into the terrain of experimental metaphysics

and metaobjects manipulating perception,

engaging us with speculative philosophy and objectoriented

ontology. In extended reality, materiality is

an open concept and an experimental approach and

luckily not yet defined.

Mark: Materiality in my work relates primarily to the

physical bodies of performers and listeners and secondarily

to the musical material—that is, the sounds

themselves. Often I have the feeling that my work is

about touch more than it is about listening per se. Musical

material is merely a vehicle for me to enact or

enable experiences that are either directly or obliquely

physical in nature. For instance, a vocal sound that is

extremely tense, even if it is quiet, might evoke for the

listener a physical sense of pressure on the throat—

even choking or strangulation in extreme cases. There

are also pleasant sensations: warmth, levity, seduction,

the semi-consciousness of near-dream states. I

think about how sounds feel on the skin. How they

open, enclose, and penetrate the palpable materiality

of the body and the limitless materiality—or perhaps

fabric is a better term—of the imagination.

Which material from the analog world served

as basis and/or inspiration for »Umwelten«?

Julian: Authors who reflect on the nonhuman realm,

such as Timothy Morton in his book »Humankind:

Solidarity with Nonhuman People« (basically, all

that exists on Earth); specific excerpts from texts on

umwelt theory and biocybernetics by Jakob von Uexküll.

And finally, and more evidently, Ernst Haeckel’s

drawings for the 3D graphics. All these authors are

connected in a peculiar way to naturalism and dark

ecology.

Mark: Oh, here I work in completely concrete and

pragmatic terms: What instruments are available,

what sounds can they make, and which ones will I

use? I broadened the traditional palette of orchestral

instruments through the use of a wide array of natural

and man-made objects (dried flowers, eggshells,

Interview with Julian Bonequi and Mark Barden

Julian: Bei der Gestaltung von bestimmten Interaktionen

wird Körperlichkeit oder menschliche Materialität

nicht von der geistigen Immersion ausgeschlossen,

auch nicht von den Seh- und Hörreizen

und deren Wahrnehmung. Denn Materialität kann

sich nicht nur auf die Eigenschaften von Objekten beschränken.

Und selbst wenn die Metaobjekte virtuell

sind, die Erfahrung ist es nicht. Wenn wir mit 3D-

Raumklang und virtuellen Objekten arbeiten, weitet

sich die Materialität auf das Terrain der experimentellen

Metaphysik und der die Wahrnehmung manipulierenden

Metaelemente aus und verwickelt uns

in die spekulative Philosophie und objektorientierte

Ontologie. In Extended Reality ist Materialität ein

offener Begriff und ein experimenteller Ansatz und

zum Glück noch keine Definition.

Mark: Materialität bezieht sich in meiner Arbeit in

erster Linie auf die physischen Körper der Performer*innen

und Zuhörer*innen und in zweiter Linie

auf das musikalische Material (das heißt die Klänge

selbst). Oft habe ich das Gefühl, dass es bei meiner

Arbeit mehr um die körperliche Berührung als um

das reine Hören geht. Das musikalische Ausgangsmaterial

ist für mich lediglich ein Vehikel, um Erfahrungen

zu ermöglichen, die entweder direkt oder

indirekt körperlicher Natur sind. Zum Beispiel kann

ein Gesang, der extrem verkrampft ist, selbst wenn

er leise ist, beim Zuhörer ein körperliches Gefühl von

Druck auf den Kehlkopf hervorrufen – in extremen

Fällen sogar ein Gefühl von Würgen oder Strangulation.

Es gibt auch angenehme Empfindungen:

Wärme, Leichtigkeit, Verführung, das halbbewusste

Gefühl von traumähnlichen Zuständen. Ich denke

darüber nach, wie sich Klänge auf der Haut anfühlen.

Wie sie die spürbare Materialität des Körpers

und die grenzenlose Materialität – oder vielleicht ist

Gewebe ein besserer Begriff – der Fantasie öffnen,

umschließen und durchdringen.

Welches Material aus der analogen Welt

diente als Grundlage und/oder Inspiration

für »Umwelten«?

Julian: Autoren, die über den nicht-menschlichen

Bereich nachdenken, wie Timothy Morton und sein

Buch »Humankind: Solidarity with Non-Human

People« (im Grunde alles, was auf der Erde existiert);

einige Auszüge aus der Umwelttheorie und über Biokybernetik

von Jakob von Uexküll. Und schließlich,

noch deutlicher, die Zeichnungen von Ernst Haeckel

für die 3D-Grafik. Alle diese Autoren sind auf eine

35

orange juice, latex gloves, Styrofoam, various metal

and wooden tools, sponges, ping-pong balls, vibrators,

electric toothbrushes, bits of metal and plastic,

Plexiglas, sandpaper, etc.) as well as rarely used percussion

instruments culled from the basement storage

of the Konzerthaus Berlin. Text fragments from

Ernst Haeckel’s Kunstformen der Natur from 1904

were used for some whispered vocal passages.

What was the particular charm of this material

in terms of materiality?

eigene Weise mit dem Naturalismus und der dunklen

Ökologie verbunden.

Julian: Once we tried to design interactions beyond

the hypercentric human conception, we enjoyed and

experimented a bit more with the creation of hybrid

nonhuman imaginaries.

Mark: My answer to this has two parts. First, our

work process for »Umwelten« required that the music

be recorded several months prior to the planned

completion of the project. So I designed the sound not

fully knowing the details of Julian’s visual creations

texhandschuhe, Styropor, verschiedene Metall- und

Holzwerkzeuge, Schwämme, Tischtennisbälle, Vibratoren,

elektrische Zahnbürsten, Metall- und Plastikteile,

Plexiglas, Sandpapier usw.) sowie durch

selten benutzte Schlaginstrumente aus dem Kellerlager

des Konzerthaus Berlin. Für einige geflüsterte

Gesangspassagen wurden Textfragmente aus Ernst

Haeckels »Kunstformen der Natur« von 1904 verwendet.

All images: Markus Werner for Konzerthaus Berlin

Mark: Oh, ich arbeite hier ganz konkret und pragmatisch:

Welche Instrumente stehen zur Verfügung,

welche Klänge können sie erzeugen, und welche werde

ich verwenden? Ich habe die traditionelle Palette

von Orchesterinstrumenten durch eine Vielzahl

von natürlichen und künstlichen Objekten erweitert

(getrocknete Blumen, Eierschalen, Orangensaft, Laor

how the user interactions would work. Since Julian

was present for—and even participated in (!)—the

recordings, he was able to envision the soundworld

while he finished his designs for the visual world and

Worin lag der besondere Reiz dieses Ausgangsmaterials

im Hinblick auf die Materialität?

Julian: Als wir versucht haben, Interaktionen jenseits

der hyperzentrierten menschlichen Vorstellung

zu entwerfen, hat es uns Spaß gemacht und wir haben

ein bisschen mehr mit der Kreation von hybriden,

nicht-menschlichen Vorstellungen experimentiert.

Mark: Meine Antwort darauf hat zwei Teile. Erstens

erforderte unser Arbeitsprozess für »Umwelten«,

dass die Musik mehrere Monate vor der geplanten

Fertigstellung des Projekts aufgenommen wurde. Da

Julian bei den Aufnahmen anwesend war – und sogar

daran teilnahm (!) –, konnte er sich die Klangwelt

vorstellen, während er seine Entwürfe für die

visuelle Welt und die Interaktionen fertigstellte. Auf

diese Weise konnte das musikalische Material die

36 Interview with Julian Bonequi and Mark Barden

interactions. In this way, musical material was able to

influence the visual and interaction-based material.

Second, it was important to me that the sounds would

create an intimate and undeniably embodied sonic

space for the listener. One should sense the bodies of

the performers despite the disembodied or at least otherly

bodied medium of virtual reality.

visuellen und interaktionsbasierten Vorlagen beeinflussen.

Zweitens war es mir wichtig, dass die Klänge

einen intimen und eindeutig körperlich erfahrbaren

Klangraum für den Zuhörer schaffen. Man sollte die

Körper der Interpret*innen trotz des körperlosen

oder zumindest fremdkörperlichen Mediums Virtual

Reality spüren.

Did new materialities without reference in the

analog world also emerge?

Mark: Not in terms of the music, no. As the corporeality

of the sonic material was central to my concept—

and especially since the orchestral musicians would

not be visually present in the finished product—I felt

it was important to use only raw sounds without processing

or digital synthesis of any kind.

Entstanden auch neue Materialitäten ohne

Referenz in der analogen Welt?

Mark: Nicht in Bezug auf die Musik, nein. Da die

Materialität des Klangs für mein Konzept von zentraler

Bedeutung war – und vor allem, weil die Orchestermusiker*innen

im fertigen Werk nicht visuell

präsent sein würden –, war es mir wichtig, nur rohe

Klänge ohne jegliche Bearbeitung oder digitale Synthetisierung

zu verwenden.

Julian: Ja, als ziemlich mächtig hat sich die körperliche

Handlungsfähigkeit in der virtuellen Erfahrung

herausgestellt. Wir haben absolut keine Kontrolle

darüber, wie Nutzer*innen mithilfe ihrer Körper

interagieren, während alle visuellen und akustischen

Eindrücke als haptische Illusionen stattfinden, die

ihn leiten. Und das ist das Schöne daran.

Ernst Haeckel, public domain, via Wikimedia Commons

Julian: Yes, the body agency of the virtual experience

emerged as quite powerful. We have absolutely no

control over how each user will interact with their

body while all the gameplay inputs are happening in

their visual and aural senses as haptic illusions conducting

their body. And that’s the beauty of it.

Gab es Aspekte von Materialität, die Euch für

das Erlebnis der Installation besonders wichtig

waren?

Julian: Das Potenzial der organisch anmutenden

Virtualität als Live-Performance. Hoffentlich wird

»Umwelten« eines Tages in der vollen Bandbreite

von vierhundert Quadratmetern aufgeführt werden.

Mark: Die Welt von »Umwelten« ist immersiv: Man

ist eingehüllt in einen reichen visuellen und akustischen

Raum, der, ja, virtuell ist. Aber der abstrakte

Geist und der materielle Körper, wenn man eine

solche vereinfachte Dichotomie zulässt, verarbeiten

Virtualität unterschiedlich. Während man diese Welt

erkundet, ist sich der Verstand der virtuellen Natur

der Reize bewusst, doch die Empfindungen, die man

erfährt, sind in der Materialität des physischen Körpers

verankert. Da es der eigene Körper ist, der auf

diese virtuellen Reize reagiert und mit ihnen interagiert,

bedeutet diese sensorische Immersion, dass

sich Kräfte wie Gewicht, Schwung, Textur und Nähe

phänomenologisch gesehen so anfühlen, als wären

sie physisch verkörpert. Sie fühlen sich bis zu einem

gewissen Grad materiell an, obwohl der Verstand

weiß, dass sie es nicht sind.


37

Were there aspects of materiality that were

particularly important to you in the experience?

Julian: The potential of the organicity of virtuality as

a live performance. Hopefully someday »Umwelten«

will be performed in its full four-hundred-square-meter

spectrum.

Mark: »Umwelten«’s world is immersive: you are

enveloped in a rich visual and acoustic space that,

yes, is virtual. But the abstract mind and the material

body, if you will permit such a simplified dichotomy,

process virtuality differently. As you explore

this world, your mind is aware of the virtual nature of

stimuli, yet the sensations you experience are grounded

in the materiality of your physical body. Since it is

your actual body that responds to and interacts with

these virtual stimuli, this sensorial immersion means

that forces like weight, momentum, texture, and proximity

feel, phenomenologically speaking, as if they

were physically embodied. They feel to some degree

material, despite the mind knowing they are not.

How do device and application interact in the

context of materiality?

Mark: The devices and applications are merely tools.

There is a clear trend in the development of virtual

technologies: the interfaces are becoming more intuitive

and less intrusive. In other words, they are losing

their materiality. While far better than the technology

of fifty or even five years ago, tools we have now

will quickly be made obsolete by more intuitive, less

intrusive tools. At some point virtual technology will

surpass our ability to differentiate the virtual from

the real (some deep fakes are already capable of this);

at this theoretical end point where we can no longer

perceive the technology with our senses, it will have

lost its materiality (in the sense of physical substance)

entirely.

Julian: In virtual reality all the elements affect the

materiality of the experience: if we decide to play in

a stationary mode, in a four or a four-hundred-square-meter

room with time to walk from one side to the

other. Clearly each device and spatial decision conditions

the design and the interaction just as much

as the way each technology works, the shape of the

controllers in our hands, the weight of the headset,

etc. Each of the elements are important factors to be

considered to enrich the enjoyment and physicality of

the experience.

Wie wirken Device und Anwendung im Kontext

von Materialität zusammen?

Mark: Das Device und die Anwendung sind lediglich

Werkzeuge. Es gibt einen klaren Trend in der Entwicklung

virtueller Technologien: Die Schnittstellen

werden immer intuitiver und weniger störend. Mit

anderen Worten, sie verlieren ihre Materialität. Obwohl

sie weitaus besser sind als die Technologie von

vor 50 oder sogar fünf Jahren, werden die Tools,

die wir jetzt haben, schnell durch intuitivere, weniger

störende Tools überflüssig werden. Irgendwann

wird die virtuelle Technologie unsere Fähigkeit übertreffen,

das Virtuelle vom Realen zu unterscheiden

(einige Deep Fakes sind dazu bereits in der Lage); an

diesem theoretischen Grenzbereich, an dem wir die

Technologie nicht mehr mit unseren Sinnen wahrnehmen

können, wird sie ihre Materialität (im Sinne

von physischer Substanz) vollständig verloren haben.

Julian: In Virtual Reality beeinflussen alle Bestandteile

die Materialität der Erfahrung: Ob wir

uns entscheiden, stationär zu spielen, in einem vier

oder vierhundert Quadratmeter großen Raum, in

dem wir Zeit haben, von einer Seite zur anderen zu

gehen. Es ist klar, dass jedes Device und jede räumliche

Entscheidung das Design und die Interaktion

beeinflusst, genauso wie die Art und Weise, wie jede

Technologie funktioniert, die Form der Controller in

unseren Händen, das Gewicht des Headsets etc. Jeder

dieser Faktoren ist wichtig, um das Vergnügen

und die Körperlichkeit der Erfahrung zu steigern.

Welches Potenzial hat digitale Materialität?

Julian: Digitale Materialität könnte als mächtiges

Instrument funktionieren, um unser Verständnis von

Realität zu hacken, während wir versuchen, neue

Erfahrungen zu entwickeln, die die notwendige Koexistenz

von Technologie und Ökologie berücksichtigen.

Letztendlich sind das Digitale und das Virtuelle

keine von der Realität und der Natur getrennten

Teile mehr, und Extended-Reality-Technologien sind

bereits eine weitere kreative Möglichkeit, die zu ökologischem

Handeln und klimatischer Kohärenz aufruft.

Mark: Wir sind noch dabei, die Sprache zu finden,

um digitale Materialität zu diskutieren. Klang kann

ein nützlicher Wegweiser sein: Wenn wir von Klangmaterial

sprechen, meinen wir in der Regel immaterielle

Eigenschaften wie Gesten, Strukturen und Beziehungen

und nicht die physikalischen Eigenschaften

von Schallwellen. Wir haben Mittel entwickelt, um

38 Interview with Julian Bonequi and Mark Barden

What is the potential of digital materiality?

Julian: Digital materiality could work as a powerful

tool in order to hack our understanding of reality—

while we try to develop new experiences considering

the necessary coexistence of technology and ecology.

In the end the digital and the virtual are not separated

chunks from reality and nature anymore, and extended

reality technologies are already another creative

possibility calling to ecological action and climatic coherence.

Mark: We are still finding the language to discuss

digital materiality. Sound may prove a useful guide:

when we speak of sonic material, we usually mean intangible

properties like gestures, structures, and relationships

rather than the physical properties of sound

waves. We have developed means of codifying and notating

musical material and we reevaluate and adapt

these systems of codification and notation as needed

to describe new aspects of sonic material. Musical material

can be performed, at which point we perceive it

as a physical reality in the structures of the ear, where

sound waves are converted to mechanical vibrations,

which are—in turn–converted to electrical impulses

in the brain. But the important thing is that we can

also imagine, analyze, and compose with sonic materials

that are not physically present. Analogously, digital

materiality is about intangible properties in the

digital realm that are not always physically perceptible.

Our means of codifying, notating, and imagining

these materialities are still inchoate but this will

evolve as our exposure to and understanding of them

grow.

musikalisches Material zu kodieren und zu notieren,

und wir bewerten diese Systeme der Kodierung und

Notation neu und passen sie bei Bedarf an, um neue

Aspekte des Klangmaterials zu beschreiben. Musikalisches

Material kann aufgeführt werden, wobei wir

es als physische Wirklichkeit in den Strukturen des

Ohrs wahrnehmen, wo Schallwellen in mechanische

Schwingungen umgewandelt, die wiederum im Gehirn

in elektrische Impulse umgewandelt werden.

Wichtig ist aber, dass wir uns auch Klangmaterialien

vorstellen, analysieren und mit ihnen komponieren

können, die nicht physisch vorhanden sind. Analog

dazu geht es bei der digitalen Materialität um

nicht greifbare Eigenschaften im digitalen Bereich,

die nicht immer physisch wahrnehmbar sind. Unsere

Möglichkeiten, diese Materialität zu kodieren, zu notieren

und zu visualisieren, sind noch unausgereift,

aber das wird sich entwickeln, wenn unser Umgang

mit und unser Verständnis von ihnen wächst.



39

UMWELTEN

2020, VR experience and interactive composition

Artists: Mark Barden and Julian Bonequi

Developers: Elisabeth Thielen and Andrey Borisov

Text: Anne Eiselein

The Konzerthaus Berlin has been developing innovative

concepts for bringing classical music into the

digital realm since 2016 with projects such as the

digital exhibition and the »Konzerthaus Plus« application.

During the 2020/21 season that celebrates the

200th anniversary of Gendarmenmarkt’s Konzerthaus,

originally designed by Karl Friedrich Schinkel,

the cooperation has been expanded to include composer

Mark Barden and visual artist Julian Bonequi. In

collaboration with the HTW Berlin, they created the

interactive environment »Umwelten«. In a fantastic

cosmos of virtual plant creatures, flora, and sounds,

Die Entwicklung innovativer Vermittlungskonzepte

für klassische Musik im digitalen Raum wird im Konzerthaus

Berlin seit 2016 mit Projekten wie der digitalen

Ausstellung und der »Konzerthaus Plus«-Anwendung

verfolgt. In der Jubiläumssaison 2020/21,

die das 200-jährige Bestehen des Schinkelbaus am

Gendarmenmarkt feierte, erweiterte sich das Kooperationsfeld

um Komponist Mark Barden und

Visual Artist Julian Bonequi. In Zusammenarbeit

mit der Hochschule für Technik und Wirtschaft Berlin

entstand die interaktive Umgebung »Umwelten«.

In einem fantastischen Kosmos aus virtuellen Pflan-

Image. Markus Werner for Konzerthaus Berlin

40 Catalog | Umwelten

Image. Markus Werner for Konzerthaus Berlin

visitors can individually experience contemporary

music in an experimental application at the intersection

between new music, visual art, and virtual reality.

The dialogic artistic process attempts to transcend disciplinary

boundaries—the outcome remaining open.

Over two hundred 3D objects and about five hundred

audio tracks were created for the virtual world, in

which visitors can move about with the help of virtual

reality goggles. As they interact with the plants and

creatures, new sounds and tones are created, so that

every action has a reaction and each visit is different

from the next.

The sounds were recorded by the Konzerthaus Berlin

Orchestra under the direction of composer Mark

Barden.

»Umwelten« was developed within the INKA project

APOLLO at the HTW Berlin.

Catalog | Umwelten

zenwesen, Gewächsen und Klängen erleben Besucher*innen

zeitgenössische Musik in einer experimentellen,

individuell erfahrbaren Anwendung an

den Schnittstellen von Neue Musik, visueller Kunst

und Virtual Reality. Ein dialogischer künstlerischer

Prozess soll die Grenzen der Disziplinen überschreiten

– mit offenem Ausgang. Über zweihundert 3D-

Objekte und rund fünfhundert Tonspuren wurden für

die virtuelle Welt geschaffen, in der sich die Besuch

er*innen mithilfe einer Virtual-Reality-Brille bewegen

können. In der Interaktion mit den Gewächsen

und Kreaturen entstehen neue Klänge und Töne, sodass

keine Aktion ohne Reaktion bleibt und sich jeder

Besuch vom nächsten unterscheidet.

Die Klänge wurden vom Konzerthausorchester Berlin

unter Leitung des Komponisten Mark Barden aufgenommen.

»Umwelten« wurde im Rahmen des INKA-Projekts

APOLLO an der HTW Berlin entwickelt.

41

KONZERTHAUS

PLUS

2018–2021, augmented reality application

Developers: Elisabeth Thielen, Michael Droste, and Christoph Holtmann

Text: Anne Eiselein and Annette Zerpner

Getting many young people from all social backgrounds

excited about classical music and creating

cultural participation through playful digital opportunities—this

is the vision that the Konzerthaus Berlin

has been pursuing in cooperation with the HTW Berlin

over the past few years. By downloading the interactive

augmented reality app »Konzerthaus Plus« on

a smartphone or tablet, the Konzerthaus’ digital applications

can be easily used anywhere.

The following augmented reality offerings invite playful

discovery:

Virtual Quartet: The Konzerthaus Quartet plays

»Death and the Maiden« by Franz Schubert. With as

many voices as you want—whenever and wherever.

Orchestra Game: How well do you know the structure

of an orchestra? In this game you can find out by

placing the instruments in the correct positions.

Durch spielerische digitale Angebote viele junge

Menschen jeglicher sozialer Herkunft für klassische

Musik begeistern und kulturelle Teilhabe schaffen

– so lautet die Vision, die das Konzerthaus Berlin in

Zusammenarbeit mit der HTW Berlin in den letzten

Jahren verfolgt hat. Durch Herunterladen der

interaktiven Augmented-Reality-App »Konzerthaus

Plus« auf ein Smartphone oder Tablet lassen sich

die digitalen Anwendungen des Konzerthaus Berlin

überall einfach nutzen.

Folgende Augmented-Reality-Angebote können spielerisch

entdeckt werden:

Virtuelles Quartett: Das Konzerthausquartett

spielt »Der Tod und das Mädchen« von Franz Schubert.

Wann, mit wie vielen Stimmen und wo immer

man möchte.

Orchester-Game: Wie gut kennen Sie den Aufbau

eines Orchesters? In diesem Spiel können Sie es herausfinden,

indem Sie die Instrumente an der richtigen

Position platzieren.

42 Catalog | Konzerthaus Plus

Image: Felix Löchner for Konzerthaus Berlin

The Konzerthaus in 3D: Discover the Konzerthaus

building at Gendarmenmarkt in 3D and learn exciting

information about its halls and history.

Sound Map: This is how Berlin sounds! Discover the

city with the Konzerthaus Orchestra!

For a long time, the application needed image markers

to display augmented reality content, but the

latest version also works without markers. This is a

crucial technical development that makes the service

even more accessible.

The application »Konzerthaus Plus« was developed

within the INKA project APOLLO at the HTW Berlin.

Das Konzerthaus in 3D: Hier kann man das Gebäude

am Gendarmenmarkt in 3D entdecken und

spannende Informationen rund um die Säle und die

Geschichte des Hauses erfahren.

Klangkarte: So klingt Berlin! Mit dem Konzerthausorchester

auf Entdeckungsreise durch die Stadt!

Lange Zeit benötigte die Anwendung Bildmarker,

um die Augmented-Reality-Inhalte anzeigen zu können,

in der neuesten Version funktioniert sie auch

markerlos. Das ist eine entscheidende technische

Entwicklung, die das Angebot noch niedrigschwelliger

macht.

Die App »Konzerthaus Plus« wurde im Rahmen des

INKA-Projekts APOLLO an der HTW Berlin entwickelt.

Image: Pablo Castagnola for Konzerthaus Berlin Image: Pablo Castagnola for Konzerthaus Berlin

Catalog | Konzerthaus Plus

43

AURA

AURALIZATION OF ACOUSTIC

HERITAGE SITES USING

AUGMENTED AND VIRTUAL REALITY

2021, interactive augmented reality poster

Designers:

Andrea Lumini and Federico Cioli

Developer: Sophie Schauer

Text: Sophie Schauer and Felix Lang

Auralization is the recreation of an environment and

the simulation of acoustic phenomena rendered as a

sound field in a virtual space. AURA’s challenge is to

create multisensory models that can be reliably rendered

both acoustically and graphically. The integration

of point clouds, commonly used in gaming technologies,

is exploited to reduce the long modelling phases

of complex virtual environments. The optimization

is aimed primarily at the elements relevant for user

interaction.

The Teatro del Maggio in Florence is the first cultural

site that has been digitized by the University of

44 Catalog | AURA

Both images: Andrea Lumini

Florence. After a preliminary analysis of the architecture,

the urban and environmental context was

captured with a 3D laser scanning techniques The resulting

highly reliable metric data will be used during

the subsequent data discretization and modelling. A

first point cloud walkthrough video can be found in

the augmented reality application accompanying the

AURA poster, along with a cross-section and virtual

tour of the finished 3D model of the Teatro del Maggio.

Using a handcrafted 3D model of the Konzerthaus

Berlin and an audio plugin, an initial prototype of

the auralized model has been developed by the HTW

Berlin. Several material and acoustic characteristics

have been taken into consideration to create a natural-sounding

recreation of the Great Hall in the Konzerthaus.

The user can move freely in the model and

experience the orchestra playing from the first row,

the sides, the back, or even right in between the musicians.

With augmented reality an interactive 3D model

and a showcase video are linked on the poster that

is displayed in the exhibition.

The INKA project AURA at the HTW Berlin is led by

the BGZ Berliner Gesellschaft für internationale Zusammenarbeit

mbH.

Auralisierung ist die Nachbildung von Umgebungen

und die Simulation von akustischen Charakteristiken

in einer virtuellen Welt. Die Herausforderung von

AURA ist die Erstellung multisensorischer Modelle,

die sowohl im Bereich der Akustik als auch grafisch

zuverlässig gerendert werden können. Die Integration

von Punktwolken, sonst häufig in der Spieleentwicklung

genutzt, wird instrumentalisiert, um die

langen Modellierungsphasen von komplexen virtuellen

Welten verkürzen zu können. Die Optimierung

zielt dabei vor allem auf die Elemente ab, die für die

Userinteraktion relevant sind.

Eine erste Kulturstätte, das Teatro del Maggio in

Florenz, wurde bereits von der Universität Florenz

digitalisiert. Zunächst wurden durch eine vorläufige

Analyse der Architektur die urbanen Gegebenheiten

erfasst und ein 3D-Laserscan erstellt. Die entstandenen

metrischen Daten werden während der nächsten

Schritte der Datendiskretisierung und der Modellierung

genutzt. Ein erstes Walkthrough-Video durch

die Punktwolke, ein Querschnitt-Modell des Theaters

sowie eine virtuelle Tour durch das fertige 3D-Modell

können in der begleitenden Augmented-Reality-

Anwendung zum AURA-Poster gefunden werden.

Mithilfe eines handmodellierten Modells des Konzerthaus

Berlin und einem Audio-Plugin wurde an

der HTW Berlin ein erster auralisierter Prototyp

entwickelt. Verschiedene Material- und Akustikeigenschaften

wurden berücksichtigt, um eine natürlich

klingende Nachbildung des Großen Saals des

Konzerthaus Berlin zu schaffen. Die Nutzerin bzw.

der Nutzer kann sich frei im Modell bewegen, und

ein Orchesterspiel aus der ersten Reihe, den Seiten,

ganz hinten oder sogar zwischen den Musiker*innen

erleben. Ein interaktives 3D-Modell und ein Demonstrationsvideo

sind über Augmented Reality auf dem

Poster verlinkt, das in der Ausstellung zu sehen ist.

Das INKA-Projekt AURA an der HTW Berlin wird

von der BGZ Berliner Gesellschaft für internationale

Zusammenarbeit mbH geleitet.

Image: Andrea Lumini

Catalog | AURA

45

BETWEEN

NIGHT AND DAY:

IMMERSIVE EXPLORATIONS

WITHIN A SLIDE ARCHIVE

Maxime Le Calvé and Mareike Stoll

Introduction

The digital humanities initiatives at the beginning of

the 21 st century have been centered on digitizing the

collections of libraries, providing almost instant access

to an unimaginable quantity of documents in stellar

quality. Anyone is invited to piggy-back on ›smart‹

algorithms to surf through incalculable numbers of

paths, passages and impasses, the tip of the thumbs

glued to their pocket devices. Yet, despite fantasies of

accessibility and the seemingly infinite storage of the

image, we are struck with a loss. Giving up material

arrangements not only means changing the material

form and context (from analog to digital), it also entails

a different speed and economy of attention. In

the visual ecology of our disputed (and merchandised)

screen space we cannot afford to keep images

linger and open spaces in-between. 1 Precisely because

the efforts of the digital humanities so far seem to be

focused on the achievement of new analytical prowess

based on quantified criteria (as they necessarily borrow

from the agenda and research methods of computer

science) there is a lacuna for spaces to forget and

find again, to dream, and for other forms of irrational

knowledge production. This is what our project proposes

and explores: a space in-between, using virtual

reality (VR) technology and a digitized archive of

images, we want to invite reflection and research on

various modes of knowing in connection to materiality

and code, activity of images and the space needed

for this. Can digital humanities open up to new

Einleitung

Die Initative der digital humanities (digitale Geisteswissenschaften)

konzentriert sich zu Beginn des

21. Jahrhunderts auf die Digitalisierung von Bibliotheksbeständen,

die einen nahezu uneingeschränkten

Zugang zu einer unvorstellbaren Menge von Dokumenten

in hervorragender Qualität gewährt. Jeder

ist eingeladen, im Sog ›intelligenter‹ Algorithmen

durch eine unüberschaubare Zahl von Wegen, Passagen

und Sackgassen zu surfen, die Fingerkuppen

an den Endgeräten klebend. Doch trotz des Traums

von Zugänglichkeit und einer scheinbar unendlichen

Speicherung des Bildes sind wir mit einem Verlust

konfrontiert. Der Verzicht auf materielle Arrangements

bedeutet nicht nur einen Wechsel der materiellen

Form und des Kontexts (von analog zu digital),

sondern bringt auch eine andere Dynamik und Ökonomie

der Aufmerksamkeit mit sich. In der visuellen

Ökologie unseres umkämpften (und vermarkteten)

Screen-Space können wir es uns nicht leisten, Bilder

verweilen zu lassen und Zwischenräume zu öffnen. 1

Gerade weil sich die Mühen der digitalen Geisteswissenschaften

bisher auf das Erlangen neuer analytischer

Fähigkeiten auf der Grundlage quantifizierter

Kriterien zu konzentrieren scheinen (da sie notwendigerweise

auf die Agenda und die Forschungsmethoden

der Computerwissenschaften zurückgreifen),

gibt es eine Leerstelle, was den Raum für ein Vergessen

und Wiederfinden angeht, für Träume und

andere Formen der irrationalen Wissensproduktion.

46 Between Night and Day

comprehensive experiments around the presence and

the absence, on the material picture-relations and the

gaps of the in-between, moving toward regions of human

knowledge which meaning cannot convey? What

could a generative and humane blend of digital and

humanities look like, embracing the simultaneously

pragmatic and theatrical motto of the »production of

presence« as Hans Ulrich Gumbrecht has called it? 2

The research objective of our immersive VR installation

project takes the eloquent example of the analog

slide in digitized form and explores the dual modes

of existence it offers, in order to create spaces for the

investigation of in-between-ness. Night and Day as

used in the title refer to nocturnal and diurnal modes

of perceiving images and interacting with them, like

we do in our dreams or when we are awake. Rather

than opposites, we conceive them as belonging to and

constituting one realm of both intuitive and rational

modes of knowing.

The Role of Slides in Art History

The practice to collect slides and the building of an

archive for generative knowledge goes back to the 19 th

century and also allows a glimpse into the beginnings

Das ist es, was unser Projekt anstrebt und untersucht:

ein(en) Zwischenraum, in dem wir mithilfe

von Virtual Reality (VR) und einem digitalisierten

Bildarchiv zum Nachdenken und zur Forschung einladen

wollen – über verschiedene Formen des Wissens

in Verbindung mit Materialität und Code, die

Aktivität von Bildern und den dafür erforderlichen

Raum. Können sich die digital humanities neuen,

umfassenden Experimenten über die An- und Abwesenheit,

über die materiellen Bildbeziehungen und

die Lücken des Dazwischen öffnen und sich Regionen

des menschlichen Wissens nähern, die die Bedeutung

nicht vermitteln kann? Wie könnte eine generative

Kombination aus Digitalem und Geisteswissenschaften

aussehen, die das ebenso pragmatische wie

theatrale Motto der »Produktion von Präsenz« von

Hans Ulrich Gumbrecht aufgreift? 2 Das Forschungsanliegen

unseres immersiven VR-Installationsprojekts

greift das eloquente Beispiel des analogen Dias

in digitalisierter Form auf und erforscht die dualen

Formate, in denen es existiert, um Räume für das

Ausloten des »Dazwischen« zu schaffen. »Night and

Day«, wie im Titel verwendet, beziehen sich auf die

nächtlichen und täglichen Modi der Wahrnehmung

von Bildern und der Interaktion mit ihnen, wie wir es

im Traum oder im Wachzustand tun. Sie sind keine

Gegensätze, sondern gehören zu einem Bereich, der

sowohl intuitive als auch rationale Wissensformen

umfasst, und konstituieren ihn.

Image: Maxime Le Calvé and Mareike Stoll

of art history as an academic discipline. In Berlin,

where the art historical institute of the Friedrich-

Wilhelms-Universität (now Humboldt-Universität

zu Berlin) was headed by Herman Grimm from 1873

onwards, a collection of glass slides and (and photographs

on paper) was curated to educate the eye,

bringing the art works to the audience. Photographs

were first passed from hand to hand, but soon replaced

by projected images. The slide projection all-

Between Night and Day

Die Rolle von Dias in der

Kunstgeschichte

Das Sammeln von Dias als Archiv für generatives

Wissen reicht bis ins 19. Jahrhundert zurück und gestattet

auch einen Blick auf die Anfänge der Kunstgeschichte

als akademische Disziplin. In Berlin, wo

das kunsthistorische Institut der Friedrich-Wilhelms-Universität

(heute Humboldt-Universität zu

Berlin) seit 1873 von Herman Grimm geleitet wurde,

wurde eine Sammlung von Glasdias (und Fotografien

auf Papier) aufgebaut, um das Auge zu schulen

und die Kunstwerke den Zuhörer*innen näher zu

bringen. Zunächst wurden Fotografien von einer

Hand zur nächsten gereicht, doch schon bald wurden

sie durch projizierte Bilder ersetzt. Die Diaprojektion

ermöglichte eine stärkere Synchronisierung

von Vortrag und Bildern, wobei die überwältigende

Qualität der im abgedunkelten Raum gezeigten Bilder

voll zur Geltung kam und sie sich in das Gedächtnis

der Anwesenden einprägte. 3 Grimm war von der

elektrischen Diaprojektion so fasziniert, dass er die

Verwendung von Glasdias ab 1892 nicht nur in Berlin,

sondern für die Disziplin der Kunstgeschichte

im Allgemeinen erfolgreich durchsetzte. Das bloße

47

owed for a more synchronized performance of lecture

and images, taking full advantage of the overwhelming

quality of the images displayed in the darkened

room, inscribing themselves into the memory of the

beholder. 3 Grimm was so thoroughly fascinated by the

slide projection, that he successfully promoted the use

of glass slides from 1892 onwards, not only in Berlin,

but for the discipline of art history more generally. He

did not see the mere black and white color of the slides

as a disadvantage. Quite on the contrary, Grimm

delighted in the possibilities offered by the new medium

of the (glass) slide with regard to abstraction. 4

Around 1915, art historian Heinrich Wölfflin added

the second projector and the second slide, to create

constellations of images and thus allow for a wholly

different approach to art history: comparative seeing. 5

Once projected on the wall, two slides next to one another

seem strikingly similar and we as beholders immediately

start creating connections between them,

even if they display very different objects—say a detail

of a delicately minute carving in ivory, and the other

the interior of a church. Photography and the slide

are thus essentially tools to make visible and draw together

similarities. When looking at these constellations,

as beholders we bring in the ›connective tissue‹

of knowledge that resides elsewhere: in the space in

between, in dream-textures of our imagination, or in

our memory.

A VR Installation Making-Of

»to make sense of things« 6

Point of departure for the research creation project

Tamed Cloud of the EnsadLab/Spatial Média (Paris)

was the ordinary creative research process of design

practitioners which includes a ceaseless collecting of

images and diverse materials in their studios. Images

and materials can be moved around until they find

themselves in the right order on the table or pinned

on a board, ›taking a position‹ which becomes the

position and a new intermediary point of departure

for Gestaltung. However, as the means of production,

dissemination and archiving are shifting to digital

devices, the processed archives and collections have

also moved to these new formats. Although a number

of apps intend to channel this workflow, many

designers still accumulate their inspiration sources in

image files on their computers. Working through these

images is neither intuitive nor easy. Tamed Cloud

was initiated to allow the users to literally step in the

center of that performance or to stand in the center of

what we could call the innervation of digital images.

We can ›grasp‹ the images and bring them to the fore,

create our own image constellations. We can talk to

them. We can decide if we see the frame or not. It is

Schwarz-Weiß der Dias empfand er nicht als Nachteil.

Ganz im Gegenteil, er war begeistert von den

neuen Möglichkeiten, die das neue Medium (Glas-)

Dia in Bezug auf Abstraktion bot. 4 Um 1915 fügte

der Kunsthistoriker Heinrich Wölfflin den zweiten

Projektor und das zweite Dia hinzu, um Bilderkonstellationen

zu schaffen und damit einen ganz anderen

Zugang zur Kunstgeschichte zu ermöglichen:

das vergleichende Sehen. 5 Einmal an die Wand projiziert,

erscheinen zwei Dias nebeneinander auffallend

ähnlich und wir als Betrachter*innen beginnen

sofort, Verbindungen zwischen ihnen herzustellen,

auch wenn sie sehr unterschiedliche Objekte zeigen

– zum Beispiel das Detail einer filigranen Elfenbeinschnitzerei

im Vergleich mit dem Inneren einer

Kirche. Die Fotografie ist also im Wesentlichen ein

Werkzeug, um Ähnlichkeiten sichtbar zu machen und

zusammenzuführen. Wenn wir diese Konstellationen

anschauen, bringen wir das ›Bindegewebe‹ des Wissens

mit ein, das sich andernorts, im Zwischenraum,

in den Traumtexturen unserer Vorstellungskraft, befindet.

Das Making-of einer VR-Installation

»um den Dingen Sinn zu geben« 6

Ausgangspunkt für das Forschungsprojekt Tamed

Cloud des EnsadLab/Spatial Média (Paris) war

der gängige Prozess kreativer Forschung von Designer*innen,

der eine fortlaufende Sammlung von Bildern

und verschiedenen Materialien in ihren Ateliers

beinhaltet. Sie können so lange verschoben werden,

bis sie sich in der richtigen Reihenfolge auf dem Tisch

wiederfinden oder an eine Tafel geheftet werden,

›eine Position einnehmen‹, die zu der Position und

zu einem neuen intermediären Ausgangspunkt für

den Akt der Gestaltung wird. Mit der Verlagerung

der Produktions-, Verbreitungs- und Archivierungsmittel

auf digitale Geräte wurden auch die Archive

und Sammlungen auf diese neuen Formate übertragen.

Obwohl eine Reihe von Apps diesen Workflow

kanalisieren soll, sammeln viele Designer*innen

immer noch Bilddateien als Inspirationsquellen auf

ihren Computern. Die Arbeit mit ihnen ist weder intuitiv

noch einfach. Tamed Cloud wurde entwickelt,

um den Nutzer*innen die Möglichkeit zu geben, in

das Zentrum dieser Arbeitsweise einzutreten: in das

Zentrum dessen, was wir die Innervation der digitalen

Bilder nennen könnten. Wir können die Bilder

›begreifen‹ und sie in den Vordergrund rücken,

unsere eigenen Bildkonstellationen schaffen. Wir

können mit ihnen sprechen. Wir können entscheiden,

ob es Tag oder Nacht ist, ob wir den Rahmen eines

Dias sehen oder nicht. Es liegt an uns, die Bilder um

uns tanzen zu lassen oder sie Teil der Wolke und des


up to us to let the images dance around us, or become

part of the cloud, and the play of knowledge formation.

The size of the image bank which is necessary to

make this work and to produce the intended aesthetical

effect is between 3,000 and 6,000 pictures. The

images »behave like schools of fish or flocks of birds,«

François Garnier, director of Spatial Média, tells us,

showing on the screen of his computer the moving

icons which move through the virtual environment at

an eerie speed, enacting visually striking choreographies.

The images become more relatable. They gain a

different kind of existence, floating between the positionable

materiality of the picture, and the apparition

quality of the projected image. The metadata are embedded

in the behavior of the images themselves, into

spatially perceptible nuances for the contemplative

and creative experience.

Spiels der Wissensbildung werden zu lassen. Die

Größe der Bilddatenbank, die notwendig ist, um

›das umzusetzen‹ und den beabsichtigten ästhetischen

›Effekt‹ zu erzielen, liegt zwischen 3.000 und

6.000 Bildern. Die Bilder »verhalten sich wie Fischschwärme

oder Vogelschwärme«, erzählt François

Garnier, Leiter von Spatial Média, während er

uns auf dem Bildschirm seines Computers die sich

bewegenden Icons zeigt, die sich in einer unheimlichen

Geschwindigkeit durch die virtuelle Umgebung

bewegen und dabei visuell beeindruckende Choreografien

inszenieren. Die Bilder werden nahbarer. Sie

gewinnen eine andere Art von Existenz, fluktuieren

zwischen der positionierbaren Materialität des

Bildes und der Qualität der Erscheinung des projizierten

Bildes. Die Metadaten sind in das Verhalten

der Bilder selbst eingebettet. Sie werden in räumlich

wahrnehmbare Nuancen für die kontemplative und

kreative Erfahrung übersetzt.

Peter H. Feist

Image: Maxime Le Calvé and Mareike Stoll

Peter H. Feist

The archive we chose for our exhibition piece was

based on pragmatic decisions, on the availability (we

needed a large corpus of up to 5,000 images, which

we could handle with easy copyright clearance), the

connection to the specific context (the site of the exhibition

and the institutions connected to it, Department

of Art and Visual History [IKB], Mediathek,

Grimm Zentrum). Georg Schelbert, archivist and

curator of the Mediathek, guided us swiftly toward a

peculiar corpus of the collection: the personal documentation

of Peter H. Feist, a longtime professor of

art history in GDR times. Captured during extensive

travels, it shows works of art in museums and the outdoors,

paintings and sculpture. Handwritten notati-


Die Wahl des Archivs basierte auf pragmatischen

Entscheidungen, auf der Verfügbarkeit (wir brauchten

einen großen Bildkorpus bis 5.000 Bildern, den

wir mit einem einfachen Copyright-Zugang handhaben

konnten), der Verbindung zum konkreten

Kontext (dem Ort der Ausstellung und den damit

verbundenen Institutionen Institut für Kunst- und

Bildgeschichte [IKB], Mediathek, Grimm-Zentrum).

Georg Schelbert, Archivar und Kurator der Mediathek,

führte uns zielstrebig zu einem besonderen

Korpus der Sammlung: der persönlichen Dokumentation

von Peter H. Feist, einem langjährigen Professor

für Kunstgeschichte zu DDR-Zeiten. Auf ausgedehnten

Reisen aufgenommen, zeigt sie Kunstwerke

in Museen und in freier Natur, Gemälde und Skulpturen.

Handschriftliche Vermerke auf den Rahmen

der Dias helfen, das Gesehene zu verorten. 7 Die Fotografien

sind nicht wegen ihres Inhalts interessant,

sondern weil sie in Plastik oder Karton eingefasst

und handschriftlich kodiert sind und weil sie die aktive

Materialität ihres chemischen Trägers durch die

chromatischen Degradationen offenbaren. Uns dient

dies als Nährboden für folgende Erkenntnis: Es handelt

sich um ein Meer von Bildern, das zwar digitalisiert,

aber mit konventionellen kuratorischen Mitteln

nicht vollständig zu erfassen ist. 8 Mit dem ganzen

Körper in diesen Korpus einzutauchen erlaubt uns,

diese materielle Aktivität als eine generative Qualität

zu erfahren, die vielschichtige Formen des Wissens

und des Träumens verbindet, die mit der Praxis

von Feist verbunden werden können. Das ist es,

was unsere VR-Installation anbietet: ein Instrument

zum veränderten Zugriff auf Archive und zur hap-

49

ons on the frame of the slides help to locate what is

seen. 7 The slides we have chosen are not intriguing for

their content but because they are framed in plastic or

cardboard, because they are encoded through handwriting,

revealing the active materiality of their chemical

support through the chromatic degradations. For

us this serves as fertilizer for the following insight: it

is a sea of images which, although digitized, cannot

be fully grasped by conventional curational means. 8

Diving with our entire body into this corpus allows

us to experience this material activity as a generative

quality which combines manifold modes of knowing

and dreaming that can be connected to the practice

of Feist. This is what the VR installation suggests: a

tool to reload archives and engage haptically with a

corpus to create quasi-material relations. It is an environment

to more fully grasp various (also diverse and

contradictory) categories and possibly to create your

own in a playful way.

Conclusion:

Trashy, cropped, discolored:

slides as fireflies

Slides were once—in the time of analog photography—ubiquitous.

They were a somewhat narcissistic

cultural technique and a tool of the trade in the training

of art historians. A proportion of slides are kept

in museums and media libraries, if the photographer

had a point of view worth preserving. This is why we

decided to translate the dual legacy of the slide into a

physical scenography around the VR work. Slides are

on the one hand flying in formation in the VR environment,

but are also scattered on the floor.

These slides, bought cheaply on the internet, are placeholders

for the collection of Peter H. Feist. They also

remind us that, as an obsolete technology, slides have

lost their value over one generation: sold on eBay for

little money, personal memories—digitized or not—

they are one step away from the garbage can. Taking

the Peter H. Feist collection of the IKB as a casestudy

eliciting a sensorial and evocating experience,

this site-specific installation suggests what VR can

bring to the discipline of art history and image theory,

and how it can help use to endow digital pictures

with new kinds of active materiality.

There is a soft spot in-between, a threshold of intuitive

and rational modes of knowing. On this threshold

we position our curated piece as an invitation for reflection,

interaction and creative endeavor, sparking

insights, questions and unforeseen constellations of

images, going beyond what is presented as material.

The duality of the slide (as frame and image, code and

tischen Auseinandersetzung mit einem Korpus, um

quasi-materielle Beziehungen zu schaffen. Es ist eine

Umgebung, in der man verschiedenste Kategorien

der Ordnung vollständiger erfassen und spielerisch

eigene schaffen kann.

Fazit:

Trashig, beschnitten, verfärbt:

Dias als Glühwürmchen

Dias waren einst – in der Zeit der analogen Fotografie

– allgegenwärtig. Sie waren eine geradezu narzisstische

Kulturtechnik und ein Lehrmittel für die

Ausbildung von Kunsthistoriker*innen. Ein Teil der

Dias wird in Museen und Mediatheken aufbewahrt,

wenn der*die Fotografierende einen erhaltenswerten

Blick hatte. Deshalb haben wir beschlossen,

das duale Vermächtnis der Dias in eine physische

Inszenierung um die VR-Arbeit zu übertragen. Dias

›fliegen‹ einerseits in Formation in der VR-Umgebung,

liegen aber auch verstreut auf dem Boden.

Die günstig im Internet gekauften Dias sind Platzhalter

für die Sammlung von Peter H. Feist. Sie erinnern

uns auch an die veraltete Technologie der Dias,

die ihren Wert binnen einer Generation verloren hat:

Auf eBay für wenig Geld verkauft, sind persönliche

Erinnerungen – digitalisiert oder nicht – nur noch

einen Schritt vom Mülleimer entfernt. Am Beispiel

der Sammlung Peter H. Feist des IKB, die eine sensorische

und suggestive Erfahrung evoziert, zeigt diese

raumspezifische Installation, was VR für die Disziplin

der Kunstgeschichte und Bildtheorie leisten und

wie sie dazu beitragen kann, digitalen Bildern eine

neue Art von aktiver Materialität zu verleihen.

Es gibt einen ebenso empfindlichen wie produktiven

Ort, eine Schnittstelle zwischen intuitiven und rationalen

Wissensformen. An dieser Schwelle positionieren

wir unsere kuratierte Arbeit als eine Einladung

zur Reflexion, Interaktion und kreativen Tätigkeit,

die Einsichten, Fragen und unvorhergesehene Bildkonstellationen

hervorruft, die über das präsentierte

Material hinausgehen. Die Dualität des Dias (als

Rahmen und als Bild, als Code und als Material)

umfasst beide Arten des Wissens, und auch wenn es

kompliziert sein mag, beide gleichzeitig zu betrachten,

können wir sie mental zusammenfügen und im

Denken zusammenhalten, wo sich ihre Aktivität in

den Lücken fortsetzt.

Screenshot: Dionysios Zamplaras


material) encompasses both modes of knowing, and

while looking at both at the same time might be complicated,

we can piece both views together, hold them

together in our minds where the activity between and

in the gaps continues.

1

Anne Burdick, ed., Digital Humanities (Cambridge,

MA: MIT Press, 2012).

2

Hans Ulrich Gumbrecht, Production of Presence:

What Meaning Cannot Convey (Stanford, Calif: Stanford

University Press, 2004).

3

Cf. Georg Schelbert, »Bildgeschichte digital greifbar.

Die Glasdiasammlung des Instituts für Kunst- und

Bildgeschichte der Humboldt-Universität zu Berlin.

Bericht von einem work in progress,« 2018, pdf (edoc-

Server HU Berlin), 1.

4

This is the reason why Heinrich Wölfflin had declared

that photography would be the »midwife« to art

history as a discipline: photography allows scholars to

see sculpture, architecture or an oil painting abstracted

through the black-and-white reduction to a flat

image. Horst Bredekamp, »A Neglected Tradition? Art

History as Bildwissenschaft«, Critical Inquiry Vol. 29

(Spring 2003), 419.

5

Cf. Heinrich Dilly on Wölfflin and his affinity for the

double projection of black and white photographs.

Heinrich Dilly, »Die Bilderwerfer. 121 Jahre kunstwissenschaftliche

Dia-Projektion,« in Rundbrief Fotografie,

Sonderheft 2 (1995), 41.

6

Kat Jungnickel, »Making Things to Make Sense of

Things,« in The Routledge Companion to Media Studies

and Digital Humanities, ed. Jentery Sayers, 1 st ed.

(New York: Routledge, 2018), 492–502.

7

Peter H. Feist was born in 1928, studied with Wilhelm

Worringer in Halle a.S.; obtained his doctorate degree

in 1958 and since then he was employed in Berlin, 1966

Habilitation on French Impressionism, in 1968 he became

Professor and 1969 Full Professor at the HU Berlin

(Art Science), Head of the Institute since 1977. Feist

was also Head of the Institute for Aesthetics and Art

Science of the Academy of Sciences of the GDR since

1982. He took early retirement in the mid-1990s.

8

The »sea of images« makes reference to a term coined

by Warburg: »Bildermeer«. Cf. Julia Voss, »In voller

Fahrt durch’s Bildermeer,« in Frankfurter Allgemeine

Zeitung, 1 June, 2012.

1

Anne Burdick (Hrsg.) (2012): Digital Humanities.

Cambridge, MA: MIT Press.

2

Hans Ulrich Gumbrecht (2004): Production of Presence:

What Meaning Cannot Convey. Stanford, Calif:

Stanford University Press.

3

Vgl. Georg Schelbert (2018): »Bildgeschichte digital

greifbar. Die Glasdiasammlung des Instituts für

Kunst- und Bildgeschichte der Humboldt-Universität

zu Berlin. Bericht von einem work in progress«, PDF

(edoc-Server der HU Berlin), S. 1.

4

Aus diesem Grund hatte Heinrich Wölfflin erklärt,

dass die Fotografie die »Hebamme« der Kunstgeschichte

als Disziplin werde: Die Fotografie ermöglicht

es den Wissenschaftler*innen, Skulptur,

Architektur oder ein Ölgemälde als Schwarz-Weiß-

Reduktion auf ein flaches Bild abstrahiert zu sehen.

Horst Bredekamp (2003): »A Neglected Tradition?

Art History as Bildwissenschaft«. In: Critical Inquiry,

Vol. 29 (Frühling), S. 419.

5

Vgl. Heinrich Dilly über Wölfflin und seine Vorliebe

für die Doppelprojektion von Schwarz-Weiß-Fotografien.

Heinrich Dilly (1995): »Die Bilderwerfer. 121

Jahre kunstwissenschaftliche Dia-Projektion«. In:

Rundbrief Fotografie, Sonderheft 2, S. 41.

6

Kat Jungnickel (2018): »Making Things to Make

Sense of Things«. In: Jentery Sayers (Hrsg.): The

Routledge Companion to Media Studies and Digital

Humanities, 1. Aufl. New York: Routledge, S. 492–502.

7

Peter H. Feist wurde 1928 geboren, studierte bei Wilhelm

Worringer in Halle a.S., wurde 1958 promoviert

und war seitdem in Berlin tätig, 1966 Habilitation

über den französischen Impressionismus, 1968 wurde

er Professor und 1969 ordinierter Professor an der

HU Berlin (Kunstwissenschaft), seit 1977 Leiter des

Instituts. Seit 1982 war Feist auch Leiter des Instituts

für Ästhetik und Kunstwissenschaft der Akademie der

Wissenschaften der DDR. Mitte der 1990er-Jahre ging

er in den Vorruhestand.

8

»Bildermeer« ist eine Referenz auf den von Warburg

geprägten Begriff. Vgl. Julia Voss (2012), »In voller

Fahrt durch’s Bildermeer«. In: Frankfurter Allgemeine

Zeitung, 1. Juni.


51

IMMERSIVE

SLIDESHOW

2021, interactive virtual reality installation

Curation, dramaturgy and text: Maxime Le Calvé and Mareike Stoll

Experience and interaction design: Dionysios Zamplaras

Slides exist as small pieces of film in plastic or paper

frames, and are as such part of collections like the

Mediathek of the Institut für Kunst- und Bildwissenschaft

(IKB). They were the forerunner of today’s Power-

Point presentation—slides became the standard

in the lecture halls for art education already in

the 19 th century, and around 1915, established by

Heinrich Wölfflin, double slide-projection was to foster

comparative seeing for budding art historians.

Frame and image of the slide offer two modes of reading:

When projected, we see the image that is held by

the frame which at this point is rendered invisible.

Dias existieren als kleine Filmstückchen in Rahmen

aus Plastik oder Papier und sind als solches Teil der

Mediathek des Instituts für Kunst- und Bildwissenschaft

(IKB). Sie waren die Vorläufer der heutigen

PowerPoint-Präsentation – bereits im 19. Jahrhundert

wurden Dias zum Standard in den Hörsälen der

Kunstgeschichte und um 1915, begründet durch Heinrich

Wölfflin, sollte die Doppelprojektion das vergleichende

Sehen für angehende Kunsthistoriker*innen

fördern. Dias sind zwei Lesbarkeiten eigen:

Als Projektion sehen wir das Bild, das vom Rahmen

gehalten wird, der an diesem Punkt unsichtbar wird.

52 Catalog | Immersive Slideshow

When we hold the slide in our hands, however, the

image is tiny, but the frame holding the image comes

into view, offering a surface for notations, usually

denoting the artist’s name, title of the artwork,

and a date—an antecedent to the string of metadata

attached to each digital image.

Slide: Peter H. Feist

Screenshot: Dionysios Zamplaras

Now, what if we were able, using these same metadata

on the frames and today’s graphics processing

power, to command the historical images to take off

and start spiraling around the user? The presented

immersive virtual reality (VR) installation combines

the research creation project Tamed Cloud

of the EnsadLab/Spatial Média (Paris) with the research

on image knowledge and digital materiality

at the Cluster of Excellence »Matters of Activity.«

The dual mode of existence of the slide reveals the

twofold and iterative mode of knowing related to

images and to their materiality: an incessant alternation

between coding and dreaming, sorting and

imagining, analyzing and storytelling. Taking the

Peter H. Feist collection of the IKB as a case-study

eliciting a sensorial and evocating experience, this

site-specific installation suggests how virtual reality

can contribute to truly upgrade the tools of the discipline

of art history and image theory, and how it

can help to endow digital pictures with new kinds of

active materiality.

The VR installation »Immersive Slideshow«

combines research on image, knowledge, and digital

materiality at the Cluster of Excellence »Matters

of Activity« of the Humboldt-Universität zu Berlin

with research of the research creation project Tamed

Cloud at the EnsadLab/Spatial Média (Paris).

Wenn wir das Dia in den Händen halten, ist das Bild

jedoch winzig; aber der Rahmen, der das Bild hält,

wird sichtbar und bietet eine Schreibfläche für Notizen,

die in der Regel den Namen der Künstlerin

oder des Künstlers, den Titel des Kunstwerks und ein

Datum enthalten – ein Vorläufer der Metadaten, die

jedem digitalen Bild beigefügt sind.

Was wäre, wenn wir ebendiese Metadaten mit modernen

Möglichkeiten der grafischen Verarbeitung

zusammenbringen könnten, die dieselben historischen

Bilder zum Abheben bringen und die/den

Nutzenden umschwärmen? Die hier präsentierte

immersive Virtual-Reality-Installation schlägt eine

Brücke zwischen dem Forschungsprojekt Tamed

Cloud des EnsadLab/Spatial Média (Paris) und der

Forschung zu Bildwissen und digitaler Materialität

am Exzellenzcluster »Matters of Activity«. Die doppelte

Existenzform des Dias offenbart die doppelte

und iterative Art des Wissens, das mit Bildern und

ihrer Materialität verbunden ist: ein unaufhörlicher

Wechsel zwischen Kodierung und Träumen, Sortieren

und Vorstellen, Analysieren und Erzählen. Am

Beispiel der Sammlung Peter H. Feist des IKB, die

eine sensorische und suggestive Erfahrung evoziert,

zeigt diese raumspezifische Installation, was Virtual

Reality für die Disziplin der Kunstgeschichte und

Bildtheorie leisten und wie sie dazu beitragen kann,

digitalen Bildern eine neue Art von aktiver Materialität

zu verleihen.

Slide: Peter H. Feist

Catalog | Immersive Slideshow

Die VR-Installation »Immersive Slideshow« verbindet

Forschung zu Bild, Wissen und digitaler Materalität

am Exzellenzcluster »Matters of Activity« an

der Humboldt-Universität zu Berlin mit Forschungen

des Projekts Tamed Cloud des EnsadLab/Spatial

Média (Paris).

53

TRANSIENT

EXPOSURE

2021, mixed reality installation

Artists: reVerb (Isabel Robson, Mareike Trillhaas, and Susanne Vincenz)

and Chitrasena Dance Company (Thaji Dias and Heshma Wignaraja)

Developers: Christoph Holtmann, Laura Magdaleno Amaro, and Ekaterina Losik

Text: Maja Stark

»Transient Exposure« is a dance and research project

in mixed reality. It is a collaboration between

the artists’ collective reVerb and the dance company

Chitrasena, Colombo (Sri Lanka)—and from January

to September 2021 also HTW Berlin’s project

XR_Unites.

Across the great distance, »Transient Exposure«

brings together five female artists on different continents.

Mixed reality becomes a testing ground for a

working process with the long-term goal of combining

live performance, interaction and mediality. The

purely digital installation presented here is a station

on the path of realizing a live performance in Colombo.

Drawing from the archive of the Chitrasena Dance

Company in Colombo, the installation examines the

contemporary in dance. The women of the family are

the third generation to run the company founded just

before the island’s independence in 1948, through the

civil war (1983–2009) and now face the globalised

present that is bringing traditional dance forms to the

brink of disappearance. In the planned installation,

the artists explore the changing environment of the

company, the search for a place for their dance and

the struggle for renewal.

The collaboration with XR_Unites aims to experiment

with mixed reality and to make the dance accessible

in a new way beyond classical live performance. For

this purpose, a sensual-virtual format is being developed

that allows users to explore the different layers

of time, to experience the three generations of dancers

together, and to participate physically. Tactile sensory

experiences as well as Colombo’s heterogeneous

sound backdrop are of central importance here – and

connected to this is the tension between live experi-

»Transient Exposure« ist ein Tanz- und Forschungsprojekt

in Mixed Reality. Es entsteht in Zusammenarbeit

des Künstlerinnenkollektivs reVerb mit der

Tanzcompany Chitrasena, Colombo (Sri Lanka) –

und von Januar bis September 2021 mit dem Projekt

XR_Unites an der HTW Berlin.

Über große Distanz hinweg bringt »Transient Exposure«

fünf Künstlerinnen auf verschiedenen

Kontinenten zusammen. Mixed Reality wird zum

Versuchsfeld für einen Arbeitsprozess mit dem langfristigen

Ziel, Live-Performance, Interaktion und

Medialität zu verbinden. Die hier präsentierte rein

digitale Installation ist eine Station auf dem Weg der

Realisierung als Live-Performance in Colombo.

Ausgehend vom Archiv der Chitrasena Dance Company

in Colombo, Sri Lanka, fragt die Installation

nach Zeitgenossenschaft im Tanz. Seit der Unabhängigkeit

der Insel 1948 leiten die Frauen der

Familie Chitrasena in der dritten Generation die

Company, durch den Bürgerkrieg (1983–2009) bis

in eine globalisierte Gegenwart, die den traditionellen

Tanz an den Rand des Verschwindens bringt. In

der geplanten Installation untersuchen die Künstlerinnen

das im Wandel begriffene Umfeld der Company,

die Suche nach einem Ort für ihren Tanz und das

Ringen um Erneuerung.

Die Kollaboration mit XR_Unites verfolgt das Ziel,

mit Mixed Reality zu experimentieren und Tanz

jenseits der klassischen Live-Performance auf neue

Art erfahrbar zu machen. Dafür wird ein sinnlichvirtuelles

Format entwickelt, das es den User*innen

ermöglicht, die verschiedenen Zeitschichten zu erkunden,

die drei Generationen der Tänzerinnen gemeinsam

zu erleben und physisch zu partizipieren.

Taktile Sinneserfahrungen wie auch die heterogene

54 Catalog | Transient Exposure

ence and augmented scenography. Digitized images

and film footage of the three dancers from different

periods are available—both historical and current

footage. They form the basis for a 3D montage that

will be accessible via the HoloLens 2 in mixed reality.

From January to September 2021, »Transient Exposure«

was developed within the INKA project

XR_Unites at the HTW Berlin.

Tonkulisse Colombos sind dabei von zentraler Bedeutung

– und damit verbunden die Spannung zwischen

Live-Erleben und Augmented Scenography. Von den

drei Tänzerinnen aus unterschiedlichen Zeiten liegen

digitalisiertes Bildmaterial und Filmaufnahmen

vor – historische Aufnahmen wie auch aktuelle. Sie

bilden die Ausgangsbasis für eine 3D-Montage, die

über die HoloLens 2 in Mixed Reality begehbar ist.

Von Januar bis September 2021 wurde »Transient

Exposure« im Rahmen des INKA-Projekts

XR_Unites an der HTW Berlin entwickelt.

Catalog | Transient Exposure

Images: reVerb / Chitrasena Dance Company

Dancers (from left to right):

Vajira Chitrasena, Upeka Chitrasena, Thaji Dias

55

STRETCHING

HANBOK

2021, augmented reality experience

Researchers: Yoonha Kim and Julien Letellier

Developers: Julien Letellier, Michael Droste, and Catherine Heyart

Text: Yoonha Kim

»Stretching Hanbok« is an augmented reality experience

crafted collaboratively by an anthropologist

and a computer scientist. The work transforms traditional

Korean clothing, known as hanbok, into an interactive

material in a pixelated format, which stands

in contrast to the standard presentation of an ancient

fossilized garment behind a glass vitrine.

Through three stages of engaging with hanbok, new

light is shed on cultural heritage, bringing into focus

the diverse relationships between active materials

that form the garment.

The first scene unfolds the symbolic meaning of

hanbok pattern pieces, referring to the resonance

between heaven, Earth, and in-between beings such

as humans. Technologically mediated landscape including

clouds, wildflowers, rare-earth minerals,

and satellites, which reflect the shifting cosmological

conditions, appears as the user clicks on each pattern

piece. The startling contrast between the tangible place

outside the screen and virtual entities encourages

the user to explore this hybridity with a new arrangement

of senses. The second scene is an interactive

game, which introduces the zero-waste hanbok pattern

making technique. The last scene invites users

to perform a stretching gesture with their fingers to

reveal multispecies entanglement behind a silk fabric.

Users can engage with a CT scan of a silk cocoon,

getting to know the fibers that comprise the textile.

In between the scenes, prerecorded phone calls from

hanbok maker Lee Ki-yeon and weaver Hu Ho are

played to convey a short story about the processes involved

in making and wearing hanbok.

»Stretching Hanbok« was developed at the Cluster

of Excellence »Matters of Activity« at the Humboldt-

Universität zu Berlin.

»Stretching Hanbok« ist eine Augmented-Reality-

Experience, die kollaborativ von einer Anthropologin

und einem Informatiker entwickelt wurde. Das Werk

verwandelt traditionelle koreanische Kleidung, bekannt

als hanbok, in ein interaktives Material im

Pixelformat. Dieses steht bewusst im Gegensatz zur

üblichen Zurschaustellung eines alten, versteinerten

Kleidungsstücks in einer Glasvitrine.

In drei Phasen der Auseinandersetzung wird ein neues

Licht auf das kulturelle Erbe des hanbok geworfen,

indem die vielfältigen Beziehungen zwischen den aktiven

Materialien beleuchtet werden, aus denen sich

das Gewand zusammensetzt.

Die erste Szene entfaltet die symbolische Bedeutung

der hanbok-Schnittteile und verweist auf die Resonanz

zwischen Himmel, Erde und den Wesen dazwischen,

wie etwa die Menschen. Durch die Technologie

vermittelte Landschaften mit Wolken, Wildblumen,

seltenen Erden und Satelliten, welche die sich verändernden

kosmologischen Bedingungen widerspiegeln,

erscheinen beim Klicken auf die einzelnen

Schnittteile. Der verblüffende Kontrast zwischen dem

greifbaren Ort jenseits des Bildschirms und den virtuellen

Entitäten ermutigt den/die Nutzer*in, seine/

ihre Sinne neu zu ordnen und diese Hybridität zu erkunden.

Bei der zweiten Szene handelt es sich um ein

interaktives Spiel, in dem die Technik der verschnittfreien

Produktion von hanbok-Mustern vorgestellt

wird. In der letzten Szene werden die Nutzer*innen

aufgefordert, mit den Fingern eine »Stretch«-Geste

auszuführen, um die vielfältige Verflechtung hinter

einem Seidenstoff zu enthüllen. Über den CT-Scan

eines Seidenkokons lassen sich die Fasern erkunden,

aus denen das Textil besteht. Zwischen den Szenen

werden aufgezeichnete Telefonanrufe von hanbok-

Herstellerin Lee Ki-yeon und -Weber Hu Ho abgespielt,

die eine kurze Geschichte über die Produktion

und das Tragen des hanbok erzählen.

»Stretching Hanbok« wurde am Exzellenzcluster

»Matters of Activity« an der Humboldt-Universität

zu Berlin entwickelt.

Illustration: Park No-soo for »Folk Songs of Korea«, 1961. National Folk Museum of Korea

56 Catalog | Stretching Hanbok

GLOSSARY

Asset

A digital object that can be used in development environments

(e.g. Unity), such as a 3D model, a video or

audio file, a script, or a texture.

Ein in Entwicklungsumgebungen (z.B. Unity) nutzbares

digitales Objekt, wie etwa ein 3D-Modell, ein Video

oder eine Audiodatei, ein Skript oder eine Textur.

Augmented Reality (AR)

Augmentation of the analog world with digital content

by means of a mobile device, e.g. smartphone or tablet.

This augmentation happens in real time, the digital

content is credibly located in the analog space and can

be interactive if programmed accordingly. Users remain

in their physical environment—they are not made

to believe that they have left it.

Extended Reality (XR)

Umbrella term for the digital technologies augmented,

mixed, and virtual reality—as well as future technologies

in this field.

Erweiterung der analogen Welt um digitale Inhalte

mittels eines mobilen Devices, z.B. Smartphone oder

Tablet. Diese Erweiterung geschieht in Echtzeit, die digitalen

Inhalte werden glaubhaft im analogen Raum

verortet und sie können bei entsprechender Programmierung

interaktiv sein. Nutzer*innen verbleiben in

ihrer physischen Umgebung – ihnen wird nicht vermittelt,

sie hätten diese verlassen.

Überbegriff für die digitalen Technologien Augmented,

Mixed und Virtual Reality – und zukünftige Technologien

in diesem Bereich.

HoloLens 2

Microsoft’s mixed reality goggles with six degrees of

freedom and area and space as well as gesture, hand,

and speech recognition. They are predominantly used

in industry, for example in manual production, by digitally

overlaying additional information and instructions,

but they also offer great potential for the cultural

sector.

Marker

A visual surface such as a photograph or QR code that is

set for a marker-based augmented reality application.

When a surface is scanned by the mobile device’s camera

with the app open, the application searches for features

from the specified marker. A match triggers the

appearance of digital content. Markers do not always

have to be planar—they can also be three-dimensional.

Mixed-Reality-Brille von Microsoft mit sechs Freiheitsgraden,

Flächen- und Raum- sowie Gesten-,

Hand- und Spracherkennung. Sie wird vorwiegend

in der Industrie genutzt – zum Beispiel zur Unterstützung

in der manuellen Fertigung durch digitale Einblendung

von Zusatzinformationen und Instruktionen

– bietet aber auch großes Potenzial für den Kulturbereich.

Eine visuelle Oberfläche wie etwa eine Fotografie oder

ein QR-Code, die für eine markerbasierte Augmented-Reality-Anwendung

festgelegt wird. Wird eine

Oberfläche bei geöffneter App durch die Kamera des

mobilen Devices gescannt, sucht die Anwendung nach

Features (Bildpunkten) aus dem festgelegten Marker.

Eine Übereinstimmung löst das Erscheinen der digitalen

Inhalte aus. Marker müssen nicht immer planar,

sondern können auch dreidimensional sein.

58 Glossary

Mixed Reality (MR)

According to Milgram and Kishino’s reality-virtuality

continuum (1994), mixed reality encompasses all experiences

from augmented reality to augmented virtuality

in which the analog and virtual (computer-simulated)

worlds are mixed. Nowadays the focus increasingly

falls on intuitive interaction with digital elements. Since

this works particularly well with free hands, mixed

reality is especially associated with transparent headmounted

displays (HMDs) such as the Nreal or the HoloLens

2.

Unity

Runtime and development environment that is mostly

used for game programming. However, it is also suitable

for the development of extended reality applications,

because these use many basic game concepts (displaying

objects, influencing them through scripts, etc.).

Virtual Reality (VR)

Users are immersed in a completely virtual (computer-simulated)

environment via a closed head-mounted

display (HMD) and are no longer aware of what is

happening in the physical environment around them.

Nach dem Reality-Virtuality-Continuum von Milgram

und Kishino (1994) umfasst Mixed Reality alle

Erfahrungen von Augmented Reality bis Augmented

Virtuality, in denen die analoge und die virtuelle

(computersimulierte) Welt vermischt werden. Inzwischen

liegt der Fokus dabei zunehmend auf die intuitive

Interaktion mit digitalen Elementen. Da das mit

freien Händen besonders gut funktioniert, verbindet

man Mixed Reality besonders mit transparenten

Head Mounted Displays (HMDs) wie der Nreal oder

der HoloLens 2.

Laufzeit- und Entwicklungsumgebung, die zumeist für

die Spieleprogrammierung genutzt wird. Sie eignet

sich jedoch auch für das Development von Extended-

Reality-Anwendungen, da diese viele der grundlegenden

Spielekonzepte nutzen (Anzeige von Objekten, Beeinflussung

dieser durch Skripte etc.).

Nutzer*innen tauchen über ein abgeschlossenes Head

Mounted Display (HMD) in eine vollständig virtuelle

(computersimulierte) Umgebung ein und nehmen

nicht mehr wahr, was sich in der sie umgebenden physischen

Umgebung ereignet.

Glossary

59

CONTRIBUTORS

Laura Amaro

Laura Amaro studies environmental computing and supports

XR_Unites in development and digital media production.

She is interested in the interplay between people, environment,

and technology – her personal challenge is to bring

them together in augmented and virtual reality.

Laura Amaro ist Studentin der Umweltinformatik und

unterstützt XR_Unites in der Entwicklung und digitaler

Medienproduktion. Sie ist am Zusammenspiel von Mensch,

Umwelt und Technologie interessiert – ihre persönliche Herausforderung

liegt darin, sie in Augmented und Virtual

Reality zusammenzubringen.

Banz & Bowinkel

The artistic duo Banz & Bowinkel are interested in the computer

as an everyday device and its influence on human culture.

Their focus is on the perception of the world, which

people understand as reality and can be simulated with computers.

In their work, Giulia Bowinkel and Friedmann Banz

question the concept of simulated reality and thereby human

perception of the world in virtual space.

Das Künstlerduo Banz & Bowinkel interessiert sich für

den Computer als Alltagsgerät und dessen Einfluss auf die

menschliche Kultur. Der Fokus liegt dabei auf der Wahrnehmung

der Welt, die von den Menschen als Realität verstanden

und mithilfe von Computern simuliert wird. Giulia

Bowinkel und Friedemann Banz hinterfragen das Konzept

der simulierten Realität und damit die menschliche Wahrnehmung

der Welt im virtuellen Raum.

Mark Barden

Mark Barden, born in Cleveland, Ohio in the USA, lives in

Berlin and composes concert music as well as sound installations

with and without live musicians. He studied composition

in Berlin and Freiburg and earned his doctorate at Goldsmiths

College in London. Since the winter semester 2020/21,

he has held a professorship in composition at the Detmold

University of Music.

Mark Barden, geboren in Cleveland/Ohio in den USA, lebt in

Berlin und komponiert Konzertmusik sowie Klanginstallationen

mit und ohne Live-Musiker*innen. Er studierte Komposition

in Berlin und Freiburg und promovierte in diesem

Fach am Goldsmiths College in London. Seit dem Wintersemester

2020/21 hat er eine Professur für Komposition an

der Musikhochschule Detmold inne.

Leonid Barsht

Leonid Barsht is a digital media scientist. He teaches augmented

reality application development at the AURORA

School for ARtists and in seminars at the HTW Berlin and

the Bielefeld FH, and he develops applications at AURORA

together with art and culture professionals. He is particularly

interested in the persistence of augmented reality content in

the real world and real-time collaboration using various extended

reality devices.

Leonid Barsht ist Medieninformatiker. Bei der AURORA

School for ARtists, in Seminaren der HTW Berlin wie auch

der FH Bielefeld lehrt er das Development von Augmented-

Reality-Anwendungen und entwickelt diese bei AURORA zusammen

mit den Kunst- und Kulturschaffenden. Besonders

interessiert er sich für die Persistenz von Augmented-Reality-Inhalten

in der realen Welt und die Kollaboration mithilfe

verschiedener Extended-Reality-Geräte in Echtzeit.

Julian Bonequi

Julian Bonequi, born in Mexico, is a hybrid artist and transmedia

producer who works with sound immersion and mixed

reality. As the founder of Audition Records he worked as a

guest curator with Salon Bruit Berlin, Akouphène Festival of

Geneva, Ex Teresa Arte Actual Museum, and CCDRadio at

Julian Bonequi, geboren in Mexiko, ist ein Hybridkünstler

und Transmedia Producer, der mit Klangimmersion und

Mixed Reality arbeitet. Der Gründer von Audition Records

hat als Gastkurator mit Salon Bruit Berlin, Akouphène Festival

of Geneva, Ex Teresa Arte Actual Museum und CCDRa-

60 Contributors

the Centre for Digital Culture in Mexico. He teaches in Mexico

City, Barcelona, and Valencia, among other places.

dio am Zentrum für Digitalkultur in Mexiko zusammengearbeitet.

Er lehrt unter anderem in Mexico City, Barcelona

und Valencia.

Andrey Borisov

Andrey Borisov is a master’s student of applied computer

science at the HTW Berlin. He has been part of INKA project

APOLLO since 2018. Both in his studies and his research

he engages with the development of extended reality applications

that allow him to combine the real with non-real

elements, thus providing a completely different view of the

world.

Andrey Borisov ist Masterstudent der Angewandten Informatik

an der HTW Berlin und seit 2018 Teil des INKA-

Projekts APOLLO. Sowohl im Studium als auch in seiner

Forschung beschäftigt er sich mit der Entwicklung von Extended-Reality-Anwendungen,

die ihm erlauben, das Reale

mit nicht realen Elementen zu kombinieren und dadurch

eine ganz andere Sicht auf die Welt zu ermöglichen.

Thaji Dias

Thaji Dias, dancer, is youngest of three granddaughters of

Gurus Chitrasena and Vajira and trained at her grandparent’s

pioneering school of dance since the age of four. Currently,

she is the third-generation principal dancer of the Chitrasena

Dance Company following in the footsteps of her grandmother

and aunt Upeka. At the age of 12 she had the opportunity

to perform along with Upeka at the prestigious Theatre Du

Soleil, Paris as a guest of Ariane Mounchkine and has since

toured as a soloist to the Far East, Europe, America, Australia,

and notably with the Nrityagram Dance Ensemble of India.

She is actively engaged in teaching a variety of classes,

focusing on training younger dancers at the Chitrasena Kalayathanaya

(Dance School).

Thaji Dias, Tänzerin, ist die jüngste von drei Enkelinnen der

Gurus Chitrasena und Vajira und wurde seit ihrem vierten

Lebensjahr in der Tanzschule ihrer Großeltern ausgebildet.

Zurzeit ist sie die dritte Generation von Tänzern der Chitrasena

Dance Company und tritt in die Fußstapfen ihrer

Großmutter und Tante Upeka. Mit 12 Jahren hatte sie die

Gelegenheit, zusammen mit Upeka im renommierten Theatre

Du Soleil in Paris als Gast von Ariane Mounchkine aufzutreten.

Seitdem ist sie als Solistin in den Fernen Osten, nach

Europa, Amerika, Australien gereist, insbesondere mit dem

Nrityagram Dance Ensemble aus Indien. Sie unterrichtet

aktiv eine Vielzahl von Klassen, wobei sie sich auf die Ausbildung

junger Tänzer*innen an der Chitrasena Kalayathanaya

(Tanzschule) konzentriert.

Michael Droste

Michael Droste studied computer science at the HTW Berlin.

He first encountered immersive technologies like virtual

und augmented reality during his ongoing employment as

a research associate at the research group INKA. His work

as a developer focuses on human-computer interaction and

the implementation of interactive applications that are easily

used and understood by users. The field of extended reality

intrigues him because of the immersive experiences and the

effect they have on users.

Michael Droste studierte Informatik an der HTW Berlin und

kam über seine Arbeit als wissenschaftlicher Mitarbeiter

in der Forschungsgruppe INKA erstmals mit den Themen

Virtual und Augmented Reality in Berührung. Er arbeitet

primär als Entwickler und legt seinen Fokus auf intuitive

Nutzerinteraktion und Mensch-Computer-Interaktion. An

Extended Reality interessieren ihn besonders die immersiven

Erfahrungen, die Nutzer in diesen neuen Technologien

machen können und wie Interaktion möglichst niederschwellig

umgesetzt werden kann.

Anne Eiselein

Anne Eiselein coordinates the digital projects at the Konzerthaus

Berlin. Extended reality enables cultural institutions—which

will continue to change with new technological

developments–to narrate and mediate in many new and interesting

ways. Possible uses can be well adapted to different

target groups, and it is exciting which technologies will remain

and which will be added in the future.

Janosch Marian Friedrich

Janosch Marian Friedrich is an integral part of Bitteschön.tv.

As a studio for animation and interaction, it operates at the

intersection of industry and art.

Contributors

Anne Eiselein koordiniert die digitalen Projekte am Konzerthaus

Berlin. Extended Reality ermöglicht viele neue interessante

Erzähl- und Vermittlungsformen für kulturelle

Institutionen, die sich in der Zukunft mit neuen technischen

Entwicklungen auch weiter verändern werden. Die unterschiedlichen

Einsatzmöglichkeiten können gut an verschiedene

Zielgruppen angepasst werden. Es bleibt spannend,

welche digitalen Technologien bleiben und welche neu hinzukommen

werden.

Janosch Marian Friedrich ist ein fester Bestandteil von Bitteschön.tv.

Als Studio für Animation und Interaktion bewegt

dieses sich im Spannungsfeld zwischen Industrie und Kunst.

61

Catherine Heyart

Catherine Heyart is studying applied computer science at

the HTW Berlin and is an intern at the INKA research group.

Before switching to computer science she lived in Tokyo for

eight years, where she studied fashion design and worked as a

designer. She became interested in extended reality through

her fascination with culture, human-centered design, and human-machine

interaction.

Christoph Holtmann

Christoph Holtmann is a research assistant and an experience

and software developer at the HTW Berlin focusing on virtual

and mixed reality, gamification, education, and culture.

He is particularly interested in innovative ideas, concepts,

and technologies. He also teaches and enjoys passing on his

knowledge.

Catherine Heyart ist Studentin der Angewandten Informatik

an der HTW Berlin und als Praktikantin bei der

INKA-Forschungsgruppe tätig. Vor ihrem Einstieg in

die Informatik hat sie acht Jahre in Tokio gelebt, wo

sie Mode studiert und anschließend als Designerin

gearbeitet hat. Ihr Interesse an Extended Reality

wurde geweckt durch ihre Begeisterung für Kultur,

Human-Centered Design und Mensch-Maschine-Interaktion.

Christoph Holtmann ist wissenschaftlicher Mitarbeiter, Experience-

und Softwareentwickler an der HTW Berlin mit

Fokus auf Virtual und Mixed Reality, Gamification, Bildung

und Kultur. Besonders interessieren ihn innovative Ideen,

Konzepten und Technologien. Darüber hinaus unterrichtet

er und gibt sein Wissen gerne weiter.

Christian Kassung

Christian Kassung is a professor of cultural techniques and

history of knowledge as well as a principal investigator at

the Humboldt-Universität zu Berlin’s Cluster of Excellence

»Matters of Activity.« He continuously integrates practical

media elements into his teaching in order to establish links

with historical or theoretical considerations. Extended reality

media technology is particularly exciting for him, because

there is actually no reality that is not mediated by media.

Christian Kassung ist Professor für Kulturtechniken und

Wissensgeschichte sowie Principal Investigator des Exzellenzclusters

»Matters of Activity« an der Humboldt-Universität

zu Berlin. In seine Lehre integriert er kontinuierlich

medienpraktische Elemente, um historische oder theoretische

Überlegungen daran rückzukoppeln. Die Medientechnologie

Extended Reality ist für ihn besonders spannend,

weil es eigentlich keine Realität gibt, die nicht medial vermittelt

ist.

Yoonha Kim

Yoonha Kim is a Korean visual anthropologist. She is interested

in how people imagine the future and take action. From

filmmaking to 3D design workshops, she explores multimodal

forms of ethnographic fieldwork. In her PhD research at

the Humboldt-Universität zu Berlin, she is currently looking

into traditional Korean clothing—the hanbok—as an active

material.

Yoonha Kim ist visuelle Anthropologin aus Korea. Sie interessiert

sich dafür, wie Menschen sich die Zukunft vorstellen

und wie sie handeln. Vom Filmemachen bis zu 3D-

Design-Workshops erforscht sie multimodale Formen der

ethnografischen Feldforschung. In ihrer Dissertation an der

Humboldt-Universität zu Berlin untersucht sie aktuell die

traditionelle koreanische Kleidung – den Hanbok – als aktives

Material.

Elena Kountidou

Elena Kountidou is director of communication and digital

mediation at the Konzerthaus Berlin and has been involved

in the repositioning of the traditional concert hall and its orchestra

since 2011. Many people can take advantage of the

numerous offers in extended reality that the Konzerthaus

Berlin has developed in recent years and thus experience

classical music in a completely different way. Finally, the

Konzerthaus’ offerings help to ensure that not only the large

digital corporations interpret culture in the digital space.

Elena Kountidou ist Direktorin für Kommunikation und digitale

Vermittlung des Konzerthaus Berlin und begleitet seit

2011 die Neupositionierung des Traditionshauses und seines

Orchesters. Die zahlreichen Angebote in Extended Reality,

die das Konzerthaus Berlin in den letzten Jahren entwickelt

hat, können viele Menschen nutzen und klassische Musik so

ganz anders erfahren. Und letztendlich tragen eigene Angebote

dazu bei, dass den großen Digitalkonzernen nicht die

Deutungshoheit über Kultur im digitalen Raum überlassen

wird.

Olga Bedia Lang

Urbanity and contemporary history are frequently recurring

themes in Olga Bedia Lang’s texts. She is interested in ex-

Stadtkörper und Zeitgeschichte sind häufig wiederkehrende

Themen in den Texten von Olga Bedia Lang. Sie interessiert

62

Contributors

ploring the potential of technologies such as augmented reality

for literary storytelling and the synergies that can arise

through interdisciplinary work with other artists and computer

scientists.

sich für das Erforschen der Potenziale von Technologien wie

Augmented Reality für das literarische Erzählen und die Synergien,

die durch interdisziplinäres Arbeiten mit anderen

Künstler*innen und Informatiker*innen entstehen können.

Julia Laube

Julia Laube studied costume design and stage design at the

Berlin University of the Arts, scenography at the weißensee

school of art and design, and media art at the Karlsruhe University

of Arts and Design. Since graduating in 2016, she has

worked on various film and theater projects in addition to her

own performances and theater works. She lives and works in

her hometown of Berlin.

Julia Laube studierte Kostümbild und Bühnenbild an der

Universität der Künste Berlin, Szenografie an der weißensee

kunsthochschule berlin sowie Medienkunst an der Hochschule

für Gestaltung Karlsruhe. Seit ihrem Diplom im Jahr

2016 hat sie neben eigenen Performances und Theaterarbeiten

an verschiedenen Film- und Theaterprojekten mitgewirkt.

Sie lebt und arbeitet in ihrer Heimatstadt Berlin.

Maxime Le Calvé

Maxime Le Calvé is an anthropologist and a curator. He is

currently employed as a research associate at the Cluster of

Excellence »Matters of Activity« at the Humboldt-Universität

zu Berlin. In his current projects, he is exploring haptic

creativity in both image-guided neurosurgery and virtual reality

experience design. He holds a PhD in social anthropology

and theater studies and teaches at the HU Berlin and the University

of Buenos Aires.

Maxime Le Calvé ist Anthropologe und Kurator. Derzeit ist

er als wissenschaftlicher Mitarbeiter am Exzellenzcluster

»Matters of Activity« an der Humboldt-Universität zu Berlin

tätig. In seinen aktuellen Projekten erforscht er die haptische

Kreativität in der bildgesteuerten Neurochirurgie und

im Design von Virtual-Reality-Erfahrungen. Promoviert in

Sozialanthropologie und Theaterwissenschaft, lehrt er an

der HU Berlin und der Universität Buenos Aires.

Julien Letellier

Julien Letellier studied applied computer science at the HTW

Berlin. There he joined the INKA research group to develop

interactive systems for cultural institutions and industrial

partners. He also works as a lecturer for multimedia/interactive

systems. As a member of the Cluster of Excellence »Matters

of Activity«, he is researching approaches for collaboration

in augmented reality environments.

Julien Letellier studierte Angewandte Informatik an der

HTW Berlin. Dort arbeitete er innerhalb der Forschungsgruppe

INKA an der Entwicklung von interaktiven Systemen

für kulturelle Einrichtungen und industrielle Partner.

Er ist zudem als Lehrbeauftragter für Multimedia/Interaktive

Systeme tätig. Als Mitglied vom Exzellenzcluster »Matters

of Activity« erforscht er Ansätze zur Kollaboration in

Augmented-Reality-Umgebungen.

Ekaterina Losik

Ekaterina Losik is a student of applied computer science at

the HTW Berlin and supports XR_Unites in development

and digital media production. Her areas of interest include

both app and prototype development as well as the production

of digital media.

Ekaterina Losik ist Studentin der Angewandten Informatik

an der HTW Berlin und unterstützt XR_Unites in der Entwicklung

und digitalen Medienproduktion. Ihre Interessengebiete

umfassen sowohl die App- und Prototypenentwicklung

als auch die Erstellung digitaler Medien.

Andrea Lumini and Federico Cioli

Andrea Lumini and Federico Cioli are PhD students from the

University of Florence’s School of Architecture. Their doctoral

research deals with the survey and representation of architecture

and landscapes. Federico has participated at several

national and international research initiatives on digital

survey and cultural heritage. Andreas’ expertise is in Structure

from Motion (SfM) and photogrammetry. Together they

are currently working on digitizing the Teatro del Maggio in

Florence as part of the AURA project.

Andrea Lumini und Federico Cioli sind Doktoranden der

Universität Florenz im Fachgebiet Architektur. Beide promovieren

im Bereich digitaler Repräsentation von Architektur

und Landschaften. Federico war an verschiedenen

nationalen und internationalen Forschungsaktivitäten zur

Digitalisierung von Kulturstätten beteiligt. Andreas Expertise

liegt in Structure from Motion (SfM) und Photogrammetrie.

Gemeinsam arbeiten sie momentan im Projekt AURA

an der Digitalisierung des Teatro del Maggio in Florenz.

Contributors

63

Sarah Müller

Sarah Müller is a communication designer from Berlin who

does freelance work in the fields of editorial design and branding.

She has been using augmented reality since 2019 to

connect analog and digital elements in interactive projects.

Sarah Müller ist Kommunikationsdesignerin aus Berlin und

arbeitet freiberuflich in den Bereichen Editorial Design und

Branding. Seit 2019 nutzt sie Augmented Reality, um analoge

und digitale Elemente in interaktiven Projekten zu verbinden.

Léa Perraudin

Léa Perraudin is a media theorist and works as postdoctoral

research associate at the Cluster of Excellence »Matters

of Activity « at the Humboldt-Universität zu Berlin. In her

habilitation, she brings forward a media theory of phase

transitions by investigating the ties of material and metaphor

through transience, dispersal, abundance and solidification

in contemporary technocapitalist media cultures. The field of

extended reality intrigues her primarily as per its premises of

materiality and (in-)visibility.

Léa Perraudin ist Medientheoretikerin und arbeitet als Postdoktorandin

am Exzellenzcluster »Matters of Activity« an

der Humboldt-Universität zu Berlin. In ihrer Habilitation

legt sie eine Medientheorie der Phasenübergänge vor, indem

sie die materiellen und metaphorischen Verbindungen

des Flüchtigwerdens, der Zerstreuung, der Überfülle und

Konsolidierung in zeitgenössischen technokapitalistischen

Medienkulturen untersucht. Das Feld Extended Reality fasziniert

sie insbesondere in seinen Prämissen zu Materialität

und (Un-)Sichtbarkeit.

Theresa Reiwer

Theresa Reiwer is a media artist and stage and costume designer.

For her artwork, she combines augmented and virtual

reality with physically accessible spaces. In her narratives,

she references pop cultural as well as neoliberal phenomena.

For her narrative space installation »Slow Rooms« she

received the 2019 Mart Stam Prize and the »Elsa Neumann«

Berlin Young Talent Scholarship. She developed the integrated

augmented reality component »TOVIAS« as part of the

AURORA production laboratory.

Theresa Reiwer ist Medienkünstlerin, Bühnen- und Kostümbildnerin.

Für ihre Arbeiten kombiniert sie Augmented und

Virtual Reality mit physisch betretbaren Räumen und verweist

in ihren Erzählungen auf popkulturelle sowie neoliberale

Phänomene. Ihre narrative Rauminstallation »Slow

Rooms« brachte ihr den Mart Stam Preis 2019 und das Berliner

Nachwuchsförderstipendium »Elsa Neumann« ein.

Die integrierte Augmented-Reality-Komponente »TOVIAS«

entwickelte sie im Rahmen des AURORA-Produktionslabors.

Isabel Robson

Isabel Robson is scenographer and filmmaker with a focus

on video design for theatre. She is a member of werkgruppe2

whose recent hybrid documentary films received acclaim at

DOK Festival Leipzig and Filmfest Dresden. Researching the

possibilities of mixed reality is an extension of her work integrating

projected moving images within performance space

and installation.

Isabel Robson ist Szenografin und Filmemacherin mit dem

Schwerpunkt Videodesign für Theater. Sie ist Mitglied der

werkgruppe2, deren hybride Dokumentarfilme auf dem

DOK Festival Leipzig und dem Filmfest Dresden vor Kurzem

ausgezeichnet wurden. Die Erforschung der Möglichkeiten

von Mixed Reality ist eine Erweiterung ihrer Arbeit, in der

sie projizierte Bewegtbilder in Performance-Räume und Installationen

integriert.

Peter Sandhaus

The former architect Peter Sandhaus has been working

as a visual artist in Berlin since the 1990s. In addition

to his computer-generated visual worlds, he engages

primarily with public art. With the increasing

availability of augmented reality and the new possibilities

of participation, he hopes that additional levels of meaning

and significance will evolve in the arts.

Der frühere Architekt Peter Sandhaus arbeitet seit den

1990er-Jahren als bildender Künstler in Berlin. Neben seinen

computergenerierten Bildwelten befasst er sich vor

allem mit Kunst im öffentlichen Raum. Mit der zunehmenden

Verfügbarkeit von Augmented Reality und den neuen

Möglichkeiten der Partizipation erhofft er sich zusätzliche

Ebenen der Bedeutung und der Sinnstiftung für die Künste.

Christina Sarli

Greek-born, Berlin-based visual artist, Christina Sarli has

been honing her multidisciplinary skills in analog and digital

art for the past several years. Trained as a painter and sculptor,

Christina blends her traditional artistic approach with

Die in Griechenland geborene Künstlerin Christina Sarli lebt

und arbeitet in Berlin. Ausgebildet als Malerin und Bildhauerin,

vermischt Christina ihren traditionellen künstlerischen

Ansatz mit digitalen Medien wie Animation, Film und Ex-

64 Contributors

digital media such as animation, film, and extended reality to

explore the boundaries of contemporary narratives.

tended Reality, um die Grenzen zeitgenössischer Narrative

auszuloten.

Sophie Schauer

Sophie Schauer is a master’s student studying applied computer

science at the HTW Berlin. She has been part of the

INKA research group since June 2020 and is currently coordinating

the AURA project, which implements auralization

solutions of cultural heritage sites. She is especially interested

in the development of augmented and virtual reality systems

as well as the design and implementation of games.

Sophie Schauer ist Masterstudentin der Angewandten

Informatik an der HTW Berlin. Seit Juni 2020 ist sie Teil

der Forschungsgruppe INKA und koordiniert das Projekt

AURA, welches sich mit der Auralisierung von Kulturstätten

beschäftigt. Sie ist besonders an der Implementierung

von Augmented- und Virtual-RealitySystemen sowie an der

Spieleentwicklung interessiert.

Anke Schiemann

Anke Schiemann is a media artist and filmmaker based in Berlin.

She explores new ways of narrative and shapes them into

immersive, often surreal installations—she likes augmented

and virtual reality, because their grammar is not established

yet and much scope for experimentation can be found.

Anke Schiemann ist Medienkünstlerin und Filmemacherin

aus Berlin. Sie erforscht neue Wege des Erzählens, um sie

zu immersiven, oft surrealen Installationen zu formen. Augmented

und Virtual Reality reizen sie, weil ihre Grammatik

noch nicht etabliert und viel Raum für Experimente ist.

Dagmar Schürrer

Media artist Dagmar Schürrer focuses on the threshold where

the digital and the analog as well as the abstract and the

figurative collide. In her complex video-sound montages and

augmented reality applications, she reflects on themes related

to our increasing commitment to digital technologies and

their societal as well as individual implications.

André Selmanagić

André Selmanagić studied computer science and media at

the HTW Berlin, where he has been working as a research

assistant in the research groups Creative Media and INKA

since 2012. Since 2018 he has been one of the coordinators of

the AURORA School for ARtists, where he teaches augmented

reality to arts and culture professionals. He also supports

them in developing their own creative applications. He finds

it particularly exciting that extended reality applications require

entirely new input/output modalities and thus novel

approaches interaction design.

Der Fokus der Medienkünstlerin Dagmar Schürrer liegt auf

der Schwelle, an der sowohl das Digitale und das Analoge

als auch das Abstrakte und das Figürliche aufeinandertreffen.

In ihren komplexen Video-Sound-Montagen und

Augmented-Reality-Anwendungen reflektiert sie Themen

im Zusammenhang mit unserer zunehmenden Bindung an

digitale Technologien und deren gesellschaftlichen sowie individuellen

Auswirkungen.

André Selmanagić studierte internationale Medieninformatik

an der HTW Berlin, wo er seit 2012 wissenschaftlicher

Mitarbeiter in den Forschungsgruppen Creative Media und

INKA tätig ist. Seit 2018 ist er einer der Koordinatoren der

AURORA School for ARtists, schult dort Kunst- und Kulturschaffende

in Augmented Reality und unterstützt sie bei der

Umsetzung kreativer Applikationen. Besonders spannend

findet er, dass Extended-Reality-Technologien gänzlich

neue Eingabe-/Ausgabemodalitäten sowie Interaktionskonzepte

erfordern.

Carlos A. Serrano

Carlos A. Serrano is a media designer, artist, and developer

based in Berlin. His research and work focus on how the physical

and mathematical laws of the real world can be recreated

in algorithms and simulated virtual representations. He

predominantly works with real-time engines and experiences

and uses techniques such as photogrammetry, 3D scanning,

and volumetric videos.

Carlos A. Serrano ist Mediendesigner, Künstler und Developer

in Berlin. Seine Arbeiten sind von der Frage geleitet,

wie die reale Welt, ihre physikalischen und mathematischen

Gesetze in Algorithmen und in eine virtuelle Repräsentation

übertragen werden können. Dafür arbeitet er hauptsächlich

mit Real-time-Engines and -Experiences und verwendet

Techniken wie Photogrammetrie, 3D-Scanning und volumetrische

Videos.

Contributors

65

Jürgen Sieck

Jürgen Sieck is a professor of computer science specialized in

algorithms and mobile applications at the HTW Berlin and

head of the research group INKA (Information and Communication

Applications). He is also a professor of computer

science at the Namibia University of Science and Technology

in Windhoek and a principal investigator at the Humboldt-

Universität zu Berlin’s Cluster of Excellence »Matters of Activity«.

He researches augmented and virtual reality, primarily

in a cultural context.

Jürgen Sieck ist Professor für Informatik mit den Schwerpunkten

Algorithmen und mobile Anwendungen an der HTW

Berlin und Leiter der Forschungsgruppe INKA (»Informations-

und Kommunikationsanwendungen«). Außerdem ist er

Professor für Informatik an der Namibia University of Science

and Technology in Windhoek und Principal Investigator

am Exzellenzcluster »Matters of Activity« der Humboldt-

Universität zu Berlin. Er forscht zu Augmented und Virtual

Reality, vorrangig im kulturellen Kontext.

Ariane Stamatescu

Ariane Stamatescu is a freelance stage and costume designer

from Berlin. In addition to analog spaces, she is interested in

the possibilities and limits of digital worlds and the intertwining

of realities.

Ariane Stamatescu ist freischaffende Bühnen-und Kostümbildnerin

aus Berlin. Neben analogen Räumen interessieren

sie die Möglichkeiten und Grenzen digitaler Welten und das

Ineinandergreifen von Realitäten.

Maja Stark

Maja Stark studied art history, French, and Italian at the Freie

Universität Berlin and the Université Paris-Sorbonne (Paris

IV). She has been coordinating the HTW Berlin’s INKA projects

AURORA School for ARtists since 2018 and XR_Unites

since 2020. She is convinced that artists should deal with extended

realities in order to reflect them in the appropriate

medium—and what would a virtual world be without art?

Mareike Stoll

Mareike Stoll is a literary scholar and interested in

constellations of images. As research associate for

design at the weißensee school of art and design and at the Cluster

of Excellence »Matters of Activity«, she is particularly dedicated

to questions of (textile) design and modes of knowing

in an interdisciplinary context. She holds a PhD from Princeton

University for her work on the Weimar period photobook

(2015). With regard to extended realities, she is still at the very

beginning of a scholarly reflection and her approach oscillates

between pessimism and awe, but finds this attitude extremely

productive.

Maja Stark studierte Kunstgeschichte, Französisch

und Italienisch an der Freien Universität Berlin und

der Université Paris-Sorbonne (Paris IV). Seit 2018

koordiniert sie an der HTW Berlin das INKA-Projekt

AURORA School for ARtists und seit 2020 auch

XR_Unites. Sie ist überzeugt davon, dass sich

Künstler*innen mit erweiterten Realitäten befassen sollten,

um diese im passenden Medium zu reflektieren – und was

wäre eine virtuelle Welt ohne Kunst?

Mareike Stoll ist Literatur- und Bildwissenschaftlerin. Als

wissenschaftliche Referentin für Gestaltung an der weißensee

kunsthochschule berlin und am Exzellenzcluster

»Matters of Activity« widmet sie sich insbesondere Fragen

(textiler) Gestaltung und Formen des Wissens im interdisziplinären

Kontext. Sie wurde 2015 an der Princeton

University zum Photobuch der Weimarer Republik promoviert.

In Bezug auf erweiterte Realitäten steht sie noch

ganz am Anfang eines wissenschaftlichen Nachdenkens

und schwankt zwischen Pessimismus und Faszination, findet

diese Haltung aber äußerst produktiv.

Elisabeth Thielen

Elisabeth Thielen studied applied computer science at the

HTW Berlin and has been working in the INKA research

group since 2016. She coordinates the group’s APOLLO project,

which conducts research on music and cultural mediation

in extended reality. She is particularly interested in UI/

UX, as well as new forms of interaction with media in extended

reality.

Elisabeth Thielen hat Angewandte Informatik an der HTW

Berlin studiert und arbeitet seit 2016 in der Forschungsgruppe

INKA. Dort koordiniert sie das Projekt APOLLO, in

dem zu Musik- und Kulturvermittlung in Extended Reality

geforscht wird. Besonders interessiert ist sie an UI/UX sowie

an neuen Interaktionsformen mit Medien in Extended

Reality.

Mareike Trillhaas

Mareike Trillhaas is a sound designer for theatre, installations,

film, and radio plays. She likes to intervene as subtly as

Mareike Trillhaas ist Sounddesignerin für Theater, Installationen,

Film und Hörspiel. Sie greift dabei gerne mög-

66 Contributors

possible in the laws of physics, and this makes augmented

reality a rewarding field of experimentation for her: here she

can create sound spaces that retain a reference to familiar environments

but obey their very own acoustic rules.

lichst subtil in physikalische Gesetzmäßigkeiten ein, und

das macht Augmented Reality für sie zu einem dankbaren

Experimentierfeld: Hier kann sie Klangräume schaffen, die

den Bezug zu bekannten Umgebungen behalten, aber ganz

eigenen akustischen Regeln gehorchen.

Susanne Vincenz

Susanne Vincenz is a dance dramaturge. Her expertise includes

curatorial and dramaturgical work with a diverse range

of artists, especially in the field of dance. Her work focuses on

intercultural projects on architecture, urban space, and social

action. Since 2016 she has been a visiting professor at the

Inter-University Centre for Dance Berlin.

Susanne Vincenz ist Tanzdramaturgin – ihre Expertise erstreckt

sich auf kuratorische und dramaturgische Arbeiten

mit diversen Künstler*innen, besonders im Bereich Tanz.

Schwerpunkte ihrer Arbeit sind interkulturelle Projekte zu

Architektur, Stadtraum und sozialem Handeln. Seit 2016 ist

Susanne Vincenz Gastprofessorin am Hochschulübergreifenden

Zentrum Tanz Berlin.

Heshma Wignaraja

Heshma Wignaraja, choreographer, was born into a family

of pioneering dancers and grew up training at her grandparent’s

school of traditional dance. She later obtained a degree

in Dramatic Arts in Dance from UC Berkeley, USA. Following

her grandparents in 2005, she took over as the third generation

Artistic Director of the Chitrasena Dance Company,

Colombo. Currently Heshma also manages the Chitrasena

Kalayathanaya (Dance School) and designs its training programs

and activities. Her productions have toured in the

USA, Australia, Singapore and India.

Heshma Wignaraja, Choreografin, wurde in eine Familie

von Tanzpionier*innen geboren und wuchs in der Schule für

traditionellen Tanz ihrer Großeltern auf. Später erwarb sie

einen Abschluss in Dramatischer Kunst in Tanz an der UC

Berkeley, USA. 2005 übernahm sie von den Großeltern in

dritter Generation die künstlerische Leitung der Chitrasena

Dance Company in Colombo. Derzeit leitet Heshma auch die

Chitrasena Kalayathanaya (Tanzschule) und entwirft deren

Ausbildungsprogramme und Aktivitäten. Ihre Produktionen

waren auf Tournee in den USA, Australien, Singapur und

Indien.

Juliane Wünsche

Juliane Wünsche is a journalist and author. During her training

as an editor and her studies as a graduate translator for

English and Czech, she wrote reports, profiles, and features

about the economic and social upheavals in the Oberlausitz

after reunification for the local editorial offices of the Sächsische

Zeitung in Löbau and Zittau. Since 2003, Juliane Wünsche

has lived in Berlin. »Nationalbefreite Zone« is her debut

novel.

Juliane Wünsche ist Journalistin und Autorin. Während

ihrer Ausbildung zur Redakteurin und ihres Studiums zur

Diplomübersetzerin für Englisch und Tschechisch schrieb sie

für die Lokalredaktionen der Sächsischen Zeitung in Löbau

und Zittau Reportagen, Porträts und Features über die wirtschaftlichen

und gesellschaftlichen Umbrüche in der Oberlausitz

nach der Wende. Seit 2003 lebt Juliane Wünsche in

Berlin. »Nationalbefreite Zone« ist ihr Debütroman.

Dionysios Zamplaras

Dionysios Zamplaras studied photography, digital art, and

virtual reality. He is a PhD candidate in the INREV laboratory

at the University of Paris VIII Vincennes-Saint-Denis

as well as an associate researcher in the Spatial Média group

of the EnsadLab research laboratory at the École Nationale

Supérieure des Arts Décoratifs. In recent years, he has been

interested in designing and developing real-time interactive

installations and untertaken various artistic explorations that

question the border between the virtual and the real world,

with a focus on interfaces for multisensory experiences.

Dionysios Zamplaras studierte Fotografie, digitale Kunst

und Virtual Reality und ist Doktorand im INREV-Labor der

Universität Paris VIII. Außerdem ist er assoziierter Forscher

der Gruppe Spatial Média des EnsadLab-Forschungslabors

an der École Nationale Supérieure des Arts Décoratifs. Seit

einigen Jahren interessiert er sich für die Gestaltung und

Entwicklung interaktiver Echtzeit-Installationen sowie für

verschiedene künstlerische Aktionen, welche die Grenzen

zwischen der virtuellen und der realen Welt hinterfragen,

wobei sein Schwerpunkt auf Schnittstellen für multisensorische

Erfahrungen liegt.

Contributors

67

ACKNOWLEDGEMENTS

Our sincere gratitude to all the contributors: the art

and culture professionals, the researchers, the developers,

the student assistants, Petra Frank and Jacqueline

Franke (HU Berlin), our translator and proofreader

Ingrid Lezar, and, last but not least, the professors

Christian Kassung (HU Berlin) and Jürgen Sieck

(HTW Berlin) for their great work behind the scenes.

The Media Theater was the discovery of the year 2021

for the XR_Unites project—thanks so much that we

could use it for the »Transient Exposure« rehearsals

and presentation during the exhibition.

The exhibits, texts, and support from personnel of

the Cluster of Excellence »Matters of Activity. Image

Space Material« are made possible thanks to funding

from the German Research Foundation (DFG) within

the framework of the Excellence Strategy of the Federal

Government and the Federal States–EXC 2025–

390648296.

The APOLLO project’s contributions would not have

been possible without funding from the European Regional

Development Fund (ERDF) and kind support

from the Berlin Senate Administration for Education,

Science, and Research.

The projects AURORA and XR_Unites are funded by

the European Regional Development Fund’s (ERDF)

special program »Strengthening the Potential for Innovation

in Culture II« (INP-II) with kind support

from the Berlin Senate Administration for Culture

and Europe—our special thanks go to the ERDF for

the main financing of both the exhibition and the publication

as cultural highlights at the end of the AU-

RORA project.

AURA is generously co-funded by the Creative Europe

Program of the European Union.

Maxime Le Calvé and Mareike Stoll from the Cluster

of Excellence »Matters of Activity« would like to

Allen Beitragenden möchten wir herzlich danken:

den Kunst- und Kulturschaffenden, Wissenschaftler*innen,

studentischen Mitarbeiter*innen, Petra

Frank und Jacqueline Franke (HU Berlin), unserer

Übersetzerin und Lektorin Ingrid Lezar und, nicht

zuletzt, den Professoren Christian Kassung (HU Berlin)

und Jürgen Sieck (HTW Berlin) für ihren großartigen

Einsatz hinter den Kulissen.

Das Medientheater war die Entdeckung des Jahres

2021 für das Projekt XR_Unites – herzlichen Dank,

dass wir es für die Proben und die Präsentation von

»Transient Exposure« nutzen durften.

Die Exponate, Texte und die personelle Unterstützung

des Exzellenzclusters »Matters of Activity.

Image Space Material« wurden ermöglicht dank

der Förderung durch die Deutsche Forschungsgesellschaft

(DFG) im Rahmen der Exzellenzstrategie des

Bundes und der Länder – EXC 2025 – 390648296.

Die Beiträge des APOLLO-Projekts wären ohne die

Finanzierung durch den Europäischen Fonds für

regionale Entwicklung (EFRE) und die freundliche

Unterstützung durch die Berliner Senatsverwaltung

für Bildung, Wissenschaft und Forschung nicht möglich

gewesen.

Die Projekte AURORA und XR_Unites werden aus

Mitteln des Europäischen Fonds für Regionale Entwicklung

(EFRE) im Rahmen des Sonderprogramms

»Stärkung des Innovationspotenzials in der Kultur

II« (INP-II) mit freundlicher Unterstützung der Senatsverwaltung

für Kultur und Europa gefördert –

unser besonderer Dank gilt dem EFRE für die Übernahme

des Großteils der Finanzierung sowohl der

Ausstellung als auch der Publikation als kulturelle

Highlights zum Abschluss des Projekts AURORA.

AURA wird großzügig kofinanziert durch das Programm

»Creative Europe« der Europäischen Union.

68 Acknowledgements

thank Anne Delle for her stellar help with the translation,

and Dr. Katrin Stoll and Stephan Stoll for their

proof-reading.

»Social Capsule« by Theresa Reiwer was created with

kind support from Fonds Darstellende Künste/Neustart

Kultur, dezentrale Kulturarbeit Reinickendorf,

Holzmarkt 25 Stiftung, Hans and Charlotte Krull Stiftung,

and Ballhaus Ost.

Finally, »Transient Exposure« by the artists’ collective

reVerb is also supported by the »national performance

network (npn) – stepping out,« funded by the

Federal Government Commissioner for Culture and

the Media as part of the initiative »Neustart Kultur.

Aid Program Dance.« The artists from reVerb also

thank Umadanthi Dias and the Goethe-Institute Sri

Lanka for their support.

Maxime Le Calvé and Mareike Stoll vom Exzellenzcluster

»Matters of Activity« danken Anne Delle

für ihre großartige Hilfe bei der Übersetzung sowie

Dr. Katrin Stoll und Stephan Stoll für ihre Korrekturen.

»Social Capsule« von Theresa Reiwer entstand mit

freundlicher Unterstützung des Fonds Darstellende

Künste/Neustart Kultur, der dezentralen Kulturarbeit

Reinickendorf, der Holzmarkt 25 Stiftung, der

Hans und Charlotte Krull Stiftung und des Ballhaus

Ost.

Schließlich wird »Transient Exposure« des Künstlerkollektivs

reVerb zusätzlich durch das »nationale

performance netz (npn) – stepping out« unterstützt«,

gefördert von der Beauftragten der Bundesregierung

für Kultur und Medien im Rahmen der Initiative

»Neustart Kultur. Hilfsprogramm Tanz«. Die

Künstlerinnen von reVerb danken außerdem Umadanthi

Dias und dem Goethe Institut Sri Lanka für

ihre Unterstützung.

Acknowledgements

69

The image by Sarah Müller on the next page can be augmented

digitally with the INKA AR app.

The INKA AR app bundles the AR applications that are created in the

AURORA School for ARtists production lab and other INKA projects.

You can download it free of charge from

the App Store or Google Play Store. For full functionality

you should have at least Android 8.0 or iOS 11.0.

Please flatten the page, open the app, and scan the image!

Die Abbildung von Sarah Müller auf der nächsten Seite

lässt sich mit der App INKA AR digital erweitern.

Die App INKA AR bündelt die AR-Anwendungen, die im

AURORA-Produktionslabor und anderen INKA-Projekten entstehen.

Man kann sie kostenfrei im App Store oder Google Play Store

herunterladen. Für die volle Funktionsfähigkeit sollte mindestens

das Betriebssystem Android 8.0 bzw. iOS 11.0 installiert sein.

Bitte Seite glätten, App öffnen und Bild scannen!

70 App INKA AR

70

71

IMPRINT

»Extended Reality – Code and Materiality in

Art and Culture« is published under the creative

commons licence CC BY-NC-ND 4.0.

»Extended Reality – Code und Materialität in

Kunst und Kultur« wird unter der Creative Commons

Lizenz CC BY-NC-ND 4.0 veröffentlicht.

The publication accompanies the interactive

exhibition »Extended Reality – Code and Materiality

in Art and Culture«, Berlin, 3.–30.09.2021,

a cooperation between the Faculty of Humanities

and Social Sciences, the Media Theater, and

the Cluster of Excellence »Matters of Activity«

at the Humboldt-Universität zu Berlin as well as

the INKA research group at the HTW Berlin.

Editors:

Dagmar Schürrer and Maja Stark, HTW Berlin

Translation and proofreading (English):

Ingrid Lezar, Berlin

Editing: Maja Stark, HTW Berlin

Layout: Dagmar Schürrer, HTW Berlin

Print: Pinguin Druck, Berlin

The accompanying augmented reality application

INKA AR was developed by the

INKA research group at the HTW Berlin.

The publication is funded by the European

Regional Development Fund’s (ERDF)

special program »Strengthening the Potential for

Innovation in Culture II« (INP-II) with kind support

from the Berlin Senate Administration for Culture

and Europe.

Die Publikation begleitet die interaktive Ausstellung

»Extended Reality – Code und Materialität in Kunst

und Kultur«, Berlin, 3.–30.09.2021,

eine Kooperation zwischen der Geistes- und Sozialwissenschaftlichen

Fakultät, dem Medientheater

und dem Exzellenzcluster »Matters of Activity«

an der Humboldt-Universität zu Berlin sowie der

INKA-Forschungsgruppe an der HTW Berlin.

Herausgeberinnen:

Dagmar Schürrer und Maja Stark, HTW Berlin

Übersetzung und Lektorat (Englisch):

Ingrid Lezar, Berlin

Redaktion: Maja Stark, HTW Berlin

Layout: Dagmar Schürrer, HTW Berlin

Druck: Pinguin Druck, Berlin

Die begleitende Augmented Reality-Anwendung

INKA AR wurde von der Forschungsgruppe

INKA an der HTW Berlin entwickelt.

Die Publikation wird finanziert aus Mitteln des

Europäischen Fonds für regionale Entwicklung

(EFRE), Sonderprogramm »Stärkung des Innovationspotenzials

in der Kultur II« (INP-II)

mit freundlicher Unterstützung der Berliner

Senatsverwaltung für Kultur und Europa.

ISBN 978-3-00-069901-6

72 I

76 ISBN 978-3-00-069901-6

Extended Reality – Code and Materiality in Art and Culture

Create successful ePaper yourself

Delete template?

Save as template?