27.09.2021 Views

Extended Reality – Code and Materiality in Art and Culture - TECHNICAL INSIGHTS

You also want an ePaper? Increase the reach of your titles

YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.

EXTENDED REALITY

CODE AND MATERIALITY

IN ART AND CULTURE

TECHNICAL

INSIGHTS



CONTENT

INTRODUCTION: TECHNICAL BASICS

02

AURORA

O.B.E. EGO PASSAGES

HEIDENROSE

BOT 03

SEÑOR PULPO

ZITTAU 1999

KARLA

ELEKTRA.APP

NEW YORK, NEW YORK

04

05

05

07

08

08

09

10

APOLLO

KONZERTHAUS PLUS

UMWELTEN

AURA

XR_UNITES

MATTERS OF ACTIVITY. IMAGE SPACE MATERIAL

STRETCHING HANBOK

ACKNOWLEDGEMENTS & IMPRINT

12

13

15

16

18

20


TECHNICAL BASICS

Michael Droste

While the definitions in the catalog’s glossary

(pp. 60–61) give a brief overview into the terms related

to the XR field, the following pages give a deeper

insight into the implementation and technologies

that were used for the applications of the exhibition

»Extended Reality – Code and Materiality in Art and

Culture«.

After a general introduction into used tools and an

insight into the inner workings of augmented reality

and how the technology anchors its digital content in

the analog world, the remaining sections focus on an

in-depth analysis of an implementation detail of selected

exhibits.

Game engines are versatile tools

Most applications were realised using the Unity game

engine. While the exhibits are of course no computer

games, interactive applications, especially augmented

and virtual reality applications, share a majority of

the key properties of common computer games, e.g.

nearly real-time processing of user input and basic

three-dimensional transformations. Using a game engine

allows developers to start with tested and reliable

solutions for common problems and work on specific

tasks for their respective applications.

Many game engines exist, but Unity was chosen because

it additionally offers support for various augmented

and virtual reality frameworks, hardware and

abstract wrappers that enable developers to publish

applications for different devices without changing

their code. E.g. one can publish for both Apple’s AR-

Kit and Google’s ARCore by writing code for ARFoundation,

Unitys framework for shared development.

In focus: How is digital content placed

in augmented reality?

Augmented reality (AR) superimposes digital content

in the analog world. An important criterion is the

coherent placement anchored in the physical world.

Während die Definitionen im Glossar des Katalogs

(S. 60–61) einen groben Überblick über die Begriffe

der XR-Thematik geben, sollen die folgenden Seiten

einen tieferen Einblick in die Implementierung und

Technologien, welche für die Anwendungen der Ausstellung

»Extended Reality – Code und Materialität

in Kunst und Kultur« zum Einsatz kamen.

Nach einer allgemeinen Einführung in die verwendeten

Tools sowie einem Einblick in die Funktionsweise

von Augmented Reality und wie diese Technologie

digitale Inhalte in der analogen Welt verankert, folgt

eine tiefgehende Analyse von Implementationsdetails

ausgewählter Exponate der Ausstellung.

Game Engines sind vielseitige

Werkzeuge

Die meisten Applikationen wurden mit der Game

Engine Unity realisiert. Die Exponate sind natürlich

keine Computerspiele – und doch teilen interaktive

Anwendungen, insbesondere mit Augmented- und

Virtual Reality, einen Großteil der Schlüsseleigenschaften

von Games, etwa die Echtzeitverarbeitung

von Nutzer*innen-Eingaben und grundlegende dreidimensionale

Transformationen. Die Verwendung

einer Game Engine ermöglicht es Entwickler*innen,

mit getesteten und zuverlässigen Lösungen für allgemeine

Probleme zu beginnen und an spezifischen

Aufgaben für ihre jeweiligen Anwendungen zu arbeiten.

Es existieren verschiedene Game Engines, doch es

wurde sich für Unity entschieden, da diese zusätzlich

Unterstützung für verschiedene Augmented- und

Virtual-Reality-Frameworks, Hardware und abstrakte

Wrapper bietet. Letztere ermöglichen es Entwickler*innen,

Anwendung für verschiedene Geräte

zu veröffentlichen, ohne ihren Code zu ändern. So

lässt sich z.B. bei Apples ARKit und Googles ARCore

publizieren, indem man Code für ARFoundation,

Unitys Framework für gemeinsame Entwicklung,

schreibt.

4


Digital content is not just displayed and moves with

the AR device, but is instead behaving like a physical,

three-dimensional object in that it allows users

to move around it and inspect it from different perspectives.

AR is nowadays mostly realized using

smartphones, where users inspect the analog world

through the camera view and digital content is added

on screen in the camera feed. The placement and anchoring

of digital content for AR can be categorized

based on the technical implementation, where typically

marker-based and markerless tracking would be

differentiated.

Marker-based tracking identifies features of predefined

markers in the camera image and calculates a

three-dimensional position based on distortion and

orientation of the identified marker. A marker could

be a poster, photograph or even a 3D object. Markerbased

tracking will fail if the viewing angle is too steep

or if the marker is occluded. Many exhibits that use

marker-based AR utilize the Vuforia framework.

Markerless tracking uses visual information in conjunction

with other sensors like the accelerometer or

gyroscope to build a map of the spatial surroundings

and anchors virtual content in the generated map. To

generate a map, the user needs to move their device

in the real world, as recognizable elements of the surrounding

and how they change in the camera view in

response to the user’s movement are a key information

to calculate distances and depth. Markerless AR

allows persistent placement and therefore enables

users to freely move around the virtual content, as

there is no marker that must remain in the camera

view for the tracking to work. The most common markerless

AR frameworks are the aforementioned ARKit

and ARCore.

Im Fokus: Wie wird in Augmented

Reality digitaler Content platziert?

Augmented Reality (AR) blendet digitale Inhalte in

die analoge Welt ein. Ein wichtiges Kriterium ist die

kohärente, in der realen Welt verankerte Platzierung.

Der digitale Inhalt wird nicht nur angezeigt

und bewegt sich mit dem mobilen Gerät, sondern

verhält sich wie ein physisches Objekt, indem es den

Nutzer*innen erlaubt, sich um ihn herum zu bewegen

und ihn aus verschiedenen Perspektiven zu erkunden.

AR wird heutzutage meist mit Smartphones

realisiert, wobei die Nutzer*innen die analoge Welt

durch die Kameraansicht betrachten und digitalen

Inhalte auf dem Bildschirm in den Kamerafeed eingeblendet

werden. Die Platzierung digitaler Inhalte

für AR kann anhand der technischen Umsetzung kategorisiert

werden, wobei typischerweise zwischen

markerbasiertem und markerlosem Tracking unterschieden

wird.

Beim markerbasierten Tracking werden Features

vordefinierter Marker im Kamerabild identifiziert

und anhand der Verzerrung und Ausrichtung dieses

identifizierten Markers eine dreidimensionale Position

berechnet. Ein Marker kann ein Plakat, ein Foto

oder sogar ein 3D-Objekt sein. Das markerbasierte

Tracking schlägt fehl, wenn der Blickwinkel zu steil

ist oder die Markierung verdeckt wird. Viele Exponate,

die markerbasierte AR verwenden, verwenden

das Vuforia-Framework.

Das markerlose Tracking nutzt visuelle Informationen

in Verbindung mit anderen Sensoren wie dem

Beschleunigungsmesser oder dem Gyroskop, um eine

Karte der räumlichen Umgebung zu erstellen und digitale

Inhalte in der generierten Karte zu verankern.

Um eine Karte zu erstellen, müssen Nutzer*innen

ihr Gerät in der analogen Welt bewegen, denn wiedererkennbare

Elemente der Umgebung und deren

Veränderungen in der Kameraansicht als Reaktion

auf die Bewegung des Benutzers sind Schlüsselinformationen

für die Berechnung von Entfernungen

und Tiefe. Markerlose AR erlaubt eine persistente

Platzierung und ermöglicht es den Nutzer*innen,

sich frei um die digitalen Inhalte zu bewegen, da es

keinen Marker gibt, der in der Kameraansicht verbleiben

muss, damit die Verfolgung funktioniert. Die

gängigsten markerlosen AR-Frameworks sind das

bereits erwähnte ARKit und ARCore.

5


AURORA

School for ARtists of the INKA research group, HTW Berlin

Text: Leonid Barsht and André Selmanagić

O.B.E. Ego Passages

Developer: Leonid Barsht

Artist: Anke Schiemann

The installation »O.B.E. Ego Passages« deals with the

nature of consciousness and is based on the ideas of

contemporary philosopher Thomas Metzinger.

The main feature of this project is the visualization

of pre-recorded volumetric videos in 3D space. As

the name implies, volumetric videos are not 2D, but

contain 3D information in the form of so-called pointclouds.

The volumetric videos depicting dancers have

been recorded using Microsoft’s depth sensor Kinect.

Unity’s visual effect graph has been used in conjunction

with the »Dkvfx« plugin to transform the more

realistic looking volumetric recording into the immaterial,

translucent cloud of pixels that is visible in the

app.

The app also shows a portal that lets the user switch

between the augmented and a completely virtual

›portal world‹. When going through the portal, the

virtual camera’s culling mask—a set of categories for

selecting which scene objects are to be rendered—is

adjusted. When going into the portal world, the skydome

is made visible, while the camera image that is

normally rendered in the background is hidden. The

portal itself allows a glimpse into the other world. For

this effect, it uses a specific texture that is rendered

live. When the user is inside the portal world, this

texture shows the device’s camera image, otherwise it

shows the image of a second camera that films the insides

of the portal world.

O.B.E. Ego Passages

Entwickler: Leonid Barsht

Künstlerin: Anke Schiemann

Die Installation »O.B.E. Ego Passages« beschäftigt

sich mit der Natur des Bewusstseins und basiert auf

den Ideen des zeitgenössischen Philosophen Thomas

Metzinger.

Das Hauptmerkmal dieses Projekts ist die Visualisierung

von voraufgezeichneten volumetrischen Videos

im dreidimensionalen Raum. Wie der Name schon

sagt, sind volumetrische Videos nicht 2D, sondern

enthalten 3D-Informationen in Form von sogenannten

Punktwolken. Die volumetrischen Videos stellen

eine Tänzerin dar und wurden mit Microsofts Tiefensensor

Kinect aufgenommen. Unitys »Visual Effect

Graph« wurde in Verbindung mit dem Plugin

»Dkvfx« verwendet, um die realistischer aussehenden

volumetrischen Aufnahmen in die immaterielle,

durchscheinende Pixelwolke zu verwandeln, die in

der App zu sehen ist.

Die App zeigt auch ein Portal, durch das die Nutzer*Innen

zwischen der augmentierten und einer

vollständig virtuellen ›Portalwelt‹ wechseln können.

Beim Durchschreiten des Portals wird die Culling-

Maske der virtuellen Kamera – eine Auswahl von

Kategorien zur Auswahl der zu rendernden Szenenobjekte

– angepasst. Beim Betreten der Portalwelt

wird der sogenannte Skydome sichtbar gemacht und

dafür das sonst im Hintergrund dargestellte Kamerabild

ausgeblendet. Das Portal selbst ermöglicht einen

Blick in die jeweils andere Welt. Für diesen Effekt

verwendet es eine spezielle Textur, die live gerendert

wird. Wenn sich die Nutzer*innen innerhalb der Portalwelt

befinden, zeigt diese Textur das Kamerabild

des Geräts, ansonsten das Bild einer zweiten Kamera,

die das Innere der Portalwelt filmt.

6


Heidenrose

Developers: Leonid Barsht and Dagmar Schürrer

Artist: Ariane Stamatescu

»Heidenrose« is a two-sided interactive augmented

reality card augmented with 3D models on the front

side and interactive digital collages of texts, images,

and videos on the reverse side.

On the front side, a transition from living to dead flowers

takes place after a touch. To illustrate this status,

the flowers emit a blood effect when clicked. Unity‘s

flexible particle system, which is often used in games

for effects like rain and fire, was used for this. With

the help of specifically created textures, for example

those of blood and bones, the simple standard particles

were adapted as desired.

The interaction is similar for all objects. First, a ray

is cast from the touch position on the screen into the

world using the AR Camera. When a collidable object

is hit by this ray, it is compared to which type of object

it belongs. Depending on the specific type, e.g. 3D

flower or video, the respective behaviour is executed.

Bot 03

Developers: André Selmanagić and Michael Droste

Artists: Banz & Bowinkel

»Bot 03« is part of a series for which an avatar from

a previous Banz & Bowinkel project was revised and

equipped with its own independent behavior.

To give the impression of human-like behaviour, the

bots’ AI is implemented similarly to that of the famous

“The Sims” franchise. Their decisions are driven

by internal needs and environmental factors,

which are used as variables in mathematical formulas.

These formulas constantly calculate the scores of

potential behaviours like »seek company« or »avoid

neighbours«. The behaviour with the highest score

wins, is executed and the (fulfilled) needs are updated

accordingly. This approach is called Utility AI and originates

from the economic field of utility theory.

Visualizing the behaviours required combining the

intentions generated by the Utility AI with Unity’s

animation and physics system. Some behaviours—

e.g. communicative gestures—trigger animations that

were pre-recorded using motion-capturing (e.g. taken

from the online-tool Mixamo), which will play out in

the same manner every time. Others require the bot to

navigate freely in its environment. These behaviours

make use of Unity’s NavMesh algorithm for finding

the shortest path between the bot’s current position

Heidenrose

Entwickler*innen: Leonid Barsht und

Dagmar Schürrer

Künstlerin: Ariane Stamatescu

»Heidenrose« ist eine zweiseitige interaktive Augmented-Reality-Karte,

die auf der Vorderseite mit

3D-Modellen und auf der Rückseite mit interaktiven

digitalen Collagen aus Texten, Bildern und Videos

versehen ist.

Auf der Vorderseite findet nach einer Berührung des

Bildschirms ein Übergang von lebendigen zu toten

Blumen statt. Um diesen Zustand zu verdeutlichen,

geben die Blumen beim Anklicken einen Bluteffekt

ab. Hierfür wurde das flexibel konfigurierbare Partikelsystem

von Unity verwendet, das in Spielen häufig

für Effekte wie Regen und Feuer eingesetzt wird.

Mit Hilfe von eigens erstellten Texturen, zum Beispiel

von Blut und Knochen, wurden die einfachen Standardpartikel

nach Belieben angepasst.

Die Interaktion ist bei allen Objekten ähnlich. Zunächst

wird mit der AR-Kamera ein Strahl von der

Touch-Position auf dem Bildschirm in die Welt geworfen

– ein sogenannter »Raycast«. Wenn ein kollidierbares

Objekt von diesem Strahl getroffen wird,

wird verglichen, zu welchem Typ von Objekt es gehört.

Je nach Typ, z. B. 3D-Blume oder Video, wird

das dafür entsprechende Verhalten ausgeführt.

Bot 03

Entwickler: André Selmanagić und Michael Droste

Künstler*innen: Banz & Bowinkel

»Bot 03« ist Teil einer Serie, für die ein Avatar aus

einem früheren Banz & Bowinkel-Projekt überarbeitet

und mit einem eigenständigen Verhalten ausgestattet

wurde.

Um den Eindruck eines menschenähnlichen Verhaltens

zu erwecken, folgt die KI der Bots einem ähnlichen

Ansatz wie im berühmten Computerspiel »Die

Sims«. Ihre Entscheidungen werden durch interne

Bedürfnisse und Umweltfaktoren gesteuert, die als

Variablen in mathematischen Formeln verwendet

werden. Diese berechnen ständig die Nutzwerte für

mögliche Verhaltensweisen wie »Gesellschaft suchen«

oder »Nachbarn meiden«. Das Verhalten mit

dem höchsten Nutzwert gewinnt, wird ausgeführt

und die Bedürfnisse entsprechend aktualisiert. Dieser

Ansatz wird Utility AI genannt und stammt aus

dem Bereich der ökonomischen Nutzentheorie.

Die Visualisierung der Verhaltensweisen erforderte

7


and destination. For this movement process, also called

locomotion, the character is moved with a certain

speed along its path, while playing pre-recorded walking

animations, giving the impression of a walking

character. The walking animations look different for

the various directions (e.g. forward vs. side-ways) and

thus have to be blended together based on the actual

walking direction using Unity’s Blend Trees.

The exhibit shows two bots that can walk into each

other and fall. To make the falling behaviour more

realistic and random, the animations are turned off in

the moment of collision, while Unity’s Ragdoll system

is activated. The latter gives the control of the character’s

bones to the physics system, so they are being

affected by physical forces like gravity and collisions

with other physical bodies.

die Kombination der von der Utility AI generierten

Absichten mit dem Animations- und Physiksystem

von Unity. Einige Verhaltensweisen – z. B. kommunikative

Gesten – lösen Animationen aus, die im

Voraus mit Motion-Capturing aufgezeichnet wurden

und jedes Mal auf die gleiche Weise abgespielt

werden (z. B. Animationen entnommen aus dem Online-Tool

Mixamo) . In anderen Fällen muss sich der

Bot frei in seiner Umgebung bewegen. Diese Verhaltensweisen

nutzen den NavMesh-Algorithmus von

Unity, um den kürzesten Weg zwischen der aktuellen

Position des Bots und seinem Ziel zu finden. Bei

diesem Bewegungsprozess, der auch als Locomotion

bezeichnet wird, bewegt sich die Figur mit einer bestimmten

Geschwindigkeit entlang ihres Pfades,

während vorher aufgenommene Laufanimationen

abgespielt werden, die den Eindruck eines laufenden

Charakters vermitteln. Die Laufanimationen sehen

für die verschiedenen Richtungen (z.B. vorwärts vs.

seitwärts) unterschiedlich aus und müssen daher mit

Hilfe der Blend Trees von Unity entsprechend der

tatsächlichen Laufrichtung zusammengemischt werden.

Das Exponat zeigt zwei Bots, die ineinander laufen

und fallen können. Um das Fallverhalten realistischer

und zufällig zu gestalten, werden die Animationen

im Moment der Kollision abgeschaltet, während

das Ragdoll-System von Unity aktiviert wird. Letzteres

gibt die Kontrolle über die Knochen des Charakters

an das Physiksystem ab, so dass sie von physikalischen

Kräften wie Schwerkraft und Kollisionen mit

anderen Körpern beeinflusst werden.

More technical details can be found in:

Banz & Bowinkel, André Selmanagić and Maja Stark, »The AURORA School for

ARtists: Artistic Augmented Reality – Untitled (Augmented Carpet) by Banz &

Bowinkel,« in: Kultur und Informatik: Virtual History and Augmented Present,

ed. Carsten Busch, Christian Kassung and Jürgen Sieck (Glückstadt: Hülsbusch,

2019), 107–110.

8


Señor Pulpo

Developer: André Selmanagić

Artist: Christina Sarli

»Señor Pulpo« is a hybrid artist’s book organized in

two parts. Each part tells the story of a common octopus

from a different temporal perspective.

Due to the great motivation of the artist, this AR application

contains much more content than most of

the applications from the AURORA production lab.

Loading all of the content of the scene at once—as

Unity usually does—led to crashes on certain mobile

devices, because the system was running out of memory.

To work around this, Unity’s new Addressables

system was used to load and unload content like

textures and 3D models dynamically. The memory

manager that was implemented keeps only 3 of the

43 augmented book pages in memory at the same

time. When flipping through the book and detecting

a new marker, content of a previous page is unloaded

and content for the next page is loaded, keeping memory

usage low at all times.

Part 1 of the book contains mostly semi-transparent

videos. Because our first attempt of using greenscreen

videos and removing the green color using a

chromakey shader did not give acceptable results,

we moved on to using videos that contain an extra

alpha channel for transparency. This approach came

with its own problems. Even prominent video editing

software like Adobe Premiere had issues rendering

transparent videos using the VP8 codec (webm-format)

required by Unity, which is why videos had to

be exported as png image files and converted back to

webm-videos using the »ffmpeg« command-line utility.

Unfortunately not all mobile operating systems

support the playback of transparent videos natively.

Unity provides a transcoding function for this exact

use case, which transcodes the videos into a special

format that all platforms understand, albeit losing

the possibility to use the more performant hardware

video decoders. Transcoding videos is a time-consuming

process; opening the Unity project for the first

time will take multiple hours for each target platform.

Señor Pulpo

Entwickler: André Selmanagić

Künstlerin: Christina Sarli

»Señor Pulpo« ist ein hybrides Artist’s Book, das in

zwei Teile gegliedert ist. Jeder Teil erzählt die Geschichte

eines gewöhnlichen Oktopus aus einer anderen

zeitlichen Perspektive.

Aufgrund der großen Motivation der Künstlerin enthält

diese AR-Anwendung weitaus mehr Inhalt als

die meisten Anwendungen aus dem AURORA-Produktionslabor.

Das Laden des gesamten Inhalts der

Szene auf einmal – wie es Unity normalerweise tut

– führte auf bestimmten mobilen Geräten zu Abstürzen,

weil dem System der Arbeitsspeicher ausging.

Um dieses Problem zu umgehen, wurde das neue Addressables-System

von Unity verwendet, um Inhalte

wie Texturen und 3D-Modelle dynamisch laden und

entladen zu können. Der implementierte Speichermanager

hält nur 3 der 43 augmentierten Buchseiten

gleichzeitig im Speicher. Wenn das Buch durchgeblättert

und ein neuer Marker erkannt wird, wird

der Inhalt der vorherigen Seite entladen und der Inhalt

der nächsten Seite geladen, so dass der Speicherverbrauch

stets niedrig gehalten wird.

Teil 1 des Buches enthält hauptsächlich halbtransparente

Videos. Unser erster Versuch, Videos mit

Green Screen zu verwenden und die grüne Farbe mit

einem Chromakey-Shader zu entfernen, lieferte keine

akzeptablen Ergebnisse. Daher verwendeten wir

im Anschluss Videoformate, die einen zusätzlichen

Alphakanal für Transparenz enthalten. Dieser Ansatz

war mit eigenen Problemen verbunden. Selbst

bekannte Videobearbeitungsprogramme wie Adobe

Premiere hatten Probleme, transparente Videos mit

dem von Unity benötigten VP8-Codec (webm-Format)

zu rendern. Deshalb mussten die Videos zunächst

als png-Bilddateien exportiert und mit dem

Kommandozeilenprogramm »ffmpeg« wieder in

webm-Videos umgewandelt werden. Leider unterstützen

nicht alle mobilen Betriebssysteme das Abspielen

transparenter Videos von Haus aus. Unity

bietet für genau diesen Anwendungsfall eine Transkodierungsfunktion,

die die Videos in ein spezielles

Format umwandelt, das alle Plattformen verstehen.

Allerdings geht dabei die Möglichkeit verloren, die

leistungsfähigeren Hardware-Videodekoder zu verwenden.

Das Transkodieren von Videos ist zudem

ein zeitaufwändiger Prozess; das erstmalige Öffnen

des Unity-Projekts kann daher für jede Zielplattform

mehrere Stunden dauern.

9


Zittau 1999

Developer: Leonid Barsht

Artist: Juliane Wünsche

»Zittau 1999« is an augmented reality application for

the novel »Nationalbefreite Zone« by Juliane Wünsche,

where diverse digital content is triggered by a

set of cards.

The concept of the app made it necessary that individual

content is only displayed if multiple markers are

recognized at the same time. A system of rules was implemented

to differentiate between the possible combinations

of markers that trigger the digital content

and to handle the impossible combinations, e.g. too

many or too few markers scanned or the same marker

found multiple times. Furthermore, each marker that

doesn’t function alone shows the user which other

marker is needed to trigger the digital content.

These special cases were primarily identified when

Juliane Wünsche regularly tested the application with

various users. This iterative approach of development

and testing allowed the creation of a user-centered

application. The positive effects of this approach on

the user experience are most evident in the user interface,

the instructions for individual content and the

selected types of interaction.

Zittau 1999

Entwickler: Leonid Barsht

Künstlerin: Juliane Wünsche

»Zittau 1999« ist eine Augmented-Reality-Anwendung

für den Roman »Nationalbefreite Zone«, bei

der diverse digitale Inhalte durch ein Kartenset ausgelöst

werden.

Das Konzept der App machte es erforderlich, dass

bestimmte Inhalte nur dann angezeigt werden, wenn

mehrere Marker gleichzeitig erkannt werden. Daher

wurde ein Regelsystem implementiert, um zwischen

den möglichen Kombinationen von Markern, die die

digitalen Inhalte auslösen, zu unterscheiden. Das

System bestimmt auch wie mit den unerwünschten

Kombinationen umzugehen ist, z. B. wenn zu viele

oder zu wenige Marker gescannt wurden oder derselbe

Marker mehrfach gefunden wurde. Darüber hinaus

werden den Benutzer*Innen für jeden Marker,

der nicht allein funktioniert, angezeigt, welcher andere

Marker erforderlich ist, um den digitalen Inhalt

auszulösen.

Diese Sonderfälle wurden vor allem dadurch identifiziert,

dass Juliane Wünsche die Anwendung regelmäßig

mit verschiedenen Nutzer*Innen evaluierte.

Durch diesen iterativen Ansatz der Entwicklung und

des Testens konnte eine nutzerzentrierte Anwendung

geschaffen werden. Die positiven Auswirkungen dieses

Ansatzes auf das Nutzungserlebnis sind z. B. in

der Benutzeroberfläche, den Anleitungen zu einzelnen

Inhalten und den gewählten Interaktionsarten

ersichtlich.

More technical details can be found in:

Leonid Barsht, Juliane Wünsche and Maja Stark: »Juliane Wünsche, Zittau

1999,« in: Kultur und Informatik: Extended Reality, ed. Johann Habakuk Israel,

Christian Kassung and Jürgen Sieck (Glücksstadt: Werner Hülsbusch Verlag,

2020), 299–301.

Karla

Developers: Elisabeth Thielen and André Selmanagić

Artists: Olga Bedia Lang and Julia Laube

»Karla« is an integrative augmented reality theatre

production in public space combining visual and auditory

content within the context of Berlin’s urban

space.

Augmented Reality in urban areas requires placement

and tracking to be stable despite changing lighting

and weather conditions as well as environments (e.g.

10

Karla

Entwickler*innen: Elisabeth Thielen und

André Selmanagić

Künstlerinnen: Olga Bedia Lang und Julia Laube

»Karla« ist eine integrative Augmented-Reality-

Theaterproduktion im öffentlichen Raum, die visuelle

und auditive Inhalte im Kontext des Berliner

Stadtraums kombiniert.

Augmented Reality im urbanen Raum erfordert eine

stabile Platzierung und Tracking trotz wechselnder


parked cars, ads etc.). While image-based tracking

using the Vuforia SDK yielded acceptable results for

placing content, users were not able to freely roam

within the three-dimensional augmentations. The latter

is a classic use-case for markerless tracking, but

a placement approach is necessary for matching the

physical and virtual world.

At the time, ARKit’s and ARCore’s image tracking was

not yet on par with Vuforia, so we decided to use a

stencil-based approach in combination with markerless

tracking using ARFoundation. The idea is rather

simple: a semi-transparent 2D photograph (stencil)

is shown on the user’s screen in front of the camera

stream. The user has to align the position and rotation

of his/her smart device so that the camera image

visually matches the stencil. Because the virtual scene

has been created relative to the stencil, pressing the

»Place Augmentation« button once everything is aligned,

will place the augmentation correctly within the

physical world, allowing the user to roam freely.

Licht- und Wetterbedingungen sowie Umgebungen

(z. B. parkende Autos, Werbung etc.). Während das

bildbasierte Tracking mittels Vuforia SDK akzeptable

Ergebnisse für die Platzierung von Inhalten lieferte,

konnten sich die Nutzer*innen nicht frei innerhalb

der dreidimensionalen Augmentierungen bewegen.

Letzteres ist ein klassischer Anwendungsfall für

markerloses Tracking, aber ein Platzierungsansatz

ist weiterhin notwendig, um die physische und virtuelle

Welt korrekt aufeinander auszurichten.

Zu diesem Zeitpunkt war das Bildtracking von ARKit

und ARCore noch nicht auf Augenhöhe mit Vuforia,

daher entschieden wir uns für einen schablonenbasierten

Ansatz in Kombination mit markerlosem

Tracking mittels ARFoundation. Die Idee ist recht

einfach: Ein halbtransparentes 2D-Foto (Schablone)

wird auf dem Bildschirm der Benutzer*innen direkt

vor dem Kamerastream angezeigt. Diese müssen

die Position und die Drehung ihrer Smart-Devices

so ausrichten, dass das Kamerabild visuell mit der

Schablone übereinstimmt. Sobald alles korrekt ausgerichtet

ist, kann die digitale Szene durch Drücken

der Schaltfläche »Augmentierung platzieren« dargestellt

werden. Da diese Szene relativ zur Schablone

erstellt wurde, wird die Augmentation korrekt in der

physischen Welt verankert, so dass die Nutzer*innen

sich frei bewegen können.

More technical details can be found in:

Olga Bedia Lang, Julia Laube and Elisabeth Thielen: »Olga Lang and Julia Laube:

Karla – a project by Urban AR Productions at Karl-Marx-Allee,« in: Kultur und

Informatik: Extended Reality, ed. Johann Habakuk Israel, Christian Kassung

and Jürgen Sieck (Glücksstadt: Werner Hülsbusch Verlag, 2020), 287–290.

Elektra.app

Developer: Elisabeth Thielen

Artist: Peter Sandhaus

»Elektra.app« is a markerless augmented reality simulation

of a new landmark for Berlin-Oberschöneweide.

It was clear from the start that placing a 34m tall virtual

sculpture in an urban environment can not be

done using image tracking alone. At the time, AR-

Foundation was still young, so we decided to first try

out Vuforia’s extended tracking functionality (a semi-markerless

approach), which unfortunately led to

unstable tracking. Next, we developed an ARFoundation-based

prototype. The tracking was better, though

still not completely stable. This is especially evident

Elektra.app

Entwicklerin: Elisabeth Thielen

Künstler: Peter Sandhaus

»Elektra.app« ist eine markerlose Augmented-Reality-Simulation

einer neuen Kunstskulptur als Wahrzeichen

für Berlin-Oberschöneweide.

Von Anfang an war klar, dass die Platzierung einer

34m hohen virtuellen Skulptur in einer städtischen

Umgebung nicht allein durch markerbasiertes Tracking

erfolgen kann. Da ARFoundation damals noch

jung war, entschieden wir uns, zunächst die Extended-Tracking-Funktionalität

von Vuforia (ein semi-markerloser

Ansatz) auszuprobieren, was leider

zu instabilem Tracking führte. Als nächstes entwickelten

wir einen ARFoundation-basierten Proto-

11


when looking up to the top of the sculpture. The reason

is that the sky is often the main or at least a large

part of the background and both clear and cloudy skies

contain little to no features for the feature tracking

algorithm to track the users’ movements.

After ruling out GPS for placing the sculpture at the

Kaisersteg due to its very coarse / inaccurate positioning

capabilities, we decided to initially place the augmentation

using image tracking, for which we used

a manhole cover as the marker. After placement, the

markerless tracking is used for free navigation.

Different kinds of shadow techniques were tested

during the development in order for the object to

blend more naturally into the environment at Kaisersteg.

High-quality real-time shadows however slowed

down some devices considerably. We reached the conclusion

that fake shadows would suffice in blending

the object more into its environment, thus we created

shadow textures and put them below the sculpture.

.

typen. Das Tracking war besser, wenn auch immer

noch nicht ganz stabil. Dies wird besonders deutlich,

wenn man zur Spitze der Skulptur hinaufschaut. Der

Grund dafür ist, dass der Himmel oft den Hauptteil

oder zumindest einen großen Teil des Kamerabildes

einnimmt, aber sowohl klarer als auch bewölkter

Himmel wenig bis gar keine Merkmale enthält, anhand

derer der Feature-Tracking-Algorithmus die

Bewegungen der Benutzer*Innen verfolgen kann.

Nachdem wir GPS für die Platzierung der Skulptur

am Kaisersteg aufgrund dessen sehr ungenauen

Positionsermittlung ausgeschlossen hatten, entschieden

wir uns, die Augmentierung zunächst mit Hilfe

von markerbasiertem Tracking zu platzieren, wofür

wir einen Kanaldeckel vor Ort als Marker verwendeten.

Nach der Platzierung wird dann das markerlose

Tracking für die freie Navigation verwendet.

Während der Entwicklung wurden verschiedene Arten

von Schattierungstechniken getestet, mit dem Ziel

eine natürliche Einblendung der digitalen Skulptur

in die Umgebung am Kaisersteg zu erreichen. Hochwertige

Echtzeitschatten verlangsamten bestimmte

Geräte jedoch erheblich. Wir kamen zu dem Schluss,

dass »gefälschte« Schatten ausreichen würden, um

das Objekt besser in die Umgebung einzufügen. Daher

erstellten wir simple Schattentexturen und legten

sie unter die Skulptur.

More technical details can be found in:

Peter Sandhaus and Elisabeth Thielen: »Peter Sandhaus, ELEKTRA.app: Augmented

Reality Simulation of the New Landmark for Berlin-Oberschöneweide,«

in: Kultur und Informatik: Extended Reality, ed. Johann Habakuk Israel, Christian

Kassung and Jürgen Sieck (Glücksstadt: Werner Hülsbusch Verlag, 2020),

241–244.

New York, New York

Developer: Leonid Barsht

Artist: Sarah Müller

»New York, New York« is an augmented reality poster

series with numerous interaction features.

Some of the posters allow moving 2D and 3D objects

relative to the augmentation. For this behaviour a ray

is cast from the touch position on the screen into the

world on every frame. On the one hand, this ray may

hit one or more of the moveable objects, which lets us

know what object the user wants to interact with. On

the other hand, the ray will hit a special plane, whose

sole purpose is to retrieve a hit position in the 3D

12

New York, New York

Entwickler: Leonid Barsht

Künstlerin: Sarah Müller

»New York, New York« ist eine Augmented-Reality-

Posterserie mit zahlreichen Interaktionsmöglichkeiten.

Einige der Poster erlauben es, 2D- und 3D-Objekte

relativ zur Augmentierung zu bewegen. Dazu wird

in jedem Frame/Update ein Strahl von der Touchposition

auf dem Bildschirm in die Welt geworfen –

ein sogenannter »Raycast«. Einerseits kann dieser

Strahl eines oder mehrere der beweglichen Objekte

treffen, wodurch wir wissen, mit welchem Objekt


world. Between two consecutive frames, the hit positions

of the according rays can be used to calculate the

distance that the chosen object has to be moved. Thus,

this approach basically translates the movement of

the user’s finger on the touch screen into the movement

of the object in the 3D world.

Other interactions like drawing and wiping function

similarly. During drawing, rays are cast on every

frame to create a path of hit points on a special drawing

plane. This path is then visualized. When wiping,

the path of hit points is used to change the alpha

channel of a mesh, effectively making its vertex colors

transparent within a specific radius along the path. To

see vertex colors special shaders like »Particle« are

needed. This idea is based on the popular »fog of war«

that is prominent in many video games.

der/die Benutzer*In interagieren möchte. Andererseits

trifft der Strahl auf eine spezielle Ebene, deren

einziger Zweck es ist, eine Trefferposition in der

3D-Welt zu ermitteln. Zwischen zwei aufeinanderfolgenden

Frames können die Trefferpositionen der

entsprechenden Strahlen verwendet werden, um die

Entfernung zu berechnen, um die das ausgewählte

Objekt bewegt werden soll. Auf diese Weise wird die

Bewegung des Fingers auf dem Touchscreen in die

Bewegung des Objekts in der 3D-Welt übersetzt.

Andere Interaktionen wie Zeichnen und Wischen

funktionieren auf eine ähnliche Weise. Beim Zeichnen

werden bei jedem Frame Strahlen geworfen,

um einen Pfad von Trefferpunkten auf einer speziellen

Zeichenebene zu erzeugen. Dieser Pfad wird

dann visualisiert. Beim Wischen wird der Pfad der

Trefferpunkte verwendet, um den Alphakanal eines

Meshes zu verändern, wodurch dessen Vertexfarben

innerhalb eines bestimmten Radius entlang des Pfades

transparent werden. Um Vertex-Farben sehen zu

können, werden spezielle Shader wie »Particle« benötigt.

Diese Idee basiert auf dem Konzept des »Nebels

des Krieges« (»fog of war«), welches in vielen

Videospielen Verwendung findet.

More technical details can be found in:

Lena Simonis, »Colours of New York,« in: PAGE Magazin, 11/2020 (September),

60–68.

13


APOLLO

Project of the INKA research group, HTW Berlin

Text: Elisabeth Thielen

Konzerthaus Plus

Developers: Michael Droste, Christoph Holtmann,

Julien Letellier, Peter Scholl, and Elisabeth Thielen

»Konzerthaus Plus« was created in the APOLLO project

in cooperation with the Konzerthaus Berlin. It

bundles several AR applications that are also accessible

to visitors in the vestibule of the Konzerthaus on

physical steles as part of the digital exhibition.

One of the four applications so far is the »Virtual

Quartet,« which allows visitors to listen to the four

musicians of the Konzerthaus quartet individually or

together in AR.

For this, the musicians were filmed playing in front

of a green screen and their voices were recorded individually

in a soundproof room at the TU Berlin. For

the audio recordings in particular, the musicians faced

the hurdle of playing alone, whereas they normally

play together and can respond to visual cues from

the others, among other things. To still achieve four

coherent audio tracks, the musicians instead played

with a small pair of headphones on which a previous

audio recording of the piece could be heard.

While the resulting four audio tracks could simply be

placed into four »AudioSources« in Unity, the videos

required further editing.

Originally, the video was recorded in front of a green

screen, but during development it became clear that

simple chroma keying would not yield satisfactory results.

The smooth surface of the stringed instruments

sometimes reflected the green background, and this

was particularly evident on the large cello. To make

the reflections less visible, the video was post-edited

in Blender and the musicians were re-rendered

against a black background. However, this approach

made normal chroma keying no longer work well.

As an alternative, there are now two video tracks per

musician, once the musician on a black background

and once a red silhouette of the musician in a separate

track. A shader combines the two in Unity and

displays from the first video only those parts that are

14

Konzerthaus Plus

Entwickler*innen: Michael Droste, Christoph

Holtmann, Julien Letellier, Peter Scholl und

Elisabeth Thielen

»Konzerthaus Plus« ist die Augmented-Reality-

Anwendung, die im Projekt APOLLO in Kooperation

mit dem Konzerthaus Berlin entstanden ist. Die App

bündelt mehrere AR-Anwendungen, die im Vestibül

des Konzerthauses an physischen Stelen für Besucher*innen

im Rahmen der Digitalen Ausstellung zugänglich

sind.

Eine der bisher vier Anwendungen ist hierbei das

»Virtuelle Quartett«, mit dem man sich die vier Musiker*innen

des Konzerthausquartetts in AR einzeln

oder zusammen anhören kann.

Diese Musiker wurden hierfür vor einem Greenscreen

beim Spielen abgefilmt und ihre Stimmen

einzeln im schallarmen Raum an der TU Berlin aufgenommen.

Besonders bei den Audioaufnahmen sahen

sich die Musiker*innen vor der Hürde, alleine zu

spielen, während sie normalerweise gemeinsam musizieren

und unter anderem auf visuelle Signale der

anderen reagieren können. Um trotzdem vier kohärente

Audiospuren zu erzielen, spielten die Musiker

stattdessen mit einem kleinen Kopfhörer, auf dem

eine vorherige Audioaufnahme des Stückes zu hören

war.

Während die so entstandenen vier Audiospuren in

Unity einfach in vier AudioSources platziert werden

konnten, mussten die Videos noch weiter bearbeitet

werden.

Ursprünglich wurde das Video vor einem Green

Screen aufgenommen; während der Entwicklung

wurde jedoch klar, dass ein simples Chroma Keying

keine zufriedenstellenden Ergebnisse erbringen

würde. Auf der glatten Oberfläche der Streichinstrumente

spiegelte sich teils der grüne Hintergrund,

besonders deutlich war dies auf dem großen Cello.

Um die Spiegelungen weniger sichtbar zu machen,

wurde das Video in Blender nachbearbeitet und die


within the red silhouette in the second video. The four

original videos, as well as the four silhouette tracks,

are tiled into a single 4k video. In Unity, the musician’s

footage then assigns which musician tile and

which silhouette tile the shader should use.

The fact that the video was only one asset and not four

different assets has the further advantage that it can

be used to synchronize the »AudioSources«. If a musician

is placed and the corresponding virtual representation

is loaded, the timestamp of the quartet video

is queried once and the new audio track is started

at the corresponding position.

Musiker*innen wurden vor einem schwarzen Hintergrund

neu gerendert. Durch diesen Ansatz war

normales Chroma Keying allerdings nicht mehr gut

möglich. Als Alternative gibt es nun pro Musiker*in

zwei Videospuren, einmal die Person auf schwarzem

Hintergrund und einmal eine rote Silhouette der Person

in einer eigenen Spur. Ein Shader kombiniert die

beiden in Unity und zeigt vom ersten Video nur diejenigen

Teile an, die innerhalb der roten Silhouette im

zweiten Video liegen. Die vier Originalvideos sowie

die vier Silhouttenspuren sind kachelartig in einem

einzigen 4k-Video angeordnet. In Unity wird dann

im Material der/des Musikers bzw. Musikerin jeweils

zugeordnet, welche Musiker- und Silhouettenkachel

der Shader verwenden soll.

Dass das Video nur ein Asset und nicht vier verschiedene

Assets wurde, hat weiterhin den Vorteil, dass

es zur Synchronisation der AudioSources verwendet

werden kann. Wird ein Musiker platziert und die

entsprechende virtuelle Repräsentation geladen, so

wird einmal der timestamp des Quartettvideos abgefragt

und die neue Audiospur an der entsprechenden

Stelle gestartet.

More technical details can be found in:

- Jürgen Sieck, Julien Letellier, Florian Pfeiffer, Jens Reinhardt, Peter Scholl and

Michael Thiele-Maas: »Enhancement of Printed Content Using Augmented Reality,«

in Kultur und Informatik: Mixed Reality, ed. Carsten Busch, Christian Kassung

and Jürgen Sieck (Glücksstadt: Werner Hülsbusch Verlag, 2017), 209–226.

- Peter Scholl, Stefan Schöbinger, Albrecht Sensch, Jürgen Sieck and Elisabeth

Thielen: »Using Cuboid Markers for an Interactive Augmented Reality Exhibition,«

in Kultur und Informatik: Hybrid Systems, ed. Carsten Busch, Christian

Kassung and Jürgen Sieck (Glücksstadt: Werner Hülsbusch Verlag, 2017),

159–174.

- Julien Letellier, Jürgen Sieck, Elisabeth Thielen and Annette Thoma: »Bringing

a Virtual String Quartet to Life,« in Proceedings of 2nd African Conference for

Human Computer Interaction (AfriCHI ’18), 208–211.

Umwelten

Developers: Julian Bonequi, Andrey Borisov,

and Elisabeth Thielen

Artists: Julian Bonequi and Mark Barden

The virtual composition »Umwelten« is a collaborative

project of the project APOLLO and the Konzerthaus

Berlin with visual artist Julian Bonequi and composer

Mark Barden. In the virtual world, users can explore

the existing soundscape and influence it themselves.

Umwelten

Entwickler*innen: Julian Bonequi, Andrey Borisov

und Elisabeth Thielen

Künstler: Julian Bonequi und Mark Barden

Die virtuelle Komposition ​»Umwelten« ist ein Kooperationsprojekt

von APOLLO und dem Konzerthaus

Berlin mit dem Visual Artist Julian Bonequi und dem

Komponisten Mark Barden. In der virtuellen Welt

können Nutzer*innen die vorhandene Klangwelt erforschen

und selbst beeinflussen.

15


The application makes use of the Virtual Reality Toolkit

(VRTK), which already provides developers with

some basic interaction possibilities. Based on this, various

interactions, such as grabbing objects and teleporting,

have been implemented.

At the beginning of the experience, users can choose

which basic mood they want to start with in the application.

For example, ethereal starts with ethereal

sounds and a bright sky, while massive starts with

very expressive background music and a deep red sky.

For these moods, a »MoodManager« was implemented

that saves and loads the user selection into the

Unity »PlayerPrefs« and loads a corresponding piece

of music into the main scene. For the different skies,

the texture of the Skybox in Unity is additionally replaced.

The interaction gestures were changed several times

during development. Through several user tests, the

final approach was finally confirmed: pointing at objects

and teleport beam under the index finger on the

Oculus Quest controller, objects grabbing under the

middle finger (similar to the actual hand grabbing

gesture). The complete application can only be experienced

with these two buttons and gestures at a time.

Including more buttons (such as the A button under

the thumb) led to confusion among users, especially

since the expected target group often had no experience

with VR.

Die Anwendung macht sich das Virtual Reality Toolkit

(VRTK) zunutze, das Entwicklern bereits einige

grundlegende Interaktionsmöglichkeiten vorgibt.

Basierend darauf wurden verschiedene Interaktionen,

wie etwa das Greifen von Objekten und das Teleportieren

implementiert.

Zu Beginn der Experience können Nutzer auswählen,

mit welcher grundlegenden mood sie in die Anwendung

starten möchten. Mit ethereal startet man etwa

mit ätherischen Klängen und einem hellen Himmel,

während massive mit sehr ausdrucksstarker Hintergrundmusik

und einem tiefroten Himmel beginnt.

Für diese moods wurde ein »MoodManager« implementiert,

der die Nutzerauswahl in die Unity »PlayerPrefs«

speichert und lädt, und ein entsprechendes

Musikstück in die Hauptszene lädt. Für die unterschiedlichen

Himmel wird zusätzlich die Textur der

Skybox in Unity ausgetauscht.

Die Interaktionsgesten wurden im Rahmen der Entwicklung

mehrfach geändert. Durch mehrere Nutzertests

bestätigte sich schließlich der finale Ansatz:

Zeigen auf Objekte und Teleportstrahl unter dem

Zeigefinger auf dem Controller der Oculus Quest,

Objekte Greifen unter dem Mittelfinger (ähnlich der

tatsächlichen Greifgeste der Hand). Die komplette

Anwendung lässt sich jeweils nur mit diesen beiden

Tasten und Gesten erleben. Mehr Tasten (wie zB die

A-Taste unter dem Daumen) einzubinden führte zu

Verwirrung bei den Nutzern, besonders da die erwartete

Zielgruppe oft noch keine Erfahrung mit VR

hatte.

More technical details can be found in:

Andrey Borisov, Elisabeth Thielen and Annette Thoma: »Umwelten – An immersive

and interactive composition in Virtual Reality« in Kultur und Informatik:

Extended Reality, ed. Johann Habakuk Israel, Christian Kassung and Jürgen

Sieck (Glücksstadt: Werner Hülsbusch Verlag, 2020), 141–153.

16


AURA

Project of the INKA research group, HTW Berlin

Text and developer: Sophie Schauer

​»Auralisation of Acoustic Heritage Sites Using Augmented

and Virtual Reality« is a project, funded by

Creative Europe and currently actively developed,

that will pioneer a novel acoustic experience of culture

with auralisation as an innovative technology-based

technique.

Firstly, the Teatro del Maggio in Florence has been

scanned and digitalized by the University Florence.

With the help of contemporary 3D laser-scanner

technologies a digital survey was made, providing the

necessary metric data that is needed for the steps of

data discretisation and NURBS modelling. During the

further course of the AURA project the Konzerthaus

Berlin, as well as the Lviv Opera House will be digitalised.

Due to other materialistic conditions these two

locations will require the integrated use of LIDAR and

SfM (Structure from Motion) photogrammetry.

The second step is the auralisation of the digitalised

musical venues. The models are easily imported into

the Unity Editor as .fbx or .obj files. Unity offers options

for 3D sound, but in order to create fully auralised

versions an extra audio plugin is needed. The steam

audio plugin was used to implement a first auralised

prototype of the Konzerthaus Berlin using an older

hand-crafted model.

»Auralisation of Acoustic Heritage Sites Using Augmented

and Virtual Reality« bietet ein neuartiges

akustisches Erlebnis durch die Auralisierung von

Kulturerbe mit Hilfe von innovativen Technologien.

Das Projekt wird derzeit aktiv entwickelt und ist finanziert

durch Creative Europe.

Der erste Schritt war der Scan und die Digitalisierung

des Teatro del Maggio in Florenz. Mit Hilfe von

modernen 3D Laserscanner-Technologien wurden

metrische Daten erzeugt, die für die Datendiskretisierung

und NURBS-Modellierung benötigt werden.

Während des weiteren Verlaufs des AURA Projekts

wird außerdem das Konzerthaus Berlin sowie das

Opernhaus Lemberg digitalisiert. Aufgrund von anderen

Gegebenheiten in Material und Konstruktion

müssen in diesen zwei Standorten die LIDAR-Technologie

und SfM (Structure from Motion) Photogrammetrie

genutzt werden.

Der zweite Schritte ist die Auralisierung der digitalisierten

Musikhäusern. Die Modelle können im .fbxund

.obj-Format in den Unity Editor importiert werden.

Unity bietet bereits Möglichkeiten für 3D Sound

an. Um vollständig auralisierte Modelle zu erstellen,

wird jedoch ein zusätzliches Audio-Plugin benötigt.

Das Steam Audio Plugin wurde benutzt, um einen

ersten auralisierten Prototypen eines handgefertigten

Modells des Konzerthaus Berlins zu implementieren.

More technical details can be found in:

Stefano Bertocci, Federico Cioli, Sophie Schauer, Jürgen Sieck, Natalya Shakhovska

and Olena Vovk: »Auralization of Concert Halls for touristic Purposes,«

in Proceedings of ACM Culture and Computer Science Conference 2021 (New

York: ACM, 2021).

17


XR UNITES

Project of the INKA research group, HTW Berlin

Text: Christoph Holtmann

Transient Exposure

Developers: Christoph Holtmann, Laura Magdaleno

Amaro, and Ekaterina Losik

Artists: reVerb (Isabel Robson, Mareike Trillhaas

and Susanne Vincenz) and Chitrasena Dance

Company (Thaji Dias and Heshma Wignaraja)

At the beginning, the development team set its focus

on the transformation of analog movements into the

virtual experience: performed by Thaji Chitrasena,

the traditional Sri Lankan dance was to be integrated

into the HoloLens experience via an Azure Kinect recording.

As a depth camera and equipped with artificial

intelligence, the Azure Kinect captures data on

movement sequences, which can be visually processed

via Unity‘s VFX graph, for example. After some

technical barriers such as performance problems with

the data and particles on the HoloLens, difficulties in

recording the dance due to Corona and lack of technology

in Sri Lanka, the focus was steered on videos and

3D-scanned objects as well as audio content after half

of the project time.

In order to give the artists a good insight into the possibilities

of the HoloLens and and—at the same time—

to create space for independent experiments, a basic

editor for the HoloLens was developed with which

virtual content can be placed and edited in space. Regarding

the implementation of the editor’s functions,

the editing options for audio content are particularly

noteworthy, which made it possible to explore threedimensional

spatial sound with the HoloLens. The

display of several videos in full HD quality also was a

success. Since the HoloLens experiences performance

difficulties when playing several videos at the same

time, a video with 4k quality was divided into several

videos for this purpose and displayed with corresponding

shaders, which also enable transparencies and

other effects.

During the implementation of the editor it became

clear that it was suitable for experiments, but that the

idea of using it to develop the complete project was

too ambitious. Hence, all the findings and ideas were

18

Transient Exposure

Entwickler*innen: Christoph Holtmann,

Laura Magdaleno Amaro und Ekaterina Losik

Künstlerinnen: reVerb (Isabel Robson,

Mareike Trillhaas und Susanne Vincenz)

und Chitrasena Dance Company

(Thaji Dias und Heshma Wignaraja)

Zu Beginn konzentrierte sich das Development-Team

stark auf die Transformation analoger Bewegungen

in die virtuelle Experience: Ausgeführt von Thaji

Chitrasena, sollte der traditionelle srilankische Tanz

über eine Azure-Kinect-Aufnahme in die HoloLens-

Erfahrung integriert werden. Als Tiefenkamera und

mit künstlicher Intelligenz ausgestattet, erfasst die

Azure Kinect Daten zu Bewegungsabläufen, welche

sich beispielsweise über den VFX-Graphen von Unity

visuell aufbereiten lassen. Nach einigen technischen

Barrieren wie Performanceproblemen mit den Daten

und Partikeln auf der HoloLens, Schwierigkeiten bei

der Aufzeichnung des Tanzes aufgrund von Corona

und fehlender Technik in Sri Lanka wurde der Fokus

zur Mitte des Projekts auf Videos und 3D-gescannte

Objekte sowie Audioinhalte gelegt.

Um den Künstlerinnen einen guten Einblick in die

Möglichkeiten der HoloLens zu geben und gleichzeitig

Raum zum eigenständigen Experimentieren

zu schaffen, wurde ein grundlegender Editor für die

HoloLens entwickelt, mit dem sich virtuelle Inhalte

im Raum platzieren und editieren lassen. Bei der

Implementierung der Funktionen des Editors sind

vor allem die Editiermöglichkeiten von Audioinhalten

hervorzuheben, wodurch der dreidimensionale

Raumklang mit der HoloLens untersucht werden

konnte. Zum anderen war das Anzeigen von mehreren

Videos in Full-HD-Qualität ein Erfolg. Da die

HoloLens beim gleichzeitigen Abspielen mehrerer Videos

Performance-Schwierigkeiten bekommt, wurde

dazu ein Video mit 4k-Qualität in mehrere Videos

aufgeteilt und mit entsprechenden Shadern, welche

zudem Transparenzen und andere Effekte ermöglichen,

dargestellt.


brought together in an independent Unity project. In

the end, the result is an application with a number of

interaction possibilities that makes the boundaries

between the existing space and digital content disappear.

Da sich im Verlauf der Editor-Implementierung

zeigte, dass sich dieser zwar zum Experimentieren

eignete, aber die Idee, mithilfe des Editors das fertige

Projekt zu erstellen, zu ambitioniert war, wurden

alle Erkenntnisse und Ideen in einem eigenständigen

Unity Projekt zusammengeführt. Schlussendlich entstand

eine Anwendung mit einigen Interaktionsmöglichkeiten,

welche die Grenzen zwischen dem vorhandenen

Raum und digitalen Inhalten verschwinden

lässt.

19


MATTERS OF ACTIVITY.

IMAGE SPACE MATERIAL

Cluster of Excellence at the Humboldt-Universität zu Berlin

Text: Julien Letellier

Stretching Hanbok

Developers: Julien Letellier, Michael

Droste, and Catherine Heyart

Researchers: Yoonha Kim and Julien Letellier

»Stretching Hanbok« is an augmented reality application

that calls attention to the hidden active materials

that co-build a Hanbok (traditional Korean garment).

Through the experience, the Hanbok transforms into

an interactive hybrid material.

The development process was affected by mostly remote

collaboration and the interdisciplinarity of the

team members. Initially the project was conducted

with weekly meetings via Zoom and a collaborative

whiteboard using Miro. This was followed by discussions

and tests of different interaction techniques,

such as a stretching gesture. In the second half of the

timeframe two more software developers helped in

developing prototypes, which were shared by simply

providing web links. This allowed for instant remote

testing and discussions.

To achieve this the team used web-based technologies

to create an augmented reality experience that can be

accessed anywhere, without downloading a native application

for Android or iOS. Among the few mature

libraries for web-based AR is A-Frame which provides

HTML markup for laying out 3D scenes and an entitycomponent-system

(ECS) model for programming interactive

content. It also uses the WebXR API which is

being standardized by major browser vendors (Google,

Mozilla, Microsoft) and provides an abstraction

to native AR solutions, such as ARCore on Android.

As mentioned before, the benefit of this approach is

that users can access the experience with their smartphones

in an exhibition context without having to

install an app. Nonetheless, the team implemented

another version for the INKA app in order to compare

performance, user experience and implementation effort

which will all be part of further research.

20

Stretching Hanbok

Entwickler*innen: Julien Letellier, Michael

Droste und Catherine Heyart

Forscher*innen: Yoonha Kim und Julien Letellier

»Stretching Hanbok« ist eine Augmented-Reality-Anwendung,

welche die Aufmerksamkeit auf die

versteckten aktiven Materialien lenkt, aus denen ein

Hanbok (traditionelles koreanisches Kleidungsstück)

besteht. Durch diese Erfahrung verwandelt sich der

Hanbok in ein interaktives Hybridmaterial.

Der Entwicklungsprozess war geprägt von der Zusammenarbeit

aus der Ferne und der Interdisziplinarität

der Teammitglieder. Anfänglich wurde

das Projekt mit wöchentlichen Besprechungen über

Zoom und ein kollaboratives Whiteboard mit Miro

durchgeführt. Es folgten Diskussionen und Tests

verschiedener Interaktionstechniken, wie z.B. einer

»Stretching«-Geste. In der zweiten Hälfte des Entwicklungszeitraums

halfen zwei weitere Softwareentwickler

bei der Umsetzung von Prototypen, die

durch einfache Bereitstellung von Weblinks gemeinsam

genutzt wurden. Dies ermöglichte sofortige Remote-Tests

und Diskussionen.

Um dies zu erreichen, setzte das Team webbasierte

Technologien ein, um ein Augmented-Reality-Erlebnis

zu schaffen, auf das überall zugegriffen werden

kann, ohne eine native Anwendung für Android oder

iOS herunterladen zu müssen. Zu den wenigen ausgereiften

Bibliotheken für webbasiertes AR gehört

A-Frame, das HTML-Markup für die Gestaltung von

3D-Szenen und ein ECS-Modell (Entity-Component-

System) für die Programmierung interaktiver Inhalte

bietet. Sie nutzt auch die WebXR-API, die von

den großen Browser-Herstellern (Google, Mozilla,

Microsoft) standardisiert wird und eine Abstraktion

zu nativen AR-Lösungen wie ARCore auf Android

bietet. Wie bereits erwähnt, besteht der Vorteil dieses

Ansatzes darin, dass die Nutzer mit ihren Smartphones

auf das Erlebnis in einem Ausstellungskon-


text zugreifen können, ohne eine App installieren zu

müssen. Nichtsdestotrotz hat das Team eine weitere

Version für die INKA-App implementiert, um die

Performanz, das Nutzererlebnis und den Implementierungsaufwand

zu vergleichen, die alle Teil der

weiteren Forschung sein werden.

More technical details can be found in:

Yoonha Kim and Julien Letellier, »Hanbok in Augmented Reality: Case Study

for Collaborative Design and Prototyping,« in Proceedings of ACM Culture and

Computer Science Conference 2021 (New York: ACM, 2021).

21


ACKNOWLEDGEMENTS

The projects AURORA and XR_Unites are funded

by the European Regional Development

Fund’s (ERDF) special program »Strengthening

the Potential for Innovation in Culture II« (INP-

II) with kind support from the Berlin Senate Administration

for Culture and Europe—our special

thanks go to the ERDF for the main financing of

both the exhibition and the publication as cultural

highlights at the end of the AURORA project.

The APOLLO project’s contributions would not

have been possible without funding from the European

Regional Development Fund (ERDF) and

kind support from the Berlin Senate Administration

for Education, Science, and Research.

AURA is generously co-funded by the Creative

Europe Program of the European Union.

Die Projekte AURORA und XR_Unites werden aus

Mitteln des Europäischen Fonds für Regionale Entwicklung

(EFRE) im Rahmen des Sonderprogramms

»Stärkung des Innovationspotenzials in der Kultur

II« (INP-II) mit freundlicher Unterstützung der

Senatsverwaltung für Kultur und Europa gefördert –

unser besonderer Dank gilt dem EFRE für die Übernahme

des Großteils der Finanzierung sowohl der

Ausstellung als auch der Publikation als kulturelle

Highlights zum Abschluss des Projekts AURORA.

Die Beiträge des Projekts APOLLO wären ohne die

Finanzierung durch den Europäischen Fonds für

regionale Entwicklung (EFRE) und die freundliche

Unterstützung durch die Berliner Senatsverwaltung

für Bildung, Wissenschaft und Forschung

nicht möglich gewesen.

AURA wird großzügig kofinanziert durch das Programm

»Creative Europe« der Europäischen Union.

IMPRINT

»Extended Reality – Code and Materiality in Art

and Culture« is published under the creative

commons licence CC BY-NC-ND 4.0.

»Extended Reality – Code und Materialität in

Kunst und Kultur« wird unter der Creative Commons

Lizenz CC BY-NC-ND 4.0 veröffentlicht.

Together with the catalog, the »Technical Insights«

accompany the interactive exhibition »Extended

Reality – Code and Materiality in Art and Culture«,

Berlin, 3.–30.09.2021, an event by the INKA research

group at the HTW Berlin in cooperation with the

Faculty of Humanities and Social Sciences, the Media

Theater, and the Cluster of Excellence »Matters of

Activity« at the Humboldt-Universität zu Berlin.

The publication is funded by the European

Regional Development Fund’s (ERDF)

special program »Strengthening the Potential

for Innovation in Culture II« (INP-II)

with kind support from the Berlin Senate Administration

for Culture and Europe.

22

Gemeinsam mit dem Katalog begleiten die

»Technical Insights« die interaktive Ausstellung

»Extended Reality – Code und Materialität

in Kunst und Kultur«, Berlin, 3.–30.09.2021,

eine Veranstaltung der INKA-Forschungsgruppe

an der HTW Berlin in Kooperation mit der Geistes-

und Sozialwissenschaftlichen Fakultät, dem

Medientheater und dem Exzellenzcluster »Matters

of Activity« an der Humboldt-Universität zu Berlin.

Die Publikation wird gefördert aus Mitteln des Europäischen

Fonds für regionale Entwicklung (EFRE)

Sonderprogramm »Stärkung des Innovationspotenzials

in der Kultur II« (INP-II) mit freundlicher

Unterstützung der Berliner Senatsverwaltung

für Kultur und Europa.


23


24

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!