BOOKLET-SABER-MOHAMMADYAR

Ein Projekt von
Frida Höft
Luca Koning
Saber Mohammadyar

Inhalt
Einleitung
Konzept
Funktionsweise
Recherche und Experimente
Codierung
Gestaltung
Logo Entwicklung
Gallery

Einleitung
PARANOISE ist eine interaktive Zeichenmaschine,
bei der durch Bewegung und Lautstärke
eine Zeichnung entsteht, die dann wiederum in
ein Geräusch umgewandelt werden kann.
Probiert das Projekt am besten selber aus:
https://editor.p5js.org/kahlofrida/sketches/
p6grcSYFu

Konzept
Da wir uns dem Thema Künstliche Intelligenz
und Gestaltung auf experimentelle und
spielerische Weise genähert haben, wollten wir
das auch in unserem Projekt widerspiegeln. So kann
der:die Nutzer:in in Echtzeit mit der Maschine interagieren
und dadurch etwas Neues erschaffen. Um den Einstieg so
leicht wie möglich zu halten, ist nicht mehr als ein Gerät mit Mikrophon
und Kamera und einen Internetzugang nötig. So kann jede:r
ihre:seine individuelle Zeichnung erstellen. Besonders interessant
für uns war die Tatsache, dass etwas lineares, zeitliches (Lautstärke,
Bewegung) in etwas statisches, zweidimensionales
(Zeichnung) umgewandelt
wird, um daraus wieder etwas lineares,
zeitliches (Geräusch) zu
generieren.

Funktion
sweise

Durch PARANOISE wird Lautstärke und Bewegung in eine grafische
Zeichnung übertragen und diese dann wiederum in ein Geräusch umgewandelt.
Die Lautstärke kann durch die eigene Stimme oder jedes andere
Umgebungsgeräusch erzeugt werden und wird von dem Mikrophon aufgenommen.
Hierbei ist es nicht von Bedeutung was, sondern wie laut etwas
gesagt wird. Durch einen Face-Tracking-Algorithmus wird die Position
der Gesichtsmitte, genauer der Nase erkannt und aufgezeichnet. So ist
es dem:der Nutzer:in möglich, den digitalen „Pinsel“ mit der Nase zu
steuern und die Dicke des „Pinsels“ durch die Lautstärke zu beeinflussen.
Durch den „reset“ Button, kann die Zeichnung gelöscht
und wieder von vorne begonnen werden.
Der
„save“ Button bietet die Möglichkeit, die entstandene
Zeichnung lokal zu speichern.
Durch Klick auf den „play“ Button, startet
der zweite Abschnitt von PARA-
NOISE.
Die Zeichung wird gescannt und zeitgleich
ein Geräusch ausgegeben. Alle weißen Linien
und Formen erzeugen einen Ton. Dabei
bestimmt die y-Position auf dem Canvas die
Tonhöhe: Je weiter oben eine Linie gezeichnet
ist, desto höher der ausgegebene Ton und
umgekehrt.

Wir haben uns dem Thema Künstliche
Intelligenz zunächst auf sehr
experimentelle Art genähert. Um
zu schauen, was die Coding-Welt
für Gestalter:innen alles bereithält,
haben wir viel in den Bereichen
Bilderkennung und Sprachanalyse
ausprobiert. Daraus haben
wir beispielsweise gelernt, wie
ein Algorithmus verschiedene
Posen und Gesten des Körpers
einstudieren und erkennen
kann oder wie eine
Maschine Emotionen au
einem Livebild ausliest.
Auf den folgenden Seiten
sind ein paar der visuellen
Outputs unserer
Experimente zu finden.
Dabei ist uns aufgefallen,
dass schon
die keinsten Änderungen
im Code,
große Unterschiede
in der
Recherche und
Experimente
Visualität hervorrufen
können.
Als Einordnung
hilft eine
kleine Tabelle
mit den
wichtigsten
Fakten
und Notizen
zum
Experiment.

Recherche und
Experimente

{ { { { { { {
Cod
let fft;
let mic;
let pose;
let poseNet;
let spectrum;
let volume;
let highs;
let mids;
let lows;
}
}
}
}
}
}
}
ier
ung
Der Code ist mit JavaScript, genauer
p5.js, geschrieben. Das ist eine Bibliothek,
die es gerade Gestalter:innen
und Neueinsteiger:innen ermöglicht,
zu programmieren. Damit der Code
aber ein Gesicht und somit die Nase
als Zeichenwerkzeug erkennt, haben
wir den Machine Learning Algoritmus
poseNet() von ml5.js eingebunden.
Die Zeichnung entsteht also durch
das Face-Tracking von ml5.js und
die fft. Analyse von p5.js, welche
die Lautstärke der eingehenden
Stimme ausliest.
Das Geräusch wird durch mehrere
Oscillatoren generiert. Diese erzeugen
Töne in den Höhen, wie die
zuvor gezeichneten Linien auf der
y-Achse liegen.

GEST
ALT
UNG

st eine interaktive Zeichenmaschine, die Sprache in
Grafiken in Rauschen umwandelt. Die Idee war, die
Menschen spielerisch einzuladen, etwas Künstlerisches
zu schaffen. Die lineare Eingabe von Stimme
und Nase führt zu einer statischen und
grafischen Ausgabe, die dann wieder
in einen linearen Klang umgewandelt

Das Experimentieren im Code hat die Gestaltung maßgeblich
beeinflusst und limitiert. So ergibt sich, dass die Gestaltungsparameter
der gezeichneten Linie im Code definiert sind und
hierdurch immer wieder eine einzigartige Zeichnung entstehen
kann. Auch wirkt sich das auf die Farbwahl aus: Damit der Code
die Zeichnung in ein Geräusch umwandeln kann, muss der Kontrast
so groß wie möglich sein. Deshalb haben wir ausschließlich
schwarz und weiß verwendet. Die Linie ist das wichtigste Gestaltungselement
und wird in Tabellen und Interface Elementen
wieder aufgegriffen.

Logo Entwicklung
PARANOISE ist eine Wortneuschöpfung aus zwei Teilen. Mit der Vorsilbe
„para“ (neben, über, hinhaus) nehmen wir assoziativ darauf Bezug, dass der
Code aus dem ersten Output einen zweiten generieren kann. Bei „noise“ ist
das Besondere, dass es auch das Wort „nose“ enthält. Diese zwei Wortbestandteile
haben wir grafisch unterscheiden, indem wir das „i“ als Differenziator
genutzt haben: Das gesamte Logo ist animiert, außer das „i“.
Die Ähnlichkeit zum Wort paranoid scheint zunächst verwirrend, ist jedoch
bewusst als Feature eingesetzt: Wir möchten so auf beide Outputs Bezug
nehmen, denn sie wirken unruhig und nervös.

GALLERY
In der Galerie zeigen wir gespeicherte Zeichnungen
verschiedener Nutzer:innen. Es ist
beeindruckend wie unterschiedlich eine weiße
Linie auf einen schwarzen Hintergrund gesetzt
werden kann. Bei der Zusammenstellung ist
uns aufgefallen, dass nicht nur die Parameter
Bewegung, Lautstärke und Zeit die Zeichnung
bestimmen, sondern auch die technischen
Geräte, die verwendet werden. Zur richtigen
Einordnung wird zu jeder Zeichnung das verwendete
Gerät mit den wichtigsten Daten
angegeben. So ist erkennbar,
dass bei leistungsstärkeren
Geräten, feinere
und präzisere Zeichnungen
entstehen. Dadurch
wird das Zusammenspiel
zwischen Nutzer:in und
Maschine nochmal deutlich.

Dieses Projekt entstand im Wintersemester 2020 / 21
an der HAW Hamburg
im Rahmen des Kurses Artificial Intelligence und
Design -> aixDesign.