Labor #5

AR-LOOPMACHINE
// MIT OLIVER PROSKE

4.11.–8.11.2022 in Dresden

Werkstattbericht von Ronja Lena Dörr

In Labor #5 „AR-Loopmachine“ in Dresden konnten die Teilnehmenden mit den Laborleiter*innen Oliver Proske, Yui Kawaguchi und Christoph Seeligmüller die Potenziale und Grenzen der Anwendung von AR-Brillen ausloten und erproben.

Augmented Reality als Erweiterung der optischen Sinnesebene

Seit 2016 gibt es die ersten kommerziellen transparenten Brillen, mit denen die dreidimensionale Realität um virtuelle Elemente erweitert werden kann. Diesem „magischen Sprung“, der durch die AR-Technologie möglich wird, verdankt das Modell, das die Teilnehmenden im Kurs nutzten, seinen Namen: „Magic Leap“.

– Oliver Proske

Diese Brille findet bislang wenig Anwendungen im künstlerischen Bereich, obwohl sie laut Laborleiter Oliver Proske die Einblendung dreidimensionaler Illusionen in einen realen Raum intensiver erfahrbar macht als andere Devices. Tablets oder Smartphones lassen anders als die Brille dreidimensionale Objekte nur auf 2D-Bildschirmen entstehen.

Experimente in der AR-Brille

In Dresden entdeckten die Laborant*innen die Möglichkeiten der AR-Technologie spielerisch in der „Magic Leap“-Brille. Mit Zeichenprogrammen konnten sie den um eine virtuelle Zeichenebene erweiterten Raum erfahren. Für die meisten war die Bedienung der AR-Brille Neuland. Sobald sie sich den kleinen Computer umgehängt und die Brille aufgesetzt hatten, konnten die Teilnehmenden mit dem Controller durch die virtuelle Dimension steuern. Der reale Raum bleibt währenddessen sichtbar, die Elemente legen sich wie eine zweite Ebene über das Sichtfeld der Brillenträger*innen.

Aufzeichnen, duplizieren, wiederholen: AR-Loopmachine

Die AR-Loopmachine wurde für ein Projekt von Nico and the Navigators entwickelt. Vergleichbar mit einer Loop-Station für Live-Musik erlaubt die AR-Loopmachine die Interaktion mit virtuellen Inhalten in Räumen. Das bedeutet, dass die Nutzer*innen in direkten Dialog mit vorproduzierten Inhalten treten können. Die Software ermöglicht die Aufzeichnung von Bewegungsdaten wie Choreografien sowie deren Weiterverarbeitung zum Nutzen im digitalen Raum. Tänzerin, Choreografin sowie „Hobbyprogrammiererin“ Yui Kawaguchi erklärt anhand ihrer Performance in „Du musst dein Leben rendern!“ den Workflow mit der AR-Loopmachine.

Die Teilnehmenden übten sich in der Animation von 3D-Objekten in Blender – mit und ohne Bewegungsdaten des Motion Tracking Anzugs. Außerdem lernten sie die Programmierschnittstellen des Servers kennen sowie das Ausspielen der animierten Objekte im Raum. Mit der richtigen Datei ist es einfach Inhalte auf den Server zu geben und sie dreidimensional in der Realität auszuspielen.

Spannend zu erfahren war, wie ein geeignetes Modell in die AR-Loopmachine geladen werden, die Szene platziert und die Performance über das Q-System angepasst werden kann. Es hat wirklich gut funktioniert, dass viele Leute einzeln Sachen hochgeladen haben, die dann wieder automatisch auf alle Brillen gleichzeitig verteilt wurden.

– Teilnehmer Christopher Magnus, Bühnen- und Kostümbild Student an der HfBK DD

„Am besten laufen die Systeme, wenn die Daten auf das Wesentliche reduziert sind – je kompakter die Ausgangsbasis, desto variabler die Spielmöglichkeiten“, erklärt Oliver Proske. „Wenn ich möchte, dass zwei Blumen im Raum erscheinen und eine davon vergrößert dargestellt werden soll, muss ich das Programm dementsprechend anweisen können. Dafür haben wir eine Art Sprache entwickelt, also uns auf die Benennung und Zuordnung von Ausgabebefehlen für diverse Funktionen geeinigt. So befähigen wir die Programme untereinander zu kommunizieren.“

Manches in der Brille ist sehr einfach, geht schnell und macht Spaß. Anderes dauert lange, erfordert manchmal ein halbes Jahr Coding. Um sie nutzen zu können, muss man die Technologie genau kennen. Sie ist wie ein Labyrinth, das man sich erschließen muss.

– Teilnehmerin Andra Born, Dramaturgin am tjg

„Man muss das Holz kennen, aus dem man etwas schnitzt.“

Oliver Proske schärfte in Labor #5 vor allem das Bewusstsein für die Diskrepanz dessen, was technisch möglich sein könnte und dem, was aktuell tatsächlich möglich ist. Der Umgang mit dem Server zum Upload von Daten oder das Wissen um die Möglichkeiten von Programmen zur Erstellung der virtuellen Objekte wie z.B. Blender sind notwendig, um eine Idee in die Realität umsetzen zu können. Für große Projekte in der Brille sind je nach Umfang ganze Programmier-Teams notwendig, die im Hintergrund an der Realisierung arbeiten.

Die AR-Technologie kommt nicht aus der Kunst und wird erst in den Laboren durch Kunstschaffende auf Theatertauglichkeit geprüft. Die Labore bieten Freiraum zur Zukunftsforschung und philosophischen Fragestellungen, die über die praktische Nutzung hinausgehen: Was passiert mit mir, wenn ich die AR-Brille aufsetze? Wie verändert sich meine Wahrnehmung auf die Realität (auch nach Absetzen der Brille)?

– Grit Dora von Zeschau, Chefbühnenbildnerin am tjg Dresden

Bewusstseinserweiternde AR: Realitätsbegriff

Wie verändern neue Medien die Wahrnehmungsweise unserer Welt? Medientheoretisch betrachtet, versuchen technologische Entwicklungen seit jeher „wie von Zauberei etwas in den Raum zu projizieren, was da real nicht ist; nachzuahmen, was wir uns in unseren Träumen schon ausmalen können“, sagt Oliver Proske. Mit der Entwicklung digitaler Realitäten entsteht die Möglichkeit Informationen dreidimensional und im dreidimensionalen Raum weiterzugeben. Das bezeichnet Proske als große Chance für die Vermittlung von Inhalt, denn unser Erinnerungssystem funktioniere in 3D.

Medientheorie: Neue Werkzeuge schaffen neues Denken

Wir formen unsere Werkzeuge, und dann formen die Werkzeuge uns.

Marshall McLuhan, Kommunikationstheoretiker und Begründer der Medientheorie

„Wenn eine neue Technologie einen oder mehrere unserer Sinne in die soziale Welt ausdehnt, werden sich neue Verhältnisse zwischen allen unseren Sinnen ergeben“, schreibt McLuhan im Vorwort der Gutenberg-Galaxis (1962). Die zeitgenössische Medientheorie ging bis in die 90er-Jahre von der These aus, Technik und Medien seien neutral, gleichsam bloße Behälter. Dementsprechend konzentrierte man sich allein auf die Ideen oder Ideologien, die darin transportiert würden. Laut McLuhans Medientheorie in „Understanding Media: the Extensions of Man“ (1964) sei die Information zweitrangig und trete im Medienkontext zurück. Er behauptet: „The Medium is the message“. Wirkt sich nun der Inhalt oder das Medium über welches er vermittelt wird stärker auf uns aus?

Storytelling-Medium für die Kultur

Oliver Proske will über den Tellerrand blicken. Wir wollen Kunst mit Technik kombinieren, eine Beziehung zur Augmented Reality herstellen, Geschichten erzählen, statt nur Objekte auszuwerfen. Die Brille an sich bringt die Idee schon mit, gleichzeitig die Realität und auch eine Projektion zu sehen. Aber das Medium müsse hinter der Story zurücktreten. Eine mit Tablets oder Smartphones abgefilmte und durch AR-Objekte ergänzte Realität könne beispielsweise nicht die gleichen AR-Erlebnisse erzielen wie die „Magic Leap“-Brillen. Die AR-Brille sei das einzige im Moment zur Verfügung stehende Medium, welches den Raum digital so erweitern kann, dass er für Partizipierende eine emotionale Wirkung entfaltet.

Für mich ergibt die AR-Technologie nur Sinn, wenn ich sie auch interaktiv ist. Das klassische Guckkastenprinzip funktioniert hier für mich nicht. Ich muss mich als zuschauende Person darin auch mit der Brille bewegen können.

– Teilnehmer Christopher Magnus

Vernetzung: Was im Digitalen eh schon passiert

Die Idee hinter der AR-Loopmachine ist, sie im Künstler*innen-Netzwerk für (interaktive) Theaterproduktionen als offene Plattform nutzen zu können und gemeinsam weiterzudenken. Die Dresdner Laborant*innen konnten in kreativer Umgebung erste Erfahrungen mit der AR-Technologie sammeln und sich inspirieren lassen durch Anwendungsbeispiele von Menschen, die schon aktiv mit der Technik gearbeitet haben.

Oliver Proske ist überzeugt, „dass sich das Labor ausgezeichnet für Erfahrungsaustausch und Vernetzung mit anderen eignet, die vielleicht auch aus ganz unterschiedlichen Sparten an das Ausprobieren der AR herangehen.“ Und dafür die Diskussion um ein gemeinsames Verständnis für neue Begrifflichkeiten entstehen zu lassen.

Mehr über Oliver Proske erfahrt ihr im Gespräch mit Theaterwissenschaftlerin Birgit Wiens.

Wann: 4.11. – 8.11.2022
Was: “AR-Loopmachine“
Dozent: Oliver Proske
Ort:  Kraftwerk Mitte 1, 01067 Dresden
Kooperationspartner: tjg. theater junge generation
Zeit Einsteiger*innen: 4. und 5.11.2022
Zeit Fortgeschrittene: 6. – 8.11.2022