Labor #6

AUGMENTING COSTUMES
// MIT LUISE EHRENWERTH UND ANTON KURT KRAUSE

23.11.–27.11.2022 in Dortmund

Werkstattbericht von Ronja Lena Dörr

Das letzte Labor der Reihe „Labore für Digitale Szenografie“ mit dem Titel „Augmenting Costumes: Kostüme als physischer Controller virtueller Welten“ fand in der Akademie für Digitalität und Theater in Dortmund statt. Gemeinsam mit Luise Ehrenwert und Anton Kurt Krause beschäftigten wir uns mit der Frage, wie sich Augmented Reality mit physischen Kostümen verknüpfen lässt.

Technologie x Kostüm

Sticken, Nähen, Lasercutten, Bügeln. In den ersten Tagen des Labors wurden im Anfängerkurs handwerklich Augmented Reality-Marker aus Stoff hergestellt, die dann auf Kostüme angebracht werden konnten.

Die Laborant*innen probierten sich mit Tablets begeistert durch Luises AR-Marker-Collection und fanden die ein oder andere Figur „auf“ den scannbaren textilen Mustern vor.

Die selbst gestalteten Stoffmuster wurden im nächsten Schritt in der GameEngine Unity mit virtuellen Inhalten kombiniert. Luise wollte den Teilnehmenden ein Grundverständnis für den Umgang mit Unity beibringen. Wie bediene ich die Oberfläche? Was muss ich wo klicken, um einen gewünschten Effekt auszulösen? Ohne viel Aufwand konnte dem AR-Marker im Programm ein virtuelles Objekt zugeordnet werden. Wurde dann dieser Marker mit einem Tablet gescannt, entstanden auf dem Bildschirm erste einfache virtuelle Kostüm-Overlays.

Im zweiten Teil des Workshops stiegen die Teilnehmenden deutlich tiefer in die Technologie und das Coden in Unity ein. Anton Kurt Krause bewegte sich mit den Teilnehmenden Richtung E-textiles und Netzwerktechnik. Gemeinsam mit Luise zeigte er, wie Kostüme mit Mikrocontrollern ausgestattet werden können, sodass die virtuellen Overlays in der AR-App per Knopfdruck verändert werden können. Je nachdem wie lange, kurz oder oft ein solcher Knopf gedrückt wird, kann ein unterschiedlicher Effekt ausgelöst werden.

Schnittstellen zwischen analogen Räumen und virtuellen Welten

Der Theaterregisseur mit Schwerpunkt auf digitale Erzählformate bereicherte den Fortgeschrittenenkurs mit seiner Expertise im Design von Schnittstellen zwischen analogen Räumen und virtuellen Welten. Die Teilnehmenden wagten angeleitet von Anton und Luise einen Testaufbau einer solchen Schnittstelle. Das ist erstmal nur ein Knopf, bestehend aus einem Mikrocontroller, der ans Netzwerk angeschlossen wird. Drückt man den Knopf, soll ein Sound oder eine Animation eines 3D-Modells abspielen oder sich die Form des Overlays verändern. Dadurch wird der Aufbau zum physischen Interface, um auf die virtuelle Welt einzuwirken. Der Fantasie sind im Code kaum Grenzen gesetzt. Man muss nur wissen, wie mans’ macht.

MQTT – mit dem Netzwerkprotokoll zum virtuellen Overlay

Dafür haben die Laborant*innen mit MQTT gearbeitet. Das Protokoll macht es Maschinen und Softwares möglich in einem Netzwerk untereinander zu kommunizieren. Der Vorteil von MQTT ist, dass es zusätzlich für den Menschen lesbar ist. Im Workshop können wir es nutzen, um Hardware, die es schon gibt, mit eigens (von uns) gebauter Hardware zu verknüpfen. Normalerweise wird das Protokoll im IoT benutzt, dem Internet of Things, zum Beispiel für die Wohnautomatisierung. Im Grunde wird im IoT etwas Dingliches mit dem Internet verknüpft: So wie der Kühlschrank, der die zur Neige gehende Milch nachbestellt. 

Rabbithole Game Engine 

Die Arbeit mit Unity und Netzwerkcode ist ein Prozess. „Von dem Moment, in dem man in den Code eintaucht und gar nichts versteht bis dahin, wenn man plötzlich sieht, dass aus dem was man da getippt hat, etwas geworden ist“, sagt Luise. Man lernt nie aus. Der Vorteil: Die Game Engine verfügt über eine große Community im Hintergrund, die Assets (add-ons) programmiert und sich gegenseitig zur Verfügung stellt. So gibt es auch einen regen Austausch über Fehlermeldungen und deren Behebung. „Es gibt niemanden, der alles weiß! Vieles am Coding-Prozess ist „Fehlersuche“ im Internet. Man findet immer jemanden, der ein ähnliches Problem hatte und einen Lösungsansatz parat hat.“ 

Obwohl beide uns wie Coding-Experten vorkommen, sagen auch Luise und Anton, sie befänden sich noch auf der Reise. In der Entwicklung mit Technologien und Software gäbe es viele „rabbitholes“: „Man kann sich in viele Kaninchenbauten verlieren. Tief in den Code einzusteigen bringt zwar den höheren Grad an Erkenntnis, aber es dauert dann manchmal auch bis man da wieder rauskommt“, sagt Anton. Im Workshop passten die beiden Dozierenden auf, dass das nicht passiert. So blieben die Aufgaben umsetzbar und waren am Ende von Erfolg gekrönt.

Betreutes Coden

„Wir hätten natürlich auch den fertigen Code zur Verfügung stellen können. Dann hätten die Teilnehmenden gar nicht programmieren müssen. Aber das wollten wir nicht.“ Anton und Luise war es wichtig, zu vermitteln, was hinter dieser Arbeit steckt: Denn „digitale Arbeit“ ist oft nicht sichtbar, weil sie im Stillen am Rechner abläuft. „Alleine das Drücken eines Knopfes an einem Mikrocontroller ist ein Kaninchenbau, in dem man sich verlieren kann. Wir wollen den Laborant*innen zeigen, dass sie fähig sind Code zu schreiben. Auch wenn es manchmal anstrengend ist und Kopfschmerzen bereitet. So können sie die digitale Welt nicht nur grafisch gestalten sondern auch funktional.“

Es ist spannend, welche Möglichkeiten sich durch die Verknüpfung von Kostüm und Technik innerhalb einer Infrastruktur auftun. Publikum, Darsteller*nnen, Tänzer*innen oder Akteur*innen können auf einer Bühne mit technischen Komponenten wie Mikrocontrollern interagieren. Künstlerisch betrachtet öffnet das einen großen Ideenraum, den man in performativen Zusammenhängen nutzen kann.

Luise Ehrenwerth ist Bühnen- und Kostümbildnerin sowie Alumna der Akademie für Theater und Digitalität. Sie leitet das Labor #6: “Augmenting costumes ─ Kostüme als physischer Controller virtueller Welten“ und vermittelt dort den Teilnehmenden, wie ein Kostüm durch die Einarbeitung von kleinsten elektronischen Bauteilen zu einem physischen Steuerungselement von anderen elektronischen (physischen wie virtuellen) Akteuren (z.B. AR-App auf einem Tablet, LEDs usw.) werden kann. Hier gehts zum Gespräch mit Luise Ehrenwerth und der Theaterwissenschaftlerin Birgit Wiens.

Anton Kurt Krause ist Regisseur und Softwareentwickler. Er ist außerdem Absolvent des Studienganges Spiel und Objekt an der HfS Ernst Busch. Seine Theaterarbeiten bezeichnet er als eine Mischung aus Spiel, Installation und performativen Elementen. Anton konnte den zweiten Teil des Workshops mit seinen Erfahrungen bereichern.                               

Wann: 23.11. – 27.11.2022
Was: “Augmenting costumes ─ Kostüme als physischer Controller virtueller Welten“
Dozent: Luise Ehrenwerth, Bühnen- und Kostümbildnerin, Alumna der Akademie für Theater und Digitalität.
Ort:  Theaterkaree 1-3, 44137 Dortmund
Kooperationspartner: Akademie_für_Theater_und_Digitalität
Zeit Einsteiger*innen: 23. und 24.11. 2022
Zeit Fortgeschrittene: 25. – 27.11.2022
Kosten:  120€ Einsteiger*innen, 140€ Fortgeschrittene