Rapid Digitization und Online-Umgebungen für Theater
Marcel Karnapke (Cyberräuber) im Gespräch mit Theaterwissenschaftlerin Birgit Wiens.
Virtuelle Museen entwickeln, die archäologische Forschungsergebnisse vermitteln: mit solchen Projekten begann Marcel Karnapke am VR-Labor der Bauhaus-Universität Weimar, in Kooperation mit der Cambridge University/UK, seine Arbeit als VR-Engineer und Gestalter. 2016 gründete er mit Björn Lengers das Medienkünstler-Duo CyberRäuber; seither gehört zu seinen Schwerpunkten die 3D-(Re-)Konstruktion bzw. Digitalisierung gebauter, materieller Bühnenbilder bzw. -räume oder auch ganzer Theatergebäude (z.B. des DT Berlin).
Im Folgenden spricht er über seine Idee, solche Digitalisate auch für neue Projekte bespielbar zu machen und über seine kontinuierliche Auseinandersetzung mit Entwicklungen im High-Tech-Bereich, aktuell besonders mit Konzepten und Kontroversen um das sogenannte Metaversum.
Der Begriff „Metaversum“, erstmals in Neal Stephensons SciFi-Roman Snow Crash (1992) zu finden, steht für die Utopie eines vollständig immersiven Raums, in dem man sich begegnen und ‚leben‘ kann. Die Verheißung von Internet und Digitalmedien war einst, dass wir Information, Wissen und Kreativität global teilen können. Mit den Technologien und Anwendungen, die Konzerne wie Meta und Microsoft heute für eine schöne neue Welt der Metaversen entwerfen, dominiert das Kommerzielle. Das Labor, das Du in München durchführst, heißt „Das Metaversum als Bühnenlabor“. Worauf zielt Dein Ansatz?
„Metaversum“ ist eigentlich ein Sammelbegriff für Anwendungen, die es User*innen ermöglichen, im Netzwerk zusammen mit anderen Orte, Spiele und Sozialität zu gestalten. Mit Second Life gab
es schon vor fast 20 Jahren eine solche Anwendung für den Computer; neu ist, dass Inhalte jetzt via AR- und VR-Hardware genutzt und gestaltet werden können. Um jedoch maximale Freiheit in
Ausdruck und Gestaltung zu haben, sollte man bei der Wahl der Anwendung Vorsicht walten lassen. Produktentwicklungen der Firma Meta (ehemals Facebook) oder von Microsoft zielen in der Tat massiv auf den kommerziellen Markt und auf Skalierbarkeit. Große individuelle Ausdrucksmöglichkeiten zu bieten oder Zensurfreiheit wird daher nicht angestrebt. Anwendungen wie VRChat bieten dagegen Optionen, online quasi private Räume gemeinsam zu gestalten. Man findet Elemente vor, die es für schnelles Entwerfen braucht: frei nutzbare Räume aus vielerlei Genres, tausende Kostüme
(Avatare) und Spiel-Logiken, die man direkt nutzen kann. Etwas selbst zu programmieren wird sogar unnötig, wenn man, wie beim „Versteckspiel“, bereit ist, mit seinen Mitstreiter*innen Regeln mit-
einander zu verhandeln und sich abzustimmen. Ich denke, das Potential solcher Anwendungen ist enorm und die Grenze ist letztlich die eigene Phantasie.
Bei der Tagung Szenografisches Wissen und das Archiv, die wir im Januar 2020 an der Berliner Volksbühne durchgeführt haben, hast Du über „Rapid Digitization, Archivierung und Exploration physischer Bühnen“ gesprochen. Das digitale Dokumentieren und Beforschen von Raumgestaltungen und das Nachdenken über einen kreativen Umgang damit sind Leitfragen vieler Deiner Projekte.
Meine Auseinandersetzung damit ging beim Arbeiten mit Laserscannern im Weimarer VR-Labor los. Dabei handelt es sich um ein Raumerfassungsgerät, das mit verschiedenen Skalierungen arbeiten kann. Das ist etwa für die Archäologie interessant, z.B. kann man damit Felszeichnungen im Submillimeterbereich visualisieren, in vielen Details. Dieselbe Technologie ermöglicht zudem, viele Quadrat-
kilometer Fläche digital darzustellen. Da erschlossen sich neue Möglichkeiten. Mit Kay Voges entstand die Idee, die Technologie auch im Theater einzusetzen. Er wollte das Bühnenbild der Borderline Prozession, das Michael Sieberock-Serafimowitsch als Rauminstallation mit 14 Spielorten entworfen hatte, dokumentieren. Das Hauptproblem war die Simultanität der Spielorte. Eine Möglichkeit war, alles mit der Handkamera abzufahren und mit Video und Splitscreen zu arbeiten. Das hätte bedeutet, dass am Schnittpult dann immer jemand den Blick lenkt, den man jeweils auf die Spielorte bekommt. Ziel war aber, dass das Publikum selbst die Perspektiven auswählen und navigieren kann.
Die Memories of Borderline wurden als VR-Installation auf dem Berliner Theatertreffen 2017 und später auf der Ars Electronica präsentiert. Ihr habt die Bühne gescannt, erkunden konnte man die
entstandene Datenwelt mithilfe einer VR-Brille.
Mithilfe eines damals noch sehr teuren Laserscanners haben wir interessantes Neuland betreten. Ein Industriepartner hat uns unterstützt. Bis dahin wurde dieser Scanner v.a. in der Architektur eingesetzt, um Blueprints zu machen. Von der Seite sind wir auch erst einmal ausgelacht worden. Am Schauspiel Dortmund hatten wir zudem nur einen Tag Zeit. Doch dann war alles gar nicht so kompli-
ziert: Wir haben im Bühnenbild und Theaterraum, ausgehend von dreißig Scanpositionen, über 30.000 m3 an Daten erfasst, und das hat nur sechs Stunden gedauert. Diese Daten haben wir dann in virtuelle Modelle umgewandelt. Man muss dazusagen, dass es uns nicht um fotorealistische Darstellung ging, sondern darum, eine Erinnerung zu schaffen; daher die zerrissenen Objekte und Verzer-
rungen. Noch ein Wort zum Laserscanner an sich: Früher war er nicht unter einem sechsstelligen Betrag zu haben. Inzwischen kosten solche Geräte, z.B. von Leica, ‚nur‘ noch ca. 15.000 Euro. Auch die Leihgebühren wurden günstiger und die Bedienung einfacher. Das hat mit der High-Tech-Forschung im Bereich Autonomes Fahren zu tun und mit Versuchen, Autos das ‚Sehen‘ beizubringen. Und der Trend setzt sich fort, heute baut Apple Laserscanner auch in Smartphones ein, also in Geräte, die jeder bzw. jede von uns heute im Alltag verwendet.
Wenn man das alles mitdenkt, welches Potential siehst Du da für die Kunst?
Während der Pandemie haben wir eine virtuelle Version des Deutschen Theaters Berlin erstellt und das Festival Radar Ost 2021 konnte darin online stattfinden. Solche Daten kann man für Planun-
gen, Konzeption, Skizzen und auch Online-Veranstaltungen verwenden. Ich nenne das auch „digitale Knete“: Man kann in die Architektur oder Bühnenbilder quasi eindringen und die Perspektiven im digitalen, postphysischen Raum völlig frei wählen. Auch gestalterisch ist man erst einmal frei, und man kann am Laptop skalieren und in einer Online-Umgebung zu einer Maus werden oder zu einem Riesen. Was mich auch fasziniert, ist, dass diese Technologien offenbar einen sehr alten Teil unseres Gehirns stimulieren, nämlich den Orientierungssinn, mit dem wir als ehemalige Jäger und Sammler Wege sehr gut erinnern können. Ich habe mit Zuschauer*innen gesprochen, die überzeugt waren, die Borderline Prozession gesehen zu haben, obwohl sie nur mit VR-Brille die Memories of Borderline erlebt haben. Im virtuellen DT wiederum konnte man sich besonders gut zurechtfinden, wenn man das Haus von Theaterbesuchen vor Ort kannte. Die Auseinandersetzung mit solchen Erfahrungen interessiert uns, auch für künftige Projekte.
Wie steht es mit Datenvolumen, Zugänglichkeit oder etwa auch Copyright-Fragen?
Mit dem Laserscanner erfassen wir Trillionen von Datenpunkten und zugleich entstehen Farbwerte, da wir, beim Erfassen der Koordinaten, auch eine Kamera benutzen. Was anschließend passiert, ist ein „Malen nach Zahlen“ mithilfe von Algorithmen. Intensiv haben wir uns damit beschäftigt, wie man solche Datensätze verkleinern kann, z.B. vergleichbar einer MP3-Kompression, und wie man trotzdem die Fidelität von Klang und Optik erhalten kann. Wir haben tatsächlich auch eine Lösung gefunden. Wichtig war, die Datenvolumina so sehr komprimieren zu können, dass man ein Bühnenbild, das Tausende m3 umfasst, im Webbrowser aufrufen und anzeigen kann. Wichtig ist uns auch, dass diese Digitalisate eben nicht irgendwo nur auf Festplatten liegen. Deshalb haben wir – mit Erlaubnis des Theaters – das Bühnenbild der Borderline Prozession bei Coding da Vinci auch voll-
ständig veröffentlicht. Jede*r kann es sich jetzt auf den Computer oder in eine Cloud herunterladen, darin herumgehen oder sich in dieser VR-Umgebung mit anderen verabreden, mit Kollokation experi-
mentieren, und vieles mehr. Zudem kann man es sich mit dem 3D-Drucker ausdrucken. Das gebaute Bühnenbild der abgespielten Produktion hingegen existiert nicht mehr.
In Ankündigungsvideo zu Deinem Labor sprichst Du über ein Museum in Minsk (Ihr wart dort 2021 beim Goethe-Institut zu Gast), wo Skulpturen u.a. von Lenin und Stalin technologisch gescannt und
auf neuestem Stand digitalisiert wurden: High Tech ist ein „mächtiges Werkzeug zum Erstellen von Archiven“. Das wirft Fragen auf, die auch über das Künstlerische hinausreichen. Doch bleiben wir beim Bühnenbild, das in der Tat eine vergängliche Kunst ist. Theatermuseen, z.B. das DTM München, arbeiten heute daran, ihre Bestände, v.a. für Forschungszwecke, zu digitalisieren. Du sagst, es braucht nur wenige Daten aus Skizzen, Modellen, Theaterfotos, um ein Bühnenbild virtuell zu rekonstruieren und auch, um damit immer wieder Neues zu machen. Das könnte, seriös, eine Arbeit am kulturellen Gedächtnis der Szenografie bedeuten. Oder führen solche Ansätze vielleicht auch verstärkt zum raschen Aneignen und Kopieren von Ideen?
Zentraler Aspekt bei der Erstellung eines „digitalen Zwillings“ z.B. einer Skulptur, ist zunächst die Bewahrung der Objekte in digitaler Form. Vorrangig haben wir jedoch daran gearbeitet, reale Orte im virtuellen und digitalen Raum begeh- und erlebbar zu machen; das bedeutet vor allem, Menschen aus verschiedensten Regionen der Welt via Internet und Software die Möglichkeit zu geben, gemeinsam an Objekten zu forschen und sie, fotorealistisch, dort vernetzt nutzbar zu machen. Damit sie in Multi-User-Umgebungen zugänglich werden, ist es wichtig, Digitalisate von Objekten zu erstellen. Daten können dort auf vielfältige Weise visuell und räumlich gemeinsam manipuliert und disseminiert werden. Erst in der Exploration durch viele User*innen entfalten digitale Zwillinge ihr Potential; als ‚digitale Knete‘ können sie re-kontextualisiert, umgeformt oder mit anderen Objekten verglichen werden. Die Werkzeuge dafür werden immer einfacher. Ein digitales Archiv verschiedener Bühnenbilder aus diversen Epochen wäre gerade für vergleichende Studien ein wahrer Schatz. Angesichts solch vielfältiger Potenziale stellt sich für mich weniger die Frage nach dem Kopieren von Ideen; vielmehr sollte man sich fragen, ob nicht ohne solche Strukturen eine gigantische Chance für Inspiration und Forschung droht, verloren zu gehen.
Nochmals zur Frage nach Möglichkeiten künstlerischen Forschens und auch der Intervention und kritischen Distanznahme in den neuen Metaversen. Die Technologien geben viel vor, Leitprinzip ist heute „‚Create‘, ‚share‘ and ‚monetize‘“ (1). Und da ist unsere öffentlich geförderte Theaterlandschaft und freie Szene. Wie habt Ihr dieses Spannungsverhältnis diskutiert, welche Spielräume für Kunst konntet
Ihr ausmachen? Welche Erkenntnisse nimmst Du selbst mit aus Deinem Münchner Labor?
Ein Versteckspiel vor der realen Welt ist tatsächlich etwas, die das Metaversum geneigten User*innen zu verheißen mag. Im Kern bedeutet es aber auch, dass ein gutes Metaversum vor allem eine Art Sandkasten oder Sandbox ist: ein Ort, der zum Ausprobieren, Flanieren und vor allem zum Spielen einlädt. Jeder Spielplatz in der realen Welt bietet Kindern und Erwachsenen durch seine Bebauung bestimmte, begrenzte Interaktionsmöglichkeiten. Einigt man sich jedoch miteinander auf eine Phantasie, auf eigene Spielregeln, so kann man fast völlig frei eigene Spiele und Bedingungen gestalten. Ähnlich verhält es sich in den Metaversen; auch wenn diese maßgeblich von Restriktionen bestimmt werden, ist es möglich, sie zu umgehen und, gemeinsam mit anderen, Umgebungen zu nutzen oder
auch zu erweitern. Dabei ist nicht zwingend notwendig ist, Räume am Computer oder in der VR selbst zu gestalten und komplexe Algorithmen oder Programme zu schreiben. Vielmehr reicht aus, jeweils Verabredungen unter den beteiligten Nutzer*innen zu treffen und sich selbst gemeinsam die Spielregeln auszudenken. Alle Ideen beginnen im Kopf und können, auch auf Basis von Gelerntem,
durch Entwicklung und Gestaltung im Spiel konkretisiert werden. Was damit angestoßen werden kann, ist ein rapider Prozess, der neue Formen von Design inspiriert und bei dem, wie ich meine, der individuelle Grad von Tech-Kompetenz und Expertenwissen keine große Rolle mehr spielt.
- Zur Diskussion um das „Metaversum“ s.a. den Text von Philipp Wüschner: „Und drittens als Spiel. Über die Politik des Metaverse“ (2022), auch in unserer Projektmediathek abrufbar.
Marcel Karnapke ist VR-Engineer, Entwickler und, mit Björn Lengers, Teil des Berliner Künstlerduos CyberRäuber. BA/MA Studium an der Bauhaus-Universität Weimar, diverse Preise für Projekte am dortigen VR-Labor, Entwicklung interaktiver, narrative 3D-Formate für virtuelle 360°-Erfahrungen. 2016 entstand in Kooperation mit Kay Voges /Schauspiel Dortmund das VR-Projekt Memories of Borderline (TT Berlin 2017, Ars Electronica Linz). Schwerpunkte sind seither die 3D-(Re-)Konstruktion bzw. vollumfängliche Digitalisierung gebauter, materieller Bühnenbilder bzw. -räume oder ganzer Theatergebäude (z.B. DT Berlin), zudem Motiontracking und VR-Holografien für VR- und AR-Anwendungen im Theater-/Tanzbereich.