Ein iPad gab es lange schon vor Steve Jobs’ erster Präsentation – im Star Trek Film, auch die Rakete zum Mond flog in Jule Verne’s Büchern bereits 1865. Science Fiction und technische Entwicklungen beeinflussen sich wechselseitig. Am bestem sieht man das, wenn Virtuell und Special Effect Genies ihre Künste vorführen und sich dabei hinter die Kulissen schauen lassen.

Genau das war letzte Woche auf der FMX 2021 zu sehen, die online stattfand. FMX ist der lang ersehnte Nachfolger einer ehemals kleinen, aber exquisiten Veranstaltung für Insider aus aller Welt, die viele Jahre die Virtuell und Special Effects Welt nach Frankfurt brachte. Inzwischen ist die Branche haushoch gewachsen, der Nachschub von jungen Kreativen aus den Filmhochschulen immens und es gibt praktisch keine Filme mehr, die ohne virtuelle Aufhübschung und Ergänzung gedreht werden – und wenn es nur zur Kostensenkung und Vereinfachung des Drehs ist.

Was ist der Unterschied zwischen Special Effects (SFX) und Virtuell Effects (VFX)?

Ganz knallhart gesagt – künftig keiner. Bisher waren die Special Effects Guys vor und beim Dreh etwa zuständig für die Planung und Durchführung von realen Verfolgungsjagden mit Autos oder Flugzeugen, für optisches Krach und Bumm, wenn Häuser oder Sonstiges in die Luft fliegen sollte.

VFX hieß noch vor einigen Jahren CG (Computer generated Graphics). Aber so wie der Hausmeister zum Facility Manger wurde, so evolvte auch die Bezeichnung der Computer Künstler. Früher ergänzten die VFX Kollegen nach dem Dreh am Computer die einsamen drei realen Schauspieler im Vordergrund mit einer Masse an virtuellen Menschen zu einer Armee von Kämpfern. Sie drehten fürs Raufkraxeln die Hauswände um 90 Grad am Computer und erschufen Monster. Gut, King Kong und anderes Ungetier gab es oft auch in Fell-Maschine echt. Also eigentlich SFX.

„Atmet das Ding da tatsächlich?“ schrie ein Schauspieler entsetzt über eine animierte atmende künstliche Katze, mit lebensechtem Fell und allem Drum und Dran, während er sie mit seinem Fuß quer durchs Studio schleuderte. So schilderte es ein SFX Entwickler: „Es kostete uns Wochen, bis die interaktive Katze wieder voll funktionsfähig für den Dreh einsetzbar war…“

Harte Grenzen zwischen den beiden Abteilungen/Firmen, die so eigentlich auch früher nicht existierten, verschwinden nun komplett. 650 VFX-Szenen zeigt etwa der Film News of the World mit Tom Hanks. Rund die Hälfte dieser teil-virtuellen Szenen fanden schon während des Drehs statt, als Hanks mit seiner jungen deutschen Begleitung auf dem Station wagon entlang zahlreicher Green und Blue Screens fährt und die Häuser noch einstöckig oder mit anderem Oberbau als später im Film für Zuschauer zu sehen sind. VFX Künstler sind mittlerweile mit am Dreh dabei.

Die Filmindustrie erfindet sich selbst neu

XR, Extended Reality, nennt sich der neueste Trend. Ein Kurzfilm, der 2020 zur Veranschaulichung gedreht wurde, was damit machbar ist, fand komplett in einem virtuellen Set statt. Das darf man sich so vorstellen, dass der Hintergrund am Set auf eine zusammengesetzte, große, leicht gebogene Leinwand aus mehreren Computern projiziert wird. Realitätsnah für die Schauspieler, die sich so wenigstens nicht mehr vor blauem oder grünem Hintergrund vorstellen müssen, wie die Umgebung um sie später im Film aussehen könnte. In kurzer Zeit lassen sich so auch Drehorte „wechseln“, egal wo sie stattfinden sollen.

Der virtuelle Szenenhintergrund ist analog zu Bildern in Fotobearbeitungs- oder Animationssoftware in mehreren Ebenen erstellt, sodass man die realen Schauspieler später dann einfach hinter einen virtuellen Baumzweig platzieren kann, oder auch in ein Gebäude verschwinden – pardon eintreten – lassen kann. Am realen Fußboden ist ein wenig echte Erde mit singulären Pflanzen drapiert, damit es bei den Füßen keine komischen Übergänge zwischen realem Dreh und Computer generierter Umwelt gibt. Dieser Effekt ist Zoom-Teilnehmern von Fake Hintergrundbildern im virtuellen Meeting bekannt.

Die Sache mit der gebogenen großen Leinwand, auf die die Umwelt drauf projiziert wird, kommt Lotsen durch den Tower Simulator und Piloten im Full Flight Simulator sicher bekannt vor. Die wissen aber auch, dass schon die sehr bruchstückhafte und skizzenartige Darstellung der Umgebung den Computer an die Grenzen seiner Leistungsfähigkeit bringt. Was noch ein paar Universen entfernt ist von der detailgetreuen Darstellung in Kinofilmen oder Games…

Erweiterte Realität

XR ist die Kombination aus ergänzter Realität (Augmented Reality, AR) und Virtueller Realität (VR) plus menschlicher Interaktion mit einem Computer. Das Nonplusultra sozusagen. Denn in AR allein kann man mit den projizierten digitalen Hologrammen nicht interagieren, in der VR wiederum fehlt der reale Mensch und die menschliche Interaktion anderseits braucht Computer-Unterstützung, um realitätsgetreu zu wirken. In 2020 mixte man nun AR, VR und die menschliche Aktion zusammen und erschuf so XR, die Extended Reality – die im oben erwähnten Kurzfilm aufs Extrem getrieben wurde – kein realer Filmdrehort mehr im gesamten Film.

Da ich aus Urheberrechtsgründen keine Bilder oder gar Filme aus den Präsentationen zeigen darf, gibt es hier einige YouTube-Links, die den Text ein wenig illustrieren:

Zu XR (YouTube)
Conceptvideo von Microsoft zur künftigen Arbeitswelt (YouTube)
Eine weitere Firma, die sich mit „Arbeit beschäftigt, wie sie sein soll“ ist Spatial.I.O

Reimagine Tomorrow*

Gerade wandelt sich die Filmindustrie so krass, wie vor 100 Jahren vom Stummfilm zum bewegten Farbbild. Viele Jobs wie beispielsweise Location Scouts werden verschwinden; Schauspieler müssen erneut lernen, dass ihr Dreh nun anders funktioniert. Die Anzahl der Computerjungs und Mädels nimmt rasant zu und Regisseure und Drehbuchentwickler wandeln sich zu Wissenden, was wie am Rechner für den Betrachter glaubwürdig erschaffbar ist.

Aber abgesehen davon, dass es super spannend ist, hinter die Kulissen der Filme zu sehen und das Machen in meinen Augen oft interessanter ist, als der spätere perfekte Film, liefert die Filmindustrie auch die Blaupause für unseren künftigen Alltag. Für unser Zusammenleben und das Handeln mit anderen. Eigentlich waren es sogar die Gamer, die Spielkonsolenindustrie, die, lange Zeit belächelt und nicht ernst genommen von Hollywood, nun den Filmemachern zeigen, wie es geht.

Digitale Menschen

Wir alle sind es mittlerweile gewohnt, Freunde und Geschäftspartner (nur mehr) auf dem Bildschirm zu sehen. Hybrides Arbeiten wird auch nach der Pandemie seinen Platz haben. Die Vorteile des flexiblen Arbeitsplatzes, Arbeitsteams über den Erdball verstreut und eine bessere Work-Life-Balance werden noch mit dem Fehlen des persönlichen Kontakts zu den Kollegen bezahlt.

Doch die Technik ist still und leise, fast unbemerkt von der allgemein Öffentlichkeit, schon viele Schritte weiter. Im Action/Horror Film ist es längst Alltag: Der Schauspieler spricht, schreit oder grunzt seine Rolle vor der Kamera und ein (leistungsstarker) Computer übersetzt seine Bewegung, die Mimik und Lippenbewegungen auf ein computergeneriertes Monster, Alien oder Tier.

Wie wir miteinander kommunizieren, wird sich unabhängig vom Ende dieser Pandemie gründlich ändern.

Wir werden uns virtuell teleportieren vom eigenen Ort zum Kunden, wir werden virtuell interagieren mit dem Gegenüber, als ob wir uns real im gleichen Raum befinden würden. Zu jeder Zeit, an jedem Ort, mit jedem gewünschten Partner. Das erfordert eine dreidimensionale virtuelle Repräsentation des Nutzers, für die es auch bereits einen neuen Ausdruck gibt: die Telepresence, die nicht gleichwertig ist mit dem deutschen Wort Telepräsenz.

Microsoft promoted seine HoloLens 2 so: Das ist…ein kabellosen Mixed Reality-Gerät, das die Zusammenarbeit im Team fördern und Unternehmen helfen soll, produktiver zu sein und Innovationen gezielter zu entwickeln.

Auch Mark Zuckerberg will die XR-Technik für Otto-Normalverbraucher anwenden und dabei „nichts mehr als unsere sozialen Interaktionen (erneut) revolutionieren“: Persönlich gestaltete Avatare, also Visualisierungen des eigenen Ichs mit virtuellem Körper und Bewegung, Lippenbewegung und Gesichtsausdruck werden vom realen Menschen gesteuert. Das gemeinsame Treffen im virtuellen Raum wechselt so fast in die reale Welt. Und umgekehrt.

Wir werden Fitnesskurse gemeinsam online erleben: gemeinsam schwitzen, Beine heben, Bauch anspannen. Der hoffentlich lächelnde Avatar muss alles bewegen, was wir ihm kalorienverbrauchend vormachen und alle Kursteilnehmer befinden sich virtuell im gleichen Raum.

„Wir möchten so viele Menschen wie möglich dazu bringen, die virtuelle Realität zu erleben und ins Metaverse zu beamen, damit sie dort ihre sozialen Erfahrungen erleben können.“
– Mark Zuckerberg

Das künstliche Ich

Avatare werden immer menschenähnlicher werden, bis zur kompletten Ununterscheidbarkeit zwischen Mensch und Kunstgestalt auf dem Bildschirm. Daran arbeitet etwa die Firma Soul Machines. („Astonishing Digital People™ for multiple industries and use cases“). Soul Machines besitzt das Patent für ein digitales Gehirn (Digital Brain), das in Echtzeit die Umgebung mit einbezieht und den Avatar ähnlich wie menschliche Interaktionen kontextualisiert und anpasst.

Aber was ist daran Zukunft? Schon jetzt gibt es künstliche, digitale Menschen, die in den sozialen Netzwerken Millionen von Follower haben und verehrt wie reale Menschen werden. Das mag für manche krank wirken, Realität ist es bereits. Die AI generierte** Influencerin Lil Miquela hat mittlerweile mehr als eine halbe Million Follower auf Instagram, modelte für Marken wie Diesel und Chanel und singt ihre eigene Songs…

In den Startlöchern steht auch Software für Bekleidungsfirmen, die Online Avatare anbieten, die man mit den eigenen Körpermaßen und Aussehen (Haare, Gesichtsfarbe) personalisiert. Danach dreht und bewegt sich der Modelavatar um 360 Grad und zeigt dem Betrachter recht real, wie das Kleidchen am eigenen Körper(umfang) sitzen würde.

Alle Blockbuster Movies nutzen heute virtuelle Darsteller. Entweder ausschließlich oder zumindest als eine Art Double für gefährliche Szenen (Feuer am Körper, Explosion…) oder wenn sie in einem anderen Alter (jünger, älter) handeln. Noch kosten die digitalen Menschen sehr viel Geld, wenn sie realistisch und überzeugend sein sollen und man braucht eine ganze Horde an Künstlern, die mit der entsprechenden Software technisch und kreativ umgehen können. Aber die Entwicklung schreitet mit Riesenschritten voran und es ist nur eine Frage der Zeit, bis die Technologie für alle einsetzbar ist.

Irgendwann werden die Menschen überflüssig werden. Welche digitale Kreatur schert sich dann noch um so etwas Zerbrechliches und Empfindliches wie Humans?

Rendern in Echtzeit, also die Berechnung der gewünschten Bewegungen und Effekte schnellstmöglich auch zu sehen, ist zurzeit noch eine der Hürden. Der brandneue Ansatz dafür ist das Neuronale Rendern, also rendern, berechnen, mit einem neuronalen Netzwerk der Künstlichen Intelligenz (AI). Für Fachchinesisch-Liebhaber:innen: CG X Neural.

Kostenfreie Software bis zu 1 Million Dollar

Ein ungewöhnliches Verkaufsmodell haben die mittlerweile recht umfangreichen Softwarepakete, die hinter der Erstellung von digitalen Menschen und Welten stehen. Der Einsatz ist kostenfrei und etwa bei der Unreal Engine sind erst ab 1 Million Gewinn mit dem erzeugten Produkt 5 Prozent an Abgabe fällig. Das rechnet sich dann bei einem Blockbuster, der einen zweistelligen Millionen-Betrag einspielt, für den Hersteller durchaus. Andererseits können so die Studenten an den Filmhochschulen kostenfrei gleich das richtige Produkt erlernen, womit sie in der Branche gefragt sind. Eine klug durchdachte Win-win-Situation für alle.

Auf der FMX2021 erzählten und erklärten die Macher aktueller Filme wie sie Godzilla vs. Kong, Soul, Over the Moon und die Welt für Tom Hanks in News of the World erschufen. Dazu zählte auch die am Computer generierte Welt für Jim Button and the Wild 13.

Jim Button? Das war doch… 🙂
Ja, genau….

---

* War das treffende Motto der FMX2021.

AR = Augmented Reality blendet (etwa auf einem mobilen Gerät) zusätzliche Information zur realen Umgebung ein. AR ist kein komplettes Eintauchen in eine andere Welt. Das wäre VR, die virtuelle Realität, in die man etwa mit entsprechenden, noch sehr voluminösen Brillen eintaucht.

**AI oder KI; Artificial Intelligence, Künstliche Intelligenz –
dazu gäbe es so viel mehr zu sagen und zu zeigen, aber das wäre ein anderes – Buch… 🙂