XR for real - wie Extended Reality zum Leben erwacht

Sandra: Jan, wir sprechen heute über die erweiterte Realität (XR). Was ist Ihr persönlicher Hintergrund und Ihre Erfahrung mit XR?

Jan: Als ich vor etwa 16 Jahren studierte, interessierte ich mich bereits sehr für virtuelle Realität, ausgelöst durch Filme wie The Lawnmower Man.

Während meiner letzten beiden Universitätsprojekte haben wir viel mit der erweiterten Realität experimentiert und einige Dinge entwickelt, die ein paar Jahre später zum Mainstream wurden.

Eines der Projekte war virtuelles Tischtennis. Wir haben einen Schläger genommen und Marker darauf geklebt. Mit OpenGL haben wir dann Ping-Pong damit gespielt.

Vier Jahre später brachte Sony die EyeToy-Kamera für die PlayStation auf den Markt, die mit Computer Vision ausgestattet war. Ich war mir sicher, dass die Technologie innerhalb von drei oder vier Jahren überall verfügbar sein würde, aber es dauerte viel länger, vor allem aufgrund technischer Einschränkungen.

Heute sind wir an dem Punkt angelangt, an dem AR endlich an Fahrt aufnimmt. Für die Annahme durch den Durchschnittsbürger müssen Hardware und Software noch verbessert werden, aber der Weg zur Massenanwendung ist klar.

Sandra: Apropos Software- und Hardware-Entwicklung: Wer treibt die Entwicklung von XR voran?

Jan: Der mit Abstand größte Geldgeber ist Meta. Sie haben investiert, um den Markt zu besitzen. Vielleicht waren sie zu früh dran, aber wir werden sehen. Früher oder später wird es zu einer Massenanwendung kommen.

Es gibt auch neuere Akteure, zum Beispiel Apple. Sie scheinen auch ziemlich viel zu investieren und planen, bald Geräte auf den Markt zu bringen.

Daneben gibt es mehrere kleinere Anbieter, vor allem im Bereich PC-VR. Viele von ihnen wurden von den stark subventionierten Headsets von Meta erdrückt.

Sandra: Welche Anwendungsfälle sehen Sie branchenübergreifend?

Jan: Derzeit ist der größte Anwendungsfall eindeutig das Spielen. Hier sehe ich die meiste Entwicklung, aber es gibt auch andere interessante Anwendungsfälle.

Was mich wirklich umgehauen hat, ist ein neues Sprachlerntool namens Noun Town. Es ist eine VR-App zum Lernen von Spanisch, Französisch, Italienisch, Deutsch, Japanisch und Chinesisch. Neue Benutzer beginnen in einer grauen Stadt und können ein beliebiges Objekt in die Hand nehmen und es an ihr Ohr halten, um seinen Namen zu hören. Wenn sie ihn richtig wiederholen, wird das Objekt farbig.

Schon bald nach dem Erlernen der ersten Worte können Sie kurze Gespräche mit Robotern führen, z. B. Essen bestellen.

Das ist besser als die alte Art, eine Sprache zu lernen. Das Lernen macht viel mehr Spaß und fühlt sich gar nicht wie Lernen an. Außerdem geht es viel, viel schneller.

Dies ist nur ein Beispiel für VR-Lernen. VR wurde auch für die militärische und polizeiliche Ausbildung eingesetzt, und ich sehe viele weitere Möglichkeiten, wie VR bei der Bildung helfen kann.

Eine weitere Branche, die AR einsetzt, ist die Fertigung, zum Beispiel für die Verkabelung komplexer Maschinen. Die Arbeiter haben AR-Headsets, die ihnen zeigen, wo sie bestimmte Teile montieren müssen.

In einer anderen Branche hatte Kinder ebenfalls eine sehr nette Idee: Jedes Spielzeug in den Kinder Surprise-Eiern ist mit einem QR-Code versehen, mit dem man Applaydu, eine mobile App, herunterladen kann.

Es nutzt die Kamera des Telefons und Augmented Reality, um das Spielzeug auf dem Handybildschirm zum Leben zu erwecken. Man kann das Spielzeug durch den Raum laufen sehen, ein Spielzeugtier füttern oder mehreren Tieren beim Spielen zusehen. Meine Kinder lieben diese Technologie.

Sandra: Ich habe den QR-Code im Inneren der Kindereier schon einmal gesehen und bin enttäuscht, dass ich ihn noch nie gescannt habe. Das hört sich so an, als würde das Spielzeug dadurch viel mehr Spaß machen.

Jan: Auf jeden Fall. Sogar mir hat es ziemlich gut gefallen.

Sandra: Haben Sie neue Anwendungsfälle gesehen, die vor ein paar Jahren noch nicht möglich waren?

Jan: Es ist vielleicht erwähnenswert, dass es in der Mobiltelefontechnologie enorme Fortschritte gibt. Die Tiefensensorik hat sich in den letzten 2 bis 3 Jahren verbessert.

Die High-End-Geräte von Apple sind beispielsweise mit einem LiDAR-Sensor ausgestattet, der die Entfernung von Objekten im Raum misst. Der Sensor verwendet einen Laser, um Messungen von Ihrem Telefon zur Wand, zum Stuhl usw. zu erfassen.

Eine weitere Möglichkeit, die sich mit diesen Geräten bietet, ist die Aufnahme eines Videos von Ihrer Umgebung, das in ein 3D-Modell übersetzt wird. Unser Kollege Topher hat kürzlich ein Video von unserem Büro aufgenommen. Ich habe das Quest-Headset benutzt, um darin herumzulaufen, was sehr interessant war.

Einige unserer Kunden haben bereits damit begonnen, diese Technologie zu nutzen. Ein deutscher Versicherer hat zum Beispiel virtuelle Modelle seiner Bürogebäude erstellt. Sie können nun jedes Büro in 3D besuchen und sehen, wie es aussieht.

Ich denke, die wirkliche Veränderung wird dann eintreten, wenn man Sitzungen in virtuellen Modellen von realen Orten abhalten kann.

Das ist etwas, was wir bereits bei Spielen mit Meta Quest sehen. Auch wenn die virtuelle Qualität insgesamt relativ niedrig ist, ist es eine andere Erfahrung als ein Zoom-Anruf. Es ist offensichtlich, was das für die Zukunft bedeutet: Viele Meetings werden in der virtuellen Realität stattfinden.

Ich denke, dass der gesamte Aspekt der virtuellen Präsenz einen großen Unterschied macht. Die Wirkung von VR auf Ihr Gehirn ist anders als bei einem einfachen 2D-Video. Schon bald werden Sie Kollegen, die Sie noch nie zuvor gesehen haben, ein "High 5" geben.

Sandra: Während unseres Gesprächs haben Sie über XR, AR und VR gesprochen. Wie unterscheiden sich diese Begriffe?

Jan: Sie sind ähnlich und doch unterschiedlich.

Die virtuelle Realität (VR) versetzt Sie mit Hilfe eines VR-Headsets in eine synthetische Umgebung. Alles wird in 3D gerendert.

Augmented Reality (AR) überlagert die reale Umgebung mit digitalen Objekten, z. B. mithilfe eines AR-Headsets oder der Kamera eines Telefons, wie im Kinderei-Szenario.

Erweiterte Realität (XR) ist das Schlagwort schlechthin.

Sandra: Sie sprachen von neuen Headsets und technologischen Fortschritten wie dem Lasersensor. Wie kommt es zu diesen Innovationen, und was ist für Sie eine der denkwürdigsten Innovationen?

Jan: Erfindungen kommen in Wellen. Das ist nie ein linearer Prozess.

Manchmal gibt es schnelle Fortschritte. Und dann gibt es ein Plateau, in dem nichts passiert. Dann, ganz plötzlich, schießt die Innovation wieder in die Höhe.

Wir hatten lange Zeit eine Plateauphase, und der Hauptgrund war die Latenzzeit.

Als ich vor 15 Jahren mein erstes VR-Headset hatte, litt ich unter sehr starker VR-Krankheit. Nach 3 Minuten lag ich auf dem Bett und wollte mich übergeben. Eine Verzögerung von 20 oder 30 ms reicht aus, um dem Gehirn vorzugaukeln, man sei vergiftet worden.

Es hat erstaunlich lange gedauert, bis eine Interaktion ohne Verzögerung möglich war. Andererseits ist es eine Überraschung, dass so etwas überhaupt möglich ist. Die technologischen Fortschritte, die für Echtzeit-Interaktionen erforderlich sind, sind immens.

Wenn Sie das Meta Quest Pro verwenden, das über die besten Kameras verfügt, werden Sie feststellen, dass das Erlebnis noch besser sein könnte und dass auf der Hardware-Ebene noch einige Durchbrüche erforderlich sind, die aber bei ausreichenden Investitionen früher oder später kommen werden.

Sandra: Apropos Meta: Gibt es irgendwelche Innovationen im Zusammenhang mit dem Metaverse?

Jan: Das Metaverse ist eine virtuelle Welt, die viele Inhalte braucht. Diese Inhalte sind ziemlich schwierig zu erstellen, aber der gesamte Prozess ändert sich in diesem Moment drastisch. Wenn Sie die Nachrichten verfolgen, werden Sie von all den Durchbrüchen mit DALL-E und Stable Diffusion gehört haben.

Das ist zwar nur 2D, aber der Sprung von 2D zu 3D ist nicht weit. Und wenn man sich die Forschungsergebnisse von Nvidia ansieht, sieht man, dass sie kurz davor stehen, 3D-Objekte zu erzeugen, was die Kosten für die Erstellung riesiger virtueller Welten senken wird. Nicht um das 10-fache, sondern um das 1.000-fache.

Komplexe Dinge wie Konzeptzeichnungen, deren Erstellung Wochen dauerte, können jetzt in wenigen Sekunden erstellt werden. Sicherlich bedarf es noch der Feinabstimmung, aber statt Wochen von Anfang bis Ende zu benötigen, dauert es jetzt nur noch einen halben Tag.

Im Bereich der KI möchte ich auch die Veröffentlichung von ChatGPT vor ein paar Wochen erwähnen. Ich schätze, das ist ein epochaler Wandel für die Arbeitnehmerschaft. ChatGPT ist eine Text-KI, der man beliebige Fragen stellen kann. Sie kann Ihnen extrem detaillierte Antworten geben.

Ich denke, dass Unternehmen wie Stackoverflow mittelfristig Schwierigkeiten bekommen werden, weil die Antworten von ChatGPT oft präziser sind.

In Verbindung mit der Bilderzeugung wird dies zu einem nicht enden wollenden Strom von Inhalten führen.

Sandra: Hmm. Sie haben bereits einige Dinge angedeutet, die in der Zukunft passieren könnten. Wenn Sie in Ihre Kristallkugel schauen, was sehen Sie noch am Horizont von XR?

Jan: Mit all den neuen KI-Technologien wird es sehr billig sein, Inhalte zu generieren, und ich glaube, dass KI irgendwann alles generieren wird.

Es gibt bereits erste Prototypen zur Erstellung von Filmen anhand von Textbeschreibungen, und irgendwann werden diese in 3D-Welten umgesetzt, die man in VR konsumieren kann.

Ich denke, auch das Einkaufen wird sich verändern. Ich sehe eine riesige Chance für virtuelle Modegeschäfte, in denen man Kleidung in AR anprobieren kann, anstatt in ein Geschäft zu gehen.

Dann gibt es die superfuturistischen oder dystopischen Szenarien wie Gehirnchips. Wenn man sich NeuraLink von Elon Musk anschaut, scheint es, als hätten sie bereits Prototypen, die mehr oder weniger auf die Zulassung durch die FDA warten.

Sandra: Okay, das klingt interessant. Als du vorhin gesprochen hast, habe ich mich auf so etwas wie das Holodeck aus Star Trek gefreut, was sich nach etwas anhört, das möglich sein könnte.

Jan: Das Holodeck-Erlebnis wird da sein. Die Commodore 64-Version ist bereits da. Bald werden wir die Amiga-Version haben, und 2 oder 3 Jahre später werden wir das komplette iPhone-Erlebnis haben.

Dies wird auch eine Reihe von sozialen Auswirkungen haben. Ich kann mir vorstellen, dass es für manche Menschen attraktiver sein wird, ihr Leben in einer virtuellen Welt zu führen. Sie werden wahrscheinlich für immer in ihrem Zimmer verschwinden.

Sandra: Es gibt einen faszinierenden Film mit Bruce Willis namens Surrogates. Fast jeder hat einen ferngesteuerten Androiden. Diese Roboter sind besser und sehen jünger aus als ihre menschlichen Besitzer. In dem Film gehen die Menschen kaum aus dem Haus und die Gesellschaft schaut sogar auf die Menschen herab, die es tun, weil ihre menschlichen Körper weniger attraktiv und weniger fit sind als die der Androiden.

Als ich den Film sah, dachte ich, dass dieses Szenario eines Tages Realität werden könnte.

Jan: Ich denke, es ist vergleichbar mit der Abhängigkeit von Zucker oder Nikotin, und manche Menschen finden die virtuelle Welt so befriedigend, dass sie gar nicht anders leben wollen.

Sandra: Ich denke, das ist eine Frage der Perspektive. Ich kann verstehen, warum das attraktiv erscheinen könnte, aber ich finde es wahrscheinlich eher beängstigend. Ich kann mir nicht vorstellen, dass das Leben in einer virtuellen Welt die Menschen glücklich macht, es sei denn, wir finden einen Weg, unseren Körper fit zu halten.

Wir können hier nicht aufhören, also schlage ich vor, dass Sie uns mitteilen, auf welchen XR-Anwendungsfall Sie sich persönlich freuen.

Jan: Echte Meetings und keine Videokonferenzen mehr zu veranstalten. Das ist etwas, worauf ich mich sehr freue. Das Gefühl, dass ein Mensch direkt vor einem sitzt, ist anders, als wenn man nur auf den Bildschirm schaut.

Und vielleicht auch virtuelle Reisen, um sich Orte anzusehen und dort Menschen zu treffen. Für mich ist das etwas, das das Leben vieler Menschen verbessern würde.

Sandra: Das wäre in der Tat schön, und es klingt auch sehr nachhaltig.

Sandra: Letzte Frage: Wenn Sie an die Technologien denken, die diese Anwendungsfälle ermöglichen, was bedeutet das für Magnolia?

Jan: Wir erleben gerade einen historischen Wandel bei den digitalen Inhalten, der viele Branchen und Arbeitsplätze verändern wird. Text und Bilder werden stark automatisiert sein, und wir sind als Unternehmen sehr gut darauf vorbereitet.

Wir haben erste Implementierungen, die ChatGPT für das Schreiben von Inhalten und DALL-E für Bilder verwenden. Unsere Kunden haben uns bestätigt, dass diese Lösungen ihren Aufwand für die Erstellung von Texten und Bildern um das 10-fache reduzieren werden.

In Bezug auf VR ermöglichen wir neue Anwendungsfälle beim Einkaufen, bei denen Sie Ihre Produktbilder in 3D hochladen können und die Kunden die Artikel aus allen Blickwinkeln und in ihrer Umgebung betrachten können. Das ist bereits heute möglich.

Wir haben auch einen einfachen Anwendungsfall, bei dem wir Inhalte in einem virtuellen Labyrinth platzieren. Man kann durch das Labyrinth gehen und sich Bilder und Texte ansehen.

Ich gebe der Masseneinführung von XR im Unternehmen, zum Beispiel im E-Commerce, noch 1 oder 2 Jahre. Wir haben alle Vorarbeiten geleistet, sodass wir in der Lage sein werden, alle Funktionen bereitzustellen, die Sie für den Erfolg von XR benötigen.

Sandra: Danke, Jan. Du hast uns ein gutes Bild davon vermittelt, wo wir heute stehen und was die Zukunft bringen könnte.