Alle Beiträge in AR

Februar 26, 2018 - Keine Kommentare!

Qualcomm is laying the foundation for the next Generation of mobile VR

You probably know Qualcomm best for its SoCs, powering the majority of mobile phones. Are you asking yourself what exactly these guys have to do with Virtual-, and Augmented Reality? A lot... let us clarify!

Qualcomm announces Snapdragon 845

Ahead of the Mobile World Congress, they announced the new reference platform which inhabits the new Snapdragon 845 processor and is a blueprint for the big tech companies to build their hardware based on it. It is the successor of the Snapdragon SoC 835 which will be powering popular standalone VR headsets like the Mirage Solo and focuses on different fields of attention. One of these will be a category called "Immersion", clearly targeting Virtual,- and Augmented Reality (Qualcomm calls it XR for eXtended realities). But what exactly does it provide and why can it be a gamechanger for untethered, mobile VR?

Obviously, it has to be more powerful and energy-efficient than its predecessor, which it will be by 30% thanks to the new Adreno 630 sub-processing unit. Even more interesting seems a highly anticipated technology called foveated rendering. Thanks to eye-tracking support the SoC recognizes accurately where you are looking and only renders the part you have in focus - kind of like our eyes do. If companies can make use of this feature and create solutions that work, it is a great chance to make VR experiences visually stunning, without being in need of a high-end gaming PC.

 

Something as small as your thumbnail can be so powerful...

Besides, Qualcomm promises to support display resolutions up to 2000x2000 pixels per eye at 120Hz which would feature displays on par with, or even better ones than top-notch tethered VR HMDs, like Samsung Odyssey or even the new HTC Vive Pro.

A feature Qualcomm established already in the Snapdragon 835 is the support for inside-out-tracking, which accesses cameras to understand the position of you and the device. What's new is so-called SLAM (Simultaneous Location And Mapping), which will narrow down the tracking and make it more precise. It will be possible not just to track the position of the device, but to identify you as a user and objects in your environment. Hence giving you the potential to integrate real obstacles into your immersive and digital environment, blurring the lines between the virtual and actual reality.

It is going to be very interesting to see what HMDs the established VR and AR companies can come up with and how good they can make use of Qualcomm's SoC that has been laying the groundwork for the next generation of mobile and fully untethered immersive experiences. It definitely will take a while since the announced headsets for 2018 will mainly incorporate the 835 version, but it is for sure an interesting outlook what is awaiting us in the not too distant future. Mobile VR is here to stay, making digital realities more accessible to the masses.

 

Source: Qualcomm

 

 

 

Dezember 23, 2017 - Keine Kommentare!

It’s getting brighter for Augmented Reality: Apple’s small steps towards AR

Well, well, well... It has been a while since our latest Blog post about the HoloLens FOV came out, and quite some things have changed. Some of you approached us, asking if we could provide our blog posts in English so that we can be heard and understood in more countries. Here we go, Ladies and Gentlemen:

 

The bad news first:

It is going to take some time until Apples AR is going to hit the market. Just to make things clear: Apple's CEO and mastermind Tim Cook said the technology for consumer-ready HMDs is not there yet, but Apple is planning to get to that point by the year 2020. To reach the ambitious goal the worlds most known tech company is slowly but continuously building its ecosystem to prepare the world for the moment their Augmented Reality glasses are ready.

With the launch of iOS11 on the 19th September this year Apple released its first AR platform, ARKit. Within a day Apple managed to bring first AR experiences to a whopping 380 Million iPhones, a number that is going to increase to half a billion until the end of this year. So as we know it from the giant from Cupertino, they are not the first one to release something but as soon as it is ready, it's hitting the market big time.

 

 

Codename T288

ARKit was the first significant and published result from a team that has been working on AR for a couple of years already. It operates under the codename T288 and is led by Mike Rockwell, who was a leading engineer at Dolby Labs. T288 has grown to a several hundred engineers, all working on hardware and software solutions, building the future of Augmented Reality. Whereas ARKit is a significant first step in the direction of a mass-market AR, the enormous challenge will be to create standalone AR glasses. Therefore Apple is developing its own chipset and immersive operating system, internally called rOS. For testing purposes, the team uses modified versions of the HTC Vive and Gear VR with an iPhone screen although these devices are for internal development only.

As we made clear in the beginning, it is going to take a while until we see a device from Apple. The next "big thing" we can expect is a second version of ARKit, launching 2018. We are excited about it, and of course, we at hololux will be one of the first to try it out, as we always do when new immersive technologies are released.

 

New displays and Laser AR

Earlier this month, CNBC reported about a partnership between Quanta and Lumus. Well, what does that have to do with Apple, you think? Possibly a lot. Quanta is a big supplier of hardware, providing most components for the Apple Watch. Lumus, on the other hand, is a display company that has been focusing on AR for quite a while now. Founded in Israel about 17 years ago they have filed a lot of patents, many focusing on Augmented Reality.

With the partnership, Quanta laid out a plan to move towards AR, taking huge steps. If Apple is involved at this point already is unclear. The tech giant just commented that anything that is going to hit the market soon is not ready to fulfill Apple's high standards. Apparently, a connection is denied here which does not make it less likely something is happening behind the scenes.

 

 

Another report of Bloomberg Technology is talking about a revised system of the TrueDepth sensors which we know from the iPhone X. "The planned rear-facing sensor would instead use a time-of-flight approach that calculates the time it takes for a laser to bounce off surrounding objects to create a three-dimensional picture of the environment" (Bloomberg). The technology is said to be used in the year 2019th edition of the iPhone, and it is a fascinating and new approach.

To sum up: It is going to take a while until we see Augmented Reality glasses with the worlds most known fruit symbol on it. But Apple is pushing it because it forecasts AR will be as much of a world-changer as the smartphone itself. And we all know what happened when the guys from Cupertino released their first Smartphone, don't we?

For all those who are a little bit impatient, check out the news at Magic Leap. Since years we were waiting for anything, and now they finally released something tangible. As soon as we are holding one of the devkits in our hands, we will deliver a detailed report.

Until then enjoy the last days of this exciting year and have great holidays! See you in 2018 with more exciting topics, technologies and realities to come.

 

 

 

November 13, 2017 - Keine Kommentare!

Do dreams come true? HoloLens bald mit größerem Field-Of-View?

Die HoloLens von Microsoft befindet sich nun seit ca. zwei Jahren auf dem Markt und wird vielseitig, besonders für Industrielösungen, eingesetzt. Das Besondere? Sie ist ein vollwertiger Mixed Reality Computer, der in das Head-Mounted-Display (HMD) integriert ist, und bedarf folglich keiner Kabel, PC oder weiterem Zubehör. Dennoch bleibt das Gerät von Kritik nicht verschont - Grund hierfür ist das kleine Field-Of-View (FoV), welches lediglich 35° beträgt und folglich bei Weitem nicht an das natürliche Sichtfeld des Menschen (180°, mit clear vision innerhalb von 120°) heranreicht.

Wie sich nun auf Patentscope einsehen lässt, hat Microsoft ein Patenteintrag eingereicht, der das limitierende Problem aufgreift und das Sichtfeld verdoppeln könnte.

Aus Eins - Mach Zwei!

Die gesamte Technologie der HoloLens zu erklären würde das Ausmaß des Beitrags ein wenig sprengen; daher im Anschluss eine durchaus reduzierte Darstellung der immersive experience.

Dem Mixed Reality Device liegt die Technologie der planaren Wellenleiter zugrunde. Vor unseren Augen tragen wir also zwei kleine und transparente (!) Bildschirme. Da beide Screens ein marginal verändertes Bild darstellen, tritt der stereoskopische Effekt ein. Die Wellenleiter treten in einem bestimmten Winkel in das Display ein, wandern im Zickzack vertikal durch es hindurch, bis sie an einem bestimmten Punkt in gleichem Winkel in unser Auge "austreten". Einfalls- und Ausfallswinkel betragen dabei gemeinsam 35°, definieren folglich das Field-Of-View der digital-ergänzten Inhalte und begrenzen es gleichzeitig auf das kleine Sichtfeld.

Mit der Entscheidung für die angewandte Technologie schien es, als wäre es nicht möglich die Restriktion im Sichtfeld zu umgehen, ohne die Substanz und Grundlage der HoloLens zu verändern. Das nun aufgetauchte Patent zeigt jedoch eine Lösung, a work-around.

Dank eines Tricks wird das FoV verdoppelt. Dies geschieht, indem auch die Wellenleiter "verdoppelt" werden. Das Bild wird in zwei Teile zergliedert und beide Komponenten durch einen eigenen Wellenleiter an unterschiedliche Ausgänge gesendet. Die Gradzahl der Sichtfelder addiert sich und voilà - man erhält ein FoV von 70°.

Wann und in welchem Rahmen die neue und sehnlichst erwartete Technik zum Einsatz kommt, ist bis dato unklar. Das vorgestellte theoretische und patentierte Konstrukt macht jedoch Hoffnung auf mehr und wurde, so der Autor des Artikels auf MS PowerUser, bereits in der Praxis in aktueller Hardware demonstriert.

Es bleibt in jedem Fall spannend und wir freuen uns sehr auf den nahenden Tag, an dem die  Mixed-, bzw. Augmented Reality Erfahrungen noch immersiver und damit wahrhaftiger werden. Die Vorzeichen stehen gut, wir sind gespannt und halten Euch natürlich auf dem Laufenden!

 

(Quelle: MS PowerUser)

September 8, 2017 - Keine Kommentare!

Was verbirgt sich hinter dem Begriff der Mixed Reality?

 

Nach langer Abstinenz sind wir zurück und halten Euch ab sofort regelmäßig auf dem neusten Stand in der faszinierenden Welt der immersive media! Ein Blick hinter die hololux Kulissen, Informationen zu neuen Projekten, oder generelle spannende Themen rund zum Thema VR/AR und MR gibt es ab sofort auf unserem Blog 2.0!
Da es uns kürzlich gelungen ist, zum Microsoft Mixed Reality Launch Partner ernannt zu werden, haben wir uns gedacht wir bringen mal ein wenig Licht ins Dunkle: Was genau steckt hinter dem Begriff der Mixed Reality, die in den Tagen der IFA enorm an Popularität gewonnen hat?

Während die Begriffe der Virtual- (VR) und Augmented Reality (AR) inzwischen hinreichend definiert wurden, brachte man mit dem Thema Mixed Reality bis dato in erster Linie die Microsoft HoloLens in Verbindung. Wie sich nun herausstellt, beschreibt MR jedoch viel mehr das riesige Spannungsfeld, welches sich zwischen der Erweiterten und der in Gänze virtuellen Realität, ergibt. Es ist folglich mehr die von Microsoft bereitgestellte Platform und Vision für die Zukunft, als eine Technologie per se.

 

Die Technik

Als Grundlage dient Windows 10, das mit dem Creators Update mit allen notwendigen Treibern versehen wurde, um in neue Realitäten vorzudringen. Um einen flächendeckenden Marktstart zu erreichen, kooperiert Microsoft mit diversen Hardware Herstellern wie Acer, Dell, Lenovo, HP oder Asus, die verschiedene Head-Mounted-Displays (HMDs) herausbringen. Diese unterscheiden sich zwar in puncto Design, oder marginal im Bereich des field-of-view, haben jedoch das Gros der Hardware gemein. So stecken in allen Geräten zwei Displays, die jeweils mit 1440 x 1440 Pixeln auflösen und somit eine höhere Auflösung als die bisherigen Platzhirsche, HTC Vive und Oculus, erzielen. Zudem verfügen sie alle über ein Novum, welches Microsofts MR Geräte signifikant von der Konkurrenz abhebt: inside-out-tracking, ladies and gentlemen!
Kurzum bedeutet dies, dass kein umständlicher Aufbau von sogenannten Lighthouse-Stationen notwendig ist, um die Controller oder die Position des Nutzers zu bestimmen. Die zwei Kameras, die sich auf der Vorderseite des Gerätes befinden, nehmen ihre Umgebung selbstständig wahr und erkennen dank der LEDs an den Controllern wo sich diese befinden. Zur Folge hat dies ein Erlebnis, welches den bisherigen High-End VR Erfahrungen gleicht, ergo six-degrees-of-freedom (6DOF), dabei in Aufbau und Installation jedoch so simpel ist, wie eine Maus mit dem Computer zu verbinden. Plug and Play - That's it folks.

Microsoft adressiert einen weiteren Punkt, welcher die immersive Technologie bisher von ihrem Erfolg entscheidend abhielt. So kann man als Nutzer entscheiden, ob die Wahl auf die  einfache "Mixed Reality" oder die Ultra-Mixed Reality Experience fällt. Letztere zeigt Inhalte mit 90 frames-per-second und ist dem Gefühl von Vive und Rift sehr ähnlich. Um einen breiteren Markt anzusprechen und damit deutlich mehr Menschen, die kein großes Budget in einen Gaming-PC investiert haben, die immersive Erfahrung näher zu bringen, laufen MR HMDs jedoch auch auf Computern mit integrierter Grafikeinheit. Als kleinere Variante dafür lediglich mit 60fps. Sicherlich sind komplexe Spieleinhalte damit nicht darzustellen, jedoch geht man den wichtigen Schritt, die Barrieren für die Erschließung neuer Realitäten zu senken und den Eintritt erheblich zu erleichtern.

 

Blending Realities

 

Gewiss sorgt der Begriff der Mixed Reality nach wie vor für Verwunderung, da die angekündigten HMDs in ihrer Erfahrung deutlich näher an der virtuellen Realität einzuordnen sind, jedoch definiert Microsoft seine Plattform wie folgt: Werden Objekte oder Inhalte aus der realen Welt in die digitale transportiert, so handelt es sich um MR. Auch die Idee seinen realen Arbeitsplatz mit 2D Fenstern und Applikationen in einer virtuellen Welt darzustellen, wie in dem verlinkten Video zu sehen, ist ein "Vermischen" der Realitäten.
Besonders jedoch der Ausblick in die nahe Zukunft gibt der neuen Namensgebung mehr Bedeutung. Denn auch wenn die Kameras für das inside-out-tracking bisher keine Möglichkeit bieten die reale Umgebung darzustellen, scheint dieser nächste Schritt eine logische Notwendigkeit und Konsequenz, welche vonseiten der Hardware keine große Hürde darstellen sollte. Vermag dies zeitnah zu gelingen, wird die Mixed Reality in ihrer Bekanntheit zu den großen Geschwistern der Virtual Reality und Augmented Reality aufsteigen und diese möglicherweise an Strahlkraft übertreffen. Die Brücke zwischen virtueller und augmentierter Realität zu bauen ist die Aufgabe, die es zu meistern gilt - der Grundstein hierfür scheint gelegt.