Hololens: Ik heb vandaag op Mars gelopen!

Vandaag heb ik iets enorms cool kunnen doen op mijn werk. Ik heb eindelijk een tour gekregen van het Hololens team en een aantal demonstraties mogen zien en ervaren van hun nieuwe device (en onder andere op Mars rondgelopen). Voor diegene die zich afvragen wat Hololens is, kijk even op deze website en bekijk de filmpjes: http://www.microsoft.com/microsoft-hololens/en-us/home

Hololens is een bril die, terwijl je er doorheen kijkt, ook beelden kan projecteren. De bril zie je hieronder.

Wat kun je hier dan mee doen? Je kunt hier zogenaamde Augmented Reality mee doen. Dat betekend dat je de echte wereld kunt combineren met een ‘gemaakte’ wereld. Je ‘augment’ de echte wereld met computer beelden en voegt deze 2 samen. Omdat de bril bewegingen van het hoofd detecteert kunnen de computer beelden perfect met de echte wereld samensmelten. Hier kun je dus enorm gave ervaringen creeren.

In het plaatje hierboven zie je bijvoorbeel de keuken, maar het tv beeld, het weer en de todo lijst op de koelkast is gegenereerd door de computer.

Een paar voorbeelden van demonstraties die ik heb gedaan:

Als eerste mocht ik de Skype demo doen. Ik werd naar een kamer gebracht die ingericht was als woonkamer. Stoel, eettafel met lamp erboven, wat boekenkasten etc. Ik had de bril op (helaas nog een prototype en niet het mooie device zoals je hierboven ziet). Iemand anders werkte op een andere locatie met een Surface Pro 3. Het idee was dat ik een schakelaar in de muur moest monteren om mijn lamp te laten werken. Toen ik de helm ophad kon ik dus gewoon rondkijken in de woonkamer. Toen de applicatie gestart werd zat ik een lijst met contact personen. Door mijn hoofd te bewegen kon ik net een soort cursor de persoon aanwijzen en door een commando te zeggen of met je vinger een speciale beweging te maken (airtap noemen ze dat) kon ik de persoon selecteren. Als ik mijn hoofd verder bewoog dan het menu dan schoof het menu in mijn zichtsveld mee.

Nadat ik de persoon had geselecteerd kreeg ik in mijn zichtsveld een klein skypevenster met video te zien. Als ik mijn hoofd bewoog, bewoog het Skype venster mee. De dame ging mij helpen met het plaatsen van de schakelaar. Zei kon op haar scherm zien wat ik zag (inclusief dus hoe ik haar video in mijn beeld zag). Ze vroeg me het apparaat te gebruiken om te meten of er geen stroom meer op de draden stond. Met een pijl zag ik welk apparaat ik van de tafel moest pakken. Dus pijl was dus getekend door de computer en wees naar iets echts wat op tafel lag. als ik mijn hoofd bewoog naar voren of naar achteren kon ik dus echt een beetje om de pijl heen kijken. deze wees dus echt in 3D naar het device op de tafel.

Ik kon ook de Skype video ‘pinnen’ met een commando. Dan bleef de video op een vaste plek ‘hangen’ en kon ik de schakelaar plaatsen en door iets naar rechts te kijken zag ik de video op dezelfde plek geprojecteerd worden. Erg gaaf effect. De andere persoon tekende een simpel schemaatje zodat ik snapte hoe ik de kabels aan de schakelaar moest monteren. Omdat ze zag wat ik deed kon ze aangeven dat ik het goed deed of toch de andere draad moest hebben etc. Erg cool.

Een andere demo was een rondleiding in Rome. Je stond letterlijk op een plein voor een tempel. Alles in 3D, dus kon om mij heen kijken. Kon zelfs naar voren lopen om over de rand van een fontein te kijken in het water. Later in een luchtballon boven Rome gezeten. Kreeg hetzelfde gevoel als je bovenop een flat staat en naar beneden kijkt, kriebel in je buik van de hoogte. Dat ik had ik dus ook toen ik over de rand van het bakje van de ballon keek. Later nog in het colloseum gestaan en een gladiatoren gevecht kunnen zien, mocht kiezen, dood of leven aan het einde 🙂 (ik begreep dat tot nu toe 50%-50% wordt gekozen door de mensen die de demonstratie doen.

De 3e demo die was het gaafste. Dit is een echte oplossing aan het worden voor NASA om de missie op mars met de curiosity rover te plannen. Met de helm op kon ik letterlijk op Mars rondlopen, de bodem zien, ik stond naast de rover (die is best groot) en kon rondkijken en lopen in de 3D wereld die gegenereerd is door de informatie die is verzameld door de rover.

Ik kon zelfs op mijn knieen gaan zitten om onder een stuk rots te kijken, echt super gaaf. Zodra je rond keek zag je dus niets meer van de ruimte waar je in stond, alleen de 3D wereld van mars. 2e stuk van de demo moest ik achter een buro op een computer opdrachten invoeren voor de rover (dit is de echte software van Nasa om de missie mee te plannen). Ik realiseerde me het eerst niet meer ineens drong het tot me door, hoe kan het dat ik de computer en het buro kan zien terwijl ik de muren, boekenkast en de vloer van de ruimte waar ik in was niet kon zien. De software is dus slim genoeg om geen 3D beeld van mars te laten zien als ik naar de computer en buro kijk. Ik kan dus de computer gebruiken EN tegelijk om mij heen kijken naar Mars. Als ik op de computer op de mozaiek van fotos een klik deed om een stuk van de route aan te geven kon ik meteen verderop op Mars kijken waar dat punt precies was. Wat nog gave was, ik kon de muiscursos van het scherm afbewegen OP de 3D omgeving van Mars en daar een steen aanwijzen en klikken. Je zag dan in de 3D wereld een vlaggetje staan en die kwam ook meteen op de desktop app te voorschijn. De 3D wereld en de desktop software werkte dus met elkaar samen. Super cool.

Onderstaande fotos is precies hoe ik het zag als ik naar de 3D wereld en de computer tegelijk keek.

Laatst onderdeel van demo ging erom dat ik met iemand (in theorie aan de andere kant van de wereld) samen over Mars kon rondlopen en samenwerken. De andere persoon draagt dus ook een Hololens en wordt als een soort gouden karakter in de wereld getekend zoals in de foto hierbiven. Via een stippellijn kon ik zien waar de persoon keek op de grond (zie de stippellijn hierboven). We konden samen rondlopen en bepaalde stenen aanwijzen en bediscusseren welke onderzocht moesten worden. Met een airtap kon ik dan aangeven welke steen met de laser van de rover beschoten moest worden om te bepalen wat voor stoffen erin zaten. Ander stuk kon ik aangeven waar er extra fotos gemaakt moesten worden. Je zag dan ook de arm met apparatuur van de Rover bewegen en ik kon precies zien waar deze heen wees en fotos moest maken.

Dit klinkt als science fiction, had wel wat filmpjes gezien maar nu ik dit echt ervaren heb kan ik alleen maar zeggen, WOW wat gaaf.

Waarom is dit interessant voor mij? Hololens draait op Windows 10! (laat ik nou voor dat team werken) en alle Windows 10 devices hebben hetzelfde platform waar Windows 10 apps op kunnen draaien en als ontwikkelaar wil ik daar natuurlijk best mee spelen 🙂 Ik kan me ook heel goed voorstellen dat bedrijven hier oplossingen voor willen maken en mee aan de slag willen (zoals Nasa)

Wat bouwen wij als Microsoft toch enorm gave dingen. Op dagen zoals deze is het extra kicken dat ik in het Windows team mag werken en kan samenwerken met teams zoals het Hololens team.

 

Comments

Comment by Twan Meijer on 2015-04-13 06:36:17 +0000

Super leuk om te lezen hoe de hololens bevalt.

Ik kan niet wachten om hem zelf een keer te proberen.

Comment by Bas van de Sande on 2015-04-15 06:44:48 +0000

Gaaf zeg! Ziet de bril er in werkelijkheid net zo uit als bovenstaande foto? Zit je ergens fysiek mee verbonden, of werkt het helemaal draadloos?

Comment by Ken on 2015-04-22 14:06:06 +0000

Super gaaf om deze technologie mee te maken en dan nog te bedenken dat dit pas het prille begin is.ik heb zelf een virtueel bril of zo gezegd een HMD en ik vindt de 3d beelden al een geweldige ervaring over een paar jaar staat er een geweldige virtuele ervaring ons te wachten!

Comment by Matthijs Hoekstra on 2015-04-22 17:22:34 +0000

De bril ziet er echt zo uit. Ik heb getest met een prototype waar nog kabels aan hangen. De bril op de foto is hoe het er uiteindelijk uit komt te zien en is helemaal draadloos. Je bent niet verbonden aan een telefoon of pc.