Onsdag morgen viste Microsoft et projekt, som de har arbejdet i i syv år, et forstørret virkelighedshovedtelefon, kaldet Project HoloLens .
Visionen er ambitiøs: de vil fundamentalt forandre måden folk interagerer med computere ved at bygge et par briller, der kan blande det virtuelle og reelle indhold sammen i brugerens fysiske rum. Dette er som virtual reality-teknologi Hvorfor Virtual Reality Technology vil blæse i 5 år Hvorfor Virtual Reality Technology vil blæse i 5 år Fremtiden for virtuel virkelighed omfatter hoved-, øje- og ekspressionssporing, simuleret berøring og meget mere. Disse fantastiske teknologier vil være tilgængelige for dig i 5 år eller derunder. Læs mere, men grundlæggende mere magtfulde. Desuden vil de gøre alt forarbejdning lokalt på brillerne - ingen computer, ingen telefon, ingen kabler. De lancerer endda en speciel version af Windows kun for den nye hardware. Dette er den næste fase i teknologisk udvikling for alle de AR-spil Augmented Reality Apps: Nyttige, eller bare Hype? MakeUseOf Tests Augmented Reality Apps: Nyttige, eller bare Hype? MakeUseOf Tests I 2011 forudsagde analytikere fremkomsten af Augmented Reality mobile apps. Den fremadgående teknologi vil revolutionere den måde, hvorpå vi interagerer med vores mobile enheder. Flash frem to år, og snesevis af AR apps populere alle ... Læs mere du installerede på din telefon det en gang og ikke har rørt siden.
Deres tidsramme er endnu mere ambitiøs end deres mål: de ønsker at sende udviklerpakker i foråret og forbrugerproduktet "under Windows 10-tidsrammen". Her er banen.
Alt dette lyder godt, men jeg indrømmer en temmelig høj grad af skepsis.
De teknologier, Microsoft bruger, har alvorlige grundlæggende udfordringer, og indtil nu har Microsoft været meget stramt om, hvordan (eller hvis) de har løst dem. Hvis de ikke har løst dem, så er deres mål om fragt inden for et år meget om. Det sidste, som VR og AR har brug for, er et stort firma, der leverer et andet halvbagt produkt som Kinect. Husk Project Natal demo fra 2009?
Uden yderligere ado er her de fem vigtigste ting, jeg gerne vil vide om HoloLens.
Er dette et lysfelt display?
For at forstå dette må vi se lidt dybere ind i 3D, og hvordan det virker. For at få fornemmelsen af en ægte, håndgribelig 3D-verden integrerer vores hjerner mange forskellige former for information. Vi får dybdevinkler om verden på tre primære måder:
- Stereodybde - forskellen mellem hvad begge vores øjne ser. Faking dette er hvordan 3D-film arbejder
- Motion parallax - subtile bevægelser af vores hoved og torso giver os yderligere dybdeindikatorer for genstande der er længere væk
- Optisk fokus - når vi fokuserer på noget, deformeres vores øjne linser fysisk, indtil det kommer i fokus Nærliggende objekter kræver mere objektivforvrængning, som giver dybdeinformation om, hvad vi ser på
Optisk fokus er let at tjekke selv: Luk et øje og hold tommelfingeren op foran en væg på tværs af rummet. Skift derefter dit fokus fra din miniature til overfladen bagved. Når du ser forbi din tommelfinger, skifter tommelfingeren ud af fokus, fordi linsen i dit øje er nu mindre deformeret og ikke kan samle det korrekte lys korrekt.
VR-headsets som Oculus Rift giver de to første cues ekstremt præcist, men ikke det sidste, der virker overraskende godt: vores øjne er standard til at slappe helt af, da optikken fokuserer billederne, som gennem lyset kommer fra uendeligt langt væk. Manglen på den optiske fokuskue er urealistisk, men det er normalt ikke distraherende. Du kan stadig have meget seje spiloplevelser 5 Oculus Rift Gaming Erfaringer, der vil blæse dig væk 5 Oculus Rift Gaming Erfaringer, der vil blæse dig væk Nu, hvor anden generation af Oculus Rift-udviklingspakke er ude og i hænderne på udviklere verden over, lad os se på nogle af de bedste ting, der er ramt Rift hidtil. Læs mere uden det.
I forstørret virkelighed er problemet anderledes, fordi du skal blande lys fra virkelige og virtuelle objekter. Lyset fra den virkelige verden vil naturligvis være fokuseret på forskellige dybder. Det virtuelle indhold vil imidlertid alle blive fokuseret på en fast, kunstig afstand dikteret af optikken - sandsynligvis på uendelig tid. Virtuelle objekter ser ikke ud som om de virkelig er en del af scenen. De vil være ude af fokus, når man ser på virkelige ting på samme dybde og omvendt. Det vil ikke være muligt at flytte dit øje fluidly over hele scenen, mens du holder det i fokus, som du normalt gør. De modstridende dybdeanordninger vil i bedste fald forvirre og syge i værste fald.
For at løse dette skal du have noget, der hedder en lysfeltdisplay. Lysfelt skærme er skærme, der bruger en række små linser til at vise lys fokuseret på mange dybder samtidigt. Dette gør det muligt for brugeren at fokusere naturligt på skærmen, og (for forstørret virkelighed) løser problemet beskrevet ovenfor.
Der er imidlertid et problem: Lysfelt viser i det væsentlige en enkelt 2D-skærm på et tredimensionelt lysfelt, hvilket betyder, at hver "dybd pixel", som brugeren opfatter (og eksisterer ved en bestemt brændvidde i scenen) er faktisk består af lys fra mange pixels på det oprindelige display. Den finere kornede dybde, du vil skildre, jo mere opløsning skal du give op.
I almindelighed har lysfelter ca. en otte gange opløsning for at give tilstrækkelig dybdepræcision. De bedste tilgængelige mikrodisplays har en opløsning på omkring 1080p. Hvis man antager, at et high-end microdisplay kører hvert øje, ville det gøre den faktiske opløsning af Microsofts headset kun omkring 500 x 500 pixel pr. Øje, mindre lige end Oculus Rift DK1. Hvis skærmen har et højt synsfelt, vil virtuelle objekter være ubegribelige klumper af pixels. Hvis det ikke gør det, vil nedsænkning lide forholdsmæssigt. Vi kan aldrig se igennem linsen (kun computerreproduktioner af det, som brugeren ser), så vi har ingen idé om, hvad brugeroplevelsen virkelig er.
Det er muligt, at Microsoft har fået en ny løsning på dette problem, for at tillade brugen af en lysfeltdisplay uden opløsningshastigheden. Men Microsoft har været meget cagey om deres display teknologi, hvilket får mig til at tro, at de ikke har det. Her er den bedste forklaring vi har hidtil (fra WIRED demo).
For at skabe Project HoloLens 'billeder springer lette partikler omkring millioner af gange i en såkaldt lysmotor på enheden. Derefter kommer fotonerne ind i beskyttelsesbrillens to linser, hvor de ricochetter mellem lag af blåt, grønt og rødt glas, før de når øjets bagside.
Denne form for beskrivelse af teknologien kunne betyde næsten alt (selv om hardwarene i fairness til Microsoft imponerede WIRED, selvom artiklen var lys på detaljer).
Vi ved ikke helt mere, før Microsoft begynder at frigive tekniske specifikationer, sandsynligvis måneder fra nu af. På en yderligere bemærkning om nitplukning er det virkelig nødvendigt at drukne projektet i denne meget marketing-tale? Den dedikerede processor, som de bruger til hovedsporing, kaldes en "holografisk processor", og billederne kaldes "hologrammer" uden nogen særlig grund. Produktet er grundlæggende køligt nok, at det egentlig ikke er nødvendigt at forgylle det som dette.
Er sporing god nok?
Projekt HoloLens-headsettet har en høj FOV-dybdekamera monteret på den (som Kinect), som den bruger til at finde ud af, hvor headsettet er i rummet (ved at forsøge at rette op på det dybdebillede, det ser ud med sin model af verden, sammensat fra tidligere dybdebilleder). Her er deres live demo af headsettet i aktion.
Sporingen er imponerende i betragtning af, at den ikke bruger markører eller andre snydder, men selv i den video (under stærkt kontrollerede forhold) kan du se en vis vifte: sporing er ikke helt stabil. Det kan forventes: Denne type indendørs sporing er ekstremt hård.
Den store lektion fra de forskellige Oculus Rift prototyper Watch Us Prøv Oculus Rift Crescent Bay på CES 2015 Se os Prøv Oculus Rift Crescent Bay ved CES 2015 Oculus Rift Crescent Bay er en helt ny prototype, der viser nogle spændende forbedringer i virtuel virkelighedsteknologi. Vi prøver det ud på CES 2015. Læs mere er, at nøjagtigheden af sporing betyder meget. Jittery tracking er bare irriterende, når det er et par objekter i en stort set stabil virkelighed, men i scener som Mars demoen viste de i deres konceptvideo, hvor næsten alt hvad du ser er virtuelt, kan upræcis sporing føre til mangel på " tilstedeværelse "i den virtuelle scene eller endda simulatorsyge. Kan Microsoft få sporing op til Oculus-standarden (under-millimeter sporing nøjagtighed og mindre end 20 ms total latens) ved afsendelsesdato i slutningen af dette år?
Her er Michael Abrash, en VR-forsker, der har arbejdet for både Valve og Oculus og taler om problemet
[Fordi der altid er en forsinkelse i at generere virtuelle billeder, er det meget svært at få virtuelle og virkelige billeder til at registrere tæt nok, så øjet ikke bemærker. Antag for eksempel, at du har en ægte Coke-kan, som du vil omdanne til en AR Pepsi-dåse ved at tegne et Pepsi-logo over Coke-logoet. Hvis det tager snesevis af millisekunder at genskabe Pepsi-logoet, hver gang du drejer hovedet, vil effekten være, at Pepsi-logoet ser ud til at skifte et par grader i forhold til dåsen, og en del af Coke-logoet bliver synligt. så vil Pepsi-logoet snappe tilbage til det rette sted, når du holder op med at flytte. Dette er klart ikke godt nok til hård AR
Kan displayet tegne sort?
Et andet problem ved siden af brændvidde og sporing har at gøre med at tegne mørke farver. Tilføjelse af mere lys til en scene er forholdsvis simpelt, ved hjælp af strålesplittere. At tage lys ud er meget hårdere. Hvordan vælger du selektivt mørkere dele af den virkelige verden? Hvis du lægger op på en selektivt transparent LCD-skærm, vil den ikke skære det, da det ikke altid kan være med det rette fokus for at blokere det, du ser på. De optiske værktøjer til at løse dette problem, medmindre Microsoft har opfundet dem hemmeligt, eksisterer simpelthen ikke.
Det betyder noget, for hovedparten af de programmer, som Microsoft viser sig (som at se Netflix på din væg), har headsettet virkelig brug for evnen til at fjerne lyset fra væggen, ellers vil din film altid have et synligt stukkemønster overlejret med det: det er umuligt for billedsprog at blokere ægte genstande i scenen, hvilket gør brugen af headsettet stærkt afhængig af omgivelseslysforholdene. Tilbage til Michael Abrash:
Der er ikke noget af den slags, der har fundet sted i AR-industrien eller litteraturen, og medmindre og indtil det gør, kan hårdt AR, i SF-fornemmelsen, at vi alle kender og elsker, ikke ske, undtagen i næsten mørke.
Det betyder ikke, at AR er ude af bordet, bare det for et stykke tid, men det vil være blødt AR, baseret på additiv blanding [...] Igen, tænk gennemskinnelig som "Ghostbusters." Højintensitet virtuelle billeder uden mørke områder vil også arbejde, især ved hjælp af regional eller global mørkning - de vil bare ikke ligne en del af den virkelige verden.
Hvad med occlusion?
"Occlusion" er begrebet for hvad der sker, når en ting passerer foran en anden og stopper dig fra at se, hvad der ligger bag det. For at virtuelle scener skal føles som en håndgribelig del af verden, er det vigtigt, at virkelige objekter dækker virtuelle objekter: Hvis du holder hånden op foran et virtuelt billedbillede, bør du ikke kunne se det gennem din hånd. På grund af brugen af et dybdekamera på headsettet er det faktisk muligt. Men se den levende demo igen:
I det store og hele styrer de omhyggeligt kameravinklerne for at undgå virkelige objekter, der passerer foran virtuelle. Men når demonstranten interagerer med Windows-menuen, kan du se, at hendes hånd ikke udelukker det overhovedet. Hvis dette er uden for rækkevidden af deres teknologi, er det et meget dårligt tegn på levedygtigheden af deres forbrugerprodukt.
Og taler om den brugergruppe
Er dette virkelig den endelige brugerflade?
UI'et vist af Microsoft i deres demo videoer ser ud til at fungere ved at bruge en kombination af blik og håndsporing til at styre en markør i den virtuelle scene, mens du bruger talekontrol til at vælge mellem forskellige indstillinger. Dette har to store ulemper: Det gør dig til at ligne det lille barn i Shining, der taler til sin finger, men vigtigere er det også et fundamentalt fejlagtigt designparadigme.
Historisk set har de bedste brugergrænseflader været dem der bringer fysiske intuitioner om verden ind i den virtuelle verden. Musen bragte klikke, trækker og vinduer. Touch-grænsefladen bragte strejf for at rulle og klemme for at zoome. Begge disse var afgørende for at gøre computere mere tilgængelige og nyttige for den generelle befolkning - fordi de var fundamentalt mere intuitive end hvad der kom før.
VR og AR giver dig meget mere frihed som designer: Du kan placere UI-elementer overalt på et 3D-rum og få brugerne til at interagere med dem naturligt, som om de var fysiske objekter. Et stort antal indlysende metaforer tyder på sig selv. Tryk på et virtuelt UI-element for at vælge det. Klem til det hente det og flytte det. Skub det ud af vejen for at gemme det midlertidigt. Knus det for at slette det. Du kan forestille dig at opbygge en brugergrænseflade, der er så fuldstændig intuitiv, at det ikke kræver nogen forklaring. Noget, som din bedstemor straks kan afhente, fordi den er bygget på grundlag af grundlæggende fysiske intuitioner, som alle bygger op i løbet af et liv i at interagere med verden. Tag et øjeblik, og lyt til denne smarte person beskrive, hvilke fordybende grænseflader der kunne være.
Med andre ord synes det åbenlyst (for mig) at en fordybende brugergrænseflade skal være mindst lige så intuitiv som touch-grænsefladerne, der pionerer af iPhone til 2D multitouch-skærme. At opbygge en grænseflade omkring manipulation af en VR-mus er et skridt baglæns og udsætter enten dybe teknologiske mangler i deres håndsporingsteknologi eller en grundlæggende misforståelse af, hvad der er interessant om dette nye medium. På nogen måde er det et meget dårligt tegn på, at dette produkt er mere end en kolossal Kinect-skala flop.
Forhåbentlig har Microsoft tid til at få feedback på dette og gøre et bedre arbejde. Som et eksempel her er en grænseflade designet af en hobbyist til Oculus Rift DK2 og Leap Motion. En immersive brugergrænseflade designet af et stort firma bør være i det mindste så godt.
Et tegn på ting at komme
I det store hele er jeg ekstremt skeptisk over for HoloLens-projektet som helhed. Jeg er meget glad for, at et firma med Microsofts ressourcer undersøger dette problem, men jeg er bekymret over, at de forsøger at fremskynde en produkt uden at løse nogle kritiske underliggende tekniske problemer eller at negle et godt UI-paradigme. HoloLens er et tegn på ting, der skal komme, men det betyder ikke, at selve produktet skal give forbrugerne en god oplevelse.
Billedkredit: høflighed af Microsoft