Jak jednota staví svou budoucnost na ar, vr a ai

Unity je nejrozšířenější 3D vývojovou platformou na světě. Podle analytické firmy Apptopia umožňuje 40 procent z 1 000 největších mobilních her a více než polovinu všech nových mobilních her. Spolu s Unreal Engine, dva populární herní stroje podporují většinu herních zážitků na webu.

Prostor pro vývoj 3D je však mnohem více přeplněný než kdysi, zejména pokud jde o vývoj rozšířené a virtuální reality.

Unity slouží jako stavební bloky nebo se integruje do většiny novějších platforem AR / VR, včetně společností Apple ARKit a Google ARCore, ale nyní se také zabývá konkurencí ze strany typu Amazon Sumerian a dalších rozhraní drag-and-drop, které se snaží zjednodušit zážitek méně technických tvůrců.

Aby Unity zůstala před konkurencí a vyvinula svou platformu pro rostoucí ekosystém nových zařízení a 3D zážitků, prosazuje Unity strategii s dvěma hroty vedenou svými divizemi AR / VR a AI. PCMag hovořil s Tony Parisim, globálním ředitelem Unity Global Solutions of VR / AR Brand Solutions, as Danny Lange, viceprezidentem Unity pro AI a Machine Learning, aby se dovnitř podíval na budoucnost Unity a jak platforma - a hry, které vytváří - jsou chytřejší, aniž by dokonce si to uvědomuješ.

Unity's View of AR / VR Landscape

IDC předpovídá, že výdaje na produkty a služby AR / VR letos dosáhnou 27 miliard dolarů a trh odtud jen roste. Parisi řekl, že cílem Unity je podporovat každou platformu ve vesmíru.

„Před třemi nebo čtyřmi lety, než jsem se připojil, Unity začala významně investovat na rozvíjejícím se trhu VR - Oculus Rift, HTC Vive, Samsung Gear VR atd. - s cílem vytvořit pro vývojáře jakýsi plně vybavený systém takže se nemusejí schovávat v podrobnostech o nízké úrovni podpory těchto platforem, “řekl Parisi. "Dostali jsme se do bodu, kdy jednou napíšete většinu svých aplikací, a můžete je přenést na tato zařízení."

To není všeobecně pravda, řekl, protože aplikace, kterou vytvoříte pro náhlavní soupravu pro mobilní prohlížeče, bude navržena trochu jinak než aplikace optimalizovaná pro PC zážitek. Ale podle interních metrik Unity tato platforma v současné době využívá 69 procent zkušeností společnosti Oculus Rift, 74 procent u zařízení HTC Vive, 87 procent u zařízení Gear VR a 91 procent zkušeností se smíšenou realitou (Microsoft HoloLens).

• Práce s rostoucím ekosystémem

  Parisi pracuje v AR / VR od poloviny 90. let a pracuje na 3D vizualizaci. Spoluvytvořil formát souboru VRML a další specifikace, na nichž je založen WebGL, a založil a pracoval pro několik dalších společností VR. Koncem roku 2016 se připojil k Unity, aby vedl reklamu, marketing a strategii napříč AR, VR, MR a deštníkem širší reality (XR).

  „hned po rozmachu Pokemon Go, který byl jakýmsi podobným zjednodušujícím AR, více o umístění, jinde a nalezení Pokémona a trochu kamery. To je faktor, který neustále rozšiřujeme. Je to o poloze stejně jako o je o ponoření, “řekl Parisi.

  Na přední straně AR, Parisi hovořili o tom, jak Facebook a Snap používají své vývojové platformy Camera Effects a Lens Studio k vývoji toho, co můžete udělat s kamerami smartphonu pro mapování prostředí kolem vás. Překlenovací chytrý telefon a AR založené na headsetu jsou zážitky jako hra Star Wars: Jedi Challenges, která byla také vytvořena s Unity a pracuje s chytrým telefonem v kombinaci s Lenovo Mirage AR headsetem.

  Další vlnou jsou telefony s podporou operačního systému AR prostřednictvím ARKit společnosti Apple a ARCore společnosti Google, řekl Parisi. Stejně jako u Amazon Sumerian, Unity spolupracuje s Apple a Google na vytváření obsahu AR pomocí 3D nástrojů. Unity také slouží jako základ pro open-source Google nástroje, jako je Tilt Brush a Blocks. Parisi představuje společný rozšířený svět, který pokrývá mobilní operační systémy.

  "Apple a Google jsou skvělí partneři. Máme s nimi hluboké vztahy, abychom mohli vyvíjet a podporovat tyto zkušenosti a obsah XR pomocí 3D nástrojů Unity, " řekl Parisi. „V našem motoru je zabudováno mnoho demokratizovaných nástrojů pro vytváření, které nejsou pro kodéry nebo vývojáře nebo profesionální designéry. Ještě lepší je, že můžete vzít modely Blocks nebo umění Tilt Brush a přenést je do jiných aplikací Unity stejně jako jakýkoli jiný software. to přichází do Jednoty. “

  Na straně MR a VR jsou velké zařízení a softwarové přehrávače Oculus, HTC a samozřejmě Microsoft a jeho ekosystém Windows Mixed Reality. Unity staví 3D aplikace pro všechny z nich, ale Microsoft trochu rozmazává hranice mezi smíšenou a virtuální realitou, řekl Parisi. HoloLens je zařízení se smíšenou realitou, ale náhlavní soupravy Windows Mixed Reality jsou VR.

  "Průmysl se stále vyrovná s tím, čemu bychom to měli nazvat, " řekl Parisi. „V závislosti na tom, zda navrhujete obsah, který se mísí s digitálním skutečným světem, ve srovnání s plně ponořeným světem, máte různé výzvy. Ve VR jsou výkonnostní výzvy vyšší. Musíte vytvořit zcela syntetický svět. To znamená, že PC - VR náhlavní soupravy na bázi VR poskytované rychlostí 90 snímků za sekundu, které odstartují výkon. Smíšená realita je méně náročná, ale musí se také v reálném čase přizpůsobit celému prostředí, které zpracovává. “

• Vývoj tvorby 3D obsahu

  Unity je demokratizovaný 3D nástroj pro tvorbu vyvíjející se pohlcující obsah. K dispozici jsou verze Free, Plus a Pro, které si můžete zakoupit za měsíční předplatné, a je to zdarma. Takže to, co stavíte s Unity, je vaše. Unity v současné době podporuje budování zhruba 30 různých platforem, od chytrých telefonů a operačních systémů pro PC až po řadu herních systémů, chytrých televizorů a náhlavních souprav VR.

  Unity byla nedávno použita k vytvoření široké škály pohlcujícího obsahu a zkušeností. Tyto sahají od série filmů Sundance Film Festival s názvem Spheres, která umožňuje divákům prozkoumat kosmickou kolizi dvou černých děr ve VR, až po hru Disney's CocoVR, která používá 360stupňové projekce transportující hráče do filmu Země mrtvých Pixar.

  Parisi také hovořil o použití Unity k vytváření zábavných her VR, jako je Beat Saber, a rozšířených zážitků včetně aplikace MLB At Bat AR, která umožňuje baseballovým divákům nasměrovat své smartphony na hru a zobrazit statistiky na obrazovce nad hráči.

  Jednota dokáže vytvářet všechny tyto typy aplikací, ale v designu je mnoho nuancí. Zkušenosti založené na PC jsou výkonnější, umožňují větší 3D modely v bohatších prostředích a náhlavní soupravy, jako jsou Oculus Rift a HTC Vive, vám také poskytují vstupní ovladače spolu s polohovým a pokojovým měřením. Parisi řekl, že pro tento druh aplikace musíte navrhnout odlišně, než byste měli pro zážitek ze sledování 3 stupňů svobody na náhlavní soupravě, jako je například Google Daydream View. Není to tak snadné jako stisknutí tlačítka, ale Unity se snažil zajistit, aby se 3D obsah, který vytvoříte, mohl přesouvat z jednoho zařízení na druhé bez přílišného překódování.

  Kromě herních a zábavních aplikací pro zkušenosti s AR / VR je jednou z otázek, s nimiž se Unity v poslední době potýká, je, jak zlepšit své 3D prostředí vytváření tak, aby vyhovovalo různým odvětvím, úrovním dovedností a případům použití. Stejně jako u vývojových nástrojů s nízkým kódem, jejichž cílem je uspokojit jak seriózní kodéry, tak i netechnické uživatele, Unity vymýšlí způsoby, jak zajistit, aby její rozhraní, úložiště aktiv a zbytek platformy fungovaly pro různé typy společností a uživatelů, aby rozšířily své zákazníky. základna.

  "Podívali jsme se na tato různá průmyslová odvětví, kde vznikají AR a VR. Mohly to být automobilové, filmové, architektonické, lékařské nebo jiné organizace, kde distribuujete software na stovky tisíc křesel, " řekl Parisi. „Je to úplně jiný svět, různé podniky, různá pozadí a produkční nástroje. Původně jsme se zaměřovali na mobilní a herní průmysl, protože tam byl růst, ale nyní se kolo roztočilo a načasování je správné vzít si tu knihu a přinést ji do některých z těchto dalších průmyslových odvětví, protože svět se mění na B2B. “



Aktuální omezení AR / VR

Největší překážkou širšího přijetí MR a VR v současnosti není nedostatek obsahu, ale hardwarová omezení, pokud jde o pohodlí a přenositelnost versus výpočetní výkon, řekl Parisi. Úžasná cesta připravované náhlavní soupravy Magic Leap slouží jako případová studie z učebnice, která se snaží zmenšit výkonný procesor na malý formátový faktor pro hromadnou spotřebu.

"Je obtížné vytvořit smíšený realistický zážitek, který by fungoval při procházce po vašem obývacím pokoji oproti procházení otevřenými ulicemi, " řekl Parisi. "Jsme na místě, kde stále procházíme iteracemi na hardwaru, abychom našli sladké místo mezi výpočetním výkonem a přenositelností. S náhlavní soupravou VR se můžete pohybovat, dokud necítíte, že se zachytil drát. Potřebujeme další způsob, jak přenášet tato data. Ten drát je bolest; zlomí to ponoření. Byl jsem někde jinde na minutu, ale pak jsem si něco zamotal kolem nohy. “

Na straně AR jsou omezení různá; je to mnohem více o počítačovém vidění a výkonu zpracování pro 3D grafiku v reálném čase. Pokud jde o počítačové vidění a použití různých typů strojového učení (ML), které vyplní mezery a učiní AR / VR zážitky chytřejšími a plynulejšími, přichází sem rostoucí oddělení AI Unity.

• Strategie AI společnosti Unity

  Unity používá umělou inteligenci mnoha různými způsoby, od vylepšení designu her a motorů až po sledování chování uživatelů a změnu způsobu, jakým mohou vývojáři her zpeněžit své aplikace. Tým AI, který má na celém světě více než 100 zaměstnanců, řídí Danny Lange, viceprezident Unity pro AI a Machine Learning.

  Lange se připojil k Unity asi před 18 měsíci poté, co pracoval jako vedoucí strojového učení v Uberu a generální ředitel Amazon Machine Learning. Pracoval také v IBM a Microsoft. Do herního světa přišel s jiným pohledem na ML a pomohl z tradičního úsilí Unity ML udělat ambicióznější projekty.

  "Firmy jako Amazon a Uber jsou tak silně řízeny strojem. Když přicházíme ze světa aut s vlastním pohonem do tohoto 3D herního prostředí, musíte hledat ideální místo k posunutí hranice umělé inteligence, " řekl Lange.

  „Když jsem přišel, proběhlo mnoho strojového učení, kde jsem přinesl zkušenosti s posilováním učení a dynamickými systémy, kde zásadně zlepšujete chování, “ pokračoval Lange. "To je něco, co jsme udělali hodně v Amazonu i Uberu. Ať už posíláte knihy, nebo optimalizujete pro bezobslužné vyzvednutí pro Uber, všechno to není ve skutečnosti lidé, kteří by to seděli a navrhovali, jsou to počítačové systémy, kde se dozví kde se setkat s tvým řidičem Uber. A když jsem přišel do Unity, viděl jsem obrovskou příležitost, jak tyto myšlenky přenést do herního světa."

  Jak vysvětlil Lange, ML projekty Unity pokrývají vše od hraní her až po zpeněžení. V jednom případě tým hledá shluky uživatelů, kteří mají určité vzorce utrácení, které vývojáři Unity chtějí zpeněžit prostřednictvím reklamy nebo nákupů v aplikaci. Jednota pak tyto výsledky vynáší na vývojáře pro efektivnější dlouhodobé zapojení.

  Společnost také používá ML ke zlepšení hraní, návrhu motoru a pomoci s procesem vytváření obsahu. Obecná strategie Unity je v zásadě rozdělena mezi vývojovou stranu na úrovni ML s více službami a pokročilejší výzkum hlubokého učení na akademické straně. Lange uvedl, že to také přechází do toho, co Parisiho oddělení dělá s vývojem XR, kde Unity dává vědcům 3D grafické prostředí k vyzkoušení nových ML algoritmů.

  „AR a VR jsou ve skutečnosti fantastické domény pro strojové učení a umělou inteligenci. Často považuji umělou inteligenci za vylepšenou realitu a realitu je těžké řešit, “ řekl Lange. "Je těžké přijít s pevnými algoritmy, které rozumějí všemu v místnosti a mohou tuto místnost překrýt. To opravdu nemůžete kódovat. Musíte použít strojové učení a umělou inteligenci, abyste do místnosti umístili virtuální objekty, které rozpoznají, že tabulka je povrch, a pokud jej umístíte na okraj stolu, spadne. To jsou oblasti, kde strojové učení hraje velmi důležitou roli kvůli tomuto dynamickému chování v reálném světě; porozumění hloubce a rozměrům ve virtuálních prostorech. s cílem přivést špičku hlubokého učení k revoluci ve způsobu, jakým jsou tyto hry vytvářeny a jak se chovají. “



Strojové učení za scénami

Co se týče vývoje hry a hry, Lange přitáhl oponu zpět do toho, jak Unity vnáší ML algoritmy do zkušeností, aby automatizoval proces vytváření a iterace.

"Zachycujeme spoustu behaviorálních dat: když hra začíná - jak dlouho jste hráli, jaké scény v této hře procházíte, " řekl Lange. „V tomto smyslu používáme strojové učení a analytiku dat v podobném kontextu jako Amazon nebo Google - shromažďujeme behaviorální data a dáváme je zpět vývojáři her. Je to druh ekvivalentu webové analýzy, který vám poskytuje data, která lze použít. okamžitě použít, abyste zjistili, na jaké úrovni hráči uvíznou, jaké scény nefungují atd. “

Tato data lze použít k optimalizaci podle faktorů, jako jsou nákupy v aplikaci a reklama, ale Lange řekl, že algoritmy pomáhají najít rovnováhu mezi zobrazením obsahu uživatelů, o které mají zájem, a zpeněžením her do extrému. Na makroúrovni vysvětlil, že jde spíše o vytvoření samočinně se opakující smyčky behaviorálních dat, aby se hry mohly organicky vyvíjet, přičemž z rovnice vyřadil manuální vývojářskou práci.

"Strojové učení je místo, kde jste schopni pořizovat data a začít se navazovat spojení, " řekl Lange. „Když to vložíte do smyčky, jako to, co ve hře často uvidíte, data vedou k předpovědím hry a hráčů. To vytváří více behaviorálních dat a nyní máte ve skutečnosti systém, který s nimi může interagovat a učit se od uživatelů a jejich vzájemného působení. Jednou z našich velkých snah je použití technologie AI k vytvoření více organických her, které se vyvíjejí s používáním. “

• Agenti strojového učení

  Nejdůležitější způsob, jak to Unity dělá, je prostřednictvím ML Agents, open-source beta iniciativy, která proměňuje hry a 3D simulace v tréninkové prostory pro autonomní inteligentní agenty. Unity v zásadě umožňuje vývojářům nasazovat tyto flexibilní agenty ML v jakémkoli scénáři a budou chovat jako houba: učení a vývoj se vyvíjí na základě jakéhokoli virtuálního prostředí, do kterého je vložíte.

  „Moje definice strojového učení versus AI je taková, že při strojovém učení shromažďujete data, trénujete systém a to je vše, “ vysvětlil Lange. „AI je, když se systém neustále rekvalifikuje a stává se lepším a lepším. Chceme, aby se hry vyvíjely, a jednou z našich veřejných iniciativ na podporu toho jsou agenti strojového učení.“

  Unity má několik cílových publika pro své agenty ML. Jeden scénář je pro vývojáře, který těmto automatizovaným postavám umožňuje pohybovat se a komunikovat s hráči. Místo kódování svých akcí se agenti ML učili prostřednictvím posilování, protože simulují různé úrovně a pomáhají vývojářům rychle testovat hry, které fungují jako virtuální hráči testující paralelně tisíce herních úrovní.

  Další případ použití pro střediska agentů ML kolem příběhu. Lange řekl, že Unity testuje agenty tím, že se snaží přijít na to, co bude hráč dělat dál, a pak je sledovat krok za krokem. Cílem je pochopit, co dělají lidští hráči a jak hra kompenzuje tato rozhodnutí ve větším schématu vyprávění. Ve hrách, kde jsou aktivní miliony hráčů, se mohou agenti ML učit a vylepšovat úrovně nebo příběhy hry ve velkém měřítku.

  Ve výše uvedené simulaci Goodboy vytvořil tým Lange jednoduchou mobilní hru s využitím modelu strojového učení z sady nástrojů Unity's ML-Agents. Ve hře, malé corgi přitáhne hůl s roztomilé pohyby, to vše, aniž by byl pevně kódován. Místo toho jsou jeho činy a chování řízeny agenty ML. Unity plánuje spolupracovat s partnery platformy na rozšíření agentů ML na všechny platformy podporované Unity.

  „Pokud přemýšlíte o takovém druhu schopností ve hře na úrovni, kterou nazýváme vyprávěcí úrovní, není to nutně kontrolováno postavami, které se pohybují ve hře, ale samotným vyprávěním hry. Takže se v podstatě musíte pokusit hru zahrát do nějaké velmi vzrušující silnice. Takže můžete mít na výběr cestu doleva nebo doprava a hra bude v zásadě organizovat řadu událostí na základě toho, co předpovídá, že uděláte, od nynějška bude pět, 10, 15 tahů, “ řekl Lange.

  „Dokážete si představit, jak by to mohlo fungovat ve hře pro více hráčů, “ pokračoval. „Jeden z klasických příkladů: na začátku hry se setkávají dva jednotlivci. Jeden okradne všechno zlato od jiného hráče a pak se mezi nimi oddělí špatnou krví. Takže hra by zajistila vyprávění, kde každý hráč skončí společně na místě, kde přežijí, budou muset spolupracovat. Musí překročit most a mohou to udělat jen společně, jinak jsou mimo hru. Bylo by velmi obtížné si to tvrdě kódovat skrz to s rozsáhlými simulace, ale s agenty ML může hra tyto simulace dynamicky vytvářet. “

• Vytváření virtuálních světů podporovaných umělou inteligencí

  Ukázka „Pyramidy“ výše je prostředím předvádějícím výsledky projektu posilovacího učení zvaného Zvědavost, kde ML Agents rychle prozkoumávají svět a objevují skryté odměny na mapě.

  Další stránka operací Unity AI zahrnuje použití ML k vytvoření více pohlcujících scén a textur při generování 3D obsahu. Lange uvedl, že se jedná o novější, ale velmi slibné pole, kde autonomní systémy ve hře mohou vytvářet pohybem kontrolovaný obsah a vyplňovat přirozené pohyby, učit se, jak se postava, člověk nebo zvíře pohybuje, a poté napodobovat tuto animaci ve hře.

  "Testujeme to tisíce vývojářů, " řekl Lange. "Z akademického hlediska jsme začali vidět mnoho studentů NASA a doktorandů na MIT a Paul Allen Institute v Seattlu, kteří vydávají věci na Unity. Právě jsem se setkal s vývojáři v Londýně, kteří hledali toto pro vývoj NPC, kteří opravdu tlačí omezit grafický výkon s telefony iPhone a zařízeními Android. ““

  Unity má také stroj nazvaný Extreme AI pro mapování osobností na postavy, podobné tomu, jak Amazon Sumerian staví „hostitele“ zasažené AI. Pro nehrající postavy ve hře Unity začala s tím experimentovat pro přirozenější simulaci v posledním roce nebo dvou, řekl Lange.

  "Takže pokud chcete postavit robota nebo auto s vlastním pohonem nebo navrhnout dům, můžete to udělat v Unity a naplnit tento dům NPC, " řekl Lange. „Můžete simulovat 1 000 rodin žijících v tom domě a shromažďovat informace o tom, jak se postavy pohybují. Otevřou se dveře správným způsobem? Je v místnostech dost světla? Pokud to uděláte v cloudu, můžete mít 1 000 různých domů. s 1 000 různými rodinami. Mohlo by se to zdát jako jít ven ze samotného hraní her, ale základem toho všeho je herní technologie. ““

• Budoucnost imerzivních aplikací

  S rozšiřováním ambicí společnosti AR / VR a umělé inteligence se Unity dívá za hraním nové generace 3D aplikací. Jedním příkladem je automobilový průmysl, pro který Unity nedávno vytvořila specializovaný tým, který má pomoci vytvořit obsah AR / VR pro zákazníky, včetně Audi, Toyota, Lexus a Volkswagen. Parisi řekl, že Unity se chystá uplatnit sílu svého multiplatformního vývojového ekosystému, aby přinesl vytváření aplikací AR / VR do nových průmyslových odvětví.

  "Měníme, jak navrhujete auta, natáčíte filmy; jak děláte všechny tyto věci jako společnost, která ví, jak prodávat vývojářům her, " řekl Parisi. „Řekněme například, že Ford chce ve své inovační laboratoři vytvořit aplikaci. Mají špičkový hardware a software, poté vyšle Rift a rozhodnou se to udělat pouze na herním PC. a šance jsou, že někdo v oblasti Detroitu je programátor Unity. Že jedna osoba začne prototypovat, promění se v inovační tým pro tři osoby a pak začnou vyvíjet nové způsoby, jak navrhnout auto, aby nahradily fyzické prototypy. “

  Parisi také vidí velký potenciál pro snížení tření, pokud jde o AR a elektronický obchod. Velkým nadcházejícím inflexním bodem je nadcházející World Wide Web Consortium (W3C) ratifikace WebXR, nového standardu, který umožní, aby zážitky AR a VR běžely jako webové aplikace přímo v desktopových a mobilních prohlížečích.

  Představte si, že ve svém sociálním kanálu uvidíte reklamu na nový kuchyňský spotřebič, a poté přetáhněte tento 3D model do prostředí smíšené reality spojené s fotoaparátem, abyste viděli, jak to vypadá v kuchyni. Aby tento druh technologie 3D reklamy fungoval ve velkém měřítku, Parisi řekl, že webový zážitek musí být bezproblémový. Pokud musíte nainstalovat aplikaci, abyste mohli prohlížet každý 3D objekt označený virtuálními informacemi pouze pro připojení k fotoaparátu, model nefunguje, ale Unity se považuje za nástroj spolu se standardy jako WebXR, které mohou tyto mezery kompatibility překlenout.

  Parisi předvídá budoucnost, kdy je formovým faktorem pro zážitky AR / VR samostatné zábavní zařízení, ať už jde o domácí zážitek, lokalizační aplikaci nebo podnikovou simulaci pro školení. Také řekl, že uživatelské rozhraní musí být zcela pohlceno. Tato technologie ještě neexistuje, ale nevěří, že je tak daleko, jak si někteří myslí.

  "Někteří lidé si myslí, že to bude desetiletí, než se dostaneme k opravdu dobrému pohlcujícímu headsetu nebo brýlím s dostatečným výpočtovým výkonem, " řekl Parisi. „Když vezmete v úvahu všechny zázračné průlomy v miniaturizaci, všechny tyto výpočetní aspekty - CPU, GPU, 5G síťování - za několik let bychom mohli být schopni některé z těchto procesů přesunout na okraj nebo do cloudu. být čímkoli, ale společným prvkem je rozhodně pohlcující uživatelské rozhraní, kde můžete stisknout tlačítko a zažít plně realizované digitální postavy nebo vrstvené prostředí, které mísí digitální a skutečný svět. “