Když je mrak zaplaven, je to hrana výpočetní techniky, ai na záchranu

Podél pobřeží nového australského státu Nový Jižní Wales (NSW) se vznáší flotila dronů, která pomáhá udržovat vodu v bezpečí. Začátkem tohoto roku pomohli dronové zachráncům při záchraně na severním pobřeží státu dva teenageři, kteří se potýkali s těžkým surfováním.

Drony jsou poháněny umělou inteligencí (AI) a algoritmy strojového vidění, které neustále analyzují jejich video kanály a zvýrazňují položky, které vyžadují pozornost: řekněme, žraloci nebo toulaví plavci. Je to stejná technologie, která umožňuje Fotky Google třídit obrázky, domácí bezpečnostní kamera detekovat cizince, a inteligentní lednička, která vás upozorní, když se vaše zkáze blíží k datům vypršení platnosti.

Ale zatímco tyto služby a zařízení potřebují pro své funkce AI neustálé připojení k cloudu, drony NSW mohou provádět své úlohy detekce obrazu s pevným internetovým připojením nebo bez něj, díky neurálním počítačovým čipům, které jim umožňují provádět hloubkové výpočty na místě.

Tyto čipy jsou součástí rostoucího trendu inovací v oblasti výpočtů hran, které umožňují našim softwarovým zařízením provádět alespoň některé kritické funkce bez stálého propojení s cloudem. Nástup špičkových počítačů pomáhá řešit nové a staré problémy a připravuje cestu pro příští generaci inteligentních zařízení.

Uvolnit Cloud

V posledních dvou desetiletích se cloud s dobrým důvodem stal defacto způsobem hostování aplikací.

„Věc, díky které je cloud tak atraktivní, je to, že má tendenci snižovat náklady na zahájení jakékoli činnosti, kterou chcete provádět, “ říká Rob High, CTO společnosti IBM Watson. "Cloud… umožňuje lidem… řešit skutečné problémy dnes, aniž by museli procházet náklady na vytvoření infrastruktury."

S všudypřítomným připojením k internetu a téměř bezpočtem cloudových aplikací, služeb a vývojových platforem se bariéry při vytváření a zavádění aplikací výrazně zmenšily. Obrovské zdroje poskytovatelů cloudu, jako jsou IBM, Google a Amazon, podpořily vývoj nejen triviálních obchodních aplikací, ale také komplexního softwaru, který vyžaduje obrovské množství výpočtů a ukládání - algoritmy umělé inteligence a strojového učení, jakož i streamování a AR (rozšířená realita) aplikace.

Tyto pokroky však také vytvořily výzvu: Většina aplikací, které používáme, nemůže fungovat, pokud nejsou připojeny k cloudu. To zahrnuje většinu aplikací, které běží na počítačích a telefonech, jakož i software v ledničkách, termostatech, dveřních zámcích, sledovacích kamerách, autech, dronech, senzorech počasí atd.

S příchodem internetu věcí (IoT) stále více zařízení spouští software a generuje data a většina z nich bude vyžadovat připojení k cloudu pro ukládání a zpracování těchto dat. Množství energie a šířky pásma potřebné k odeslání těchto dat do cloudu je obrovské a prostor potřebný pro uložení dat bude výzvou pro zdroje i těch nejmocnějších oblačných bytostí.

"V těchto systémech je spousta dat, ať už je to na okraji, nebo je to zařízení IoT nebo jiné místo, o kterém byste se mohli téměř rozhodnout, že se nestaráte, " říká High. Pokud však musí být každé rozhodnutí přijato v cloudu, všechna tato data budou muset být poslána přes síť na cloudové servery, aby byla vyčištěna a filtrována.

Jako příklad může společnost High jmenovat moderní letadla, která obsahují stovky senzorů, které monitorují proudové motory a shromažďují stovky gigabajtů dat o stavu a výkonu během každého letu. „Na kolik z těchto údajů opravdu záleží, pokud je chcete analyzovat na agregátu? Pravděpodobně jen zlomek z nich, “ říká High. "Proč se toho prostě nezbavit u zdroje, když to není nutné pro nic jiného, ​​co děláš?"

Dělat to, co High navrhuje mimo cloud, bylo původně všechno, ale nemožné, ale pokroky v nízkoenergetických a levných procesorech System-on-Chip (SoC) poskytly hranovým zařízením větší výpočetní výkon a nechaly je nést část výpočetní zátěže svých ekosystémy, jako je provádění analýz v reálném čase nebo filtrování dat.

„V okrajovém prostředí je tolik dat, má smysl přenést některé funkce cloud computingu do výpočetní kapacity okrajového zařízení, “ říká High.

Ochrana osobních údajů

Výhody hrany výpočetní techniky nejsou omezeny na uvolnění prostředků cloudu.

Remi El-Ouazzane, nová technologická skupina a generální ředitel Movidius (Intel), uvádí komerční bezpečnostní kamery jako další příklad, kdy může výpočet hran hran znamenat obrovský rozdíl. Tyto kamery vidíte na semaforech, na letištích a u vchodu do budov, nahrávají a streamují vysoce kvalitní video přes síť nepřetržitě.

„Čím méně dat potřebujete k návratu na server nebo do datového centra, tím více čištění a finessingu můžete udělat na místě, tím lépe budou vaše celkové náklady na vlastnictví z pohledu úložiště a přenosu, “ říká El-Ouazzane.

To znamená, že je kamerám poskytnuta schopnost analyzovat jejich vlastní video kanály, určit, které rámce nebo délky videa vyžadují pozornost, a posílat pouze tato data na server.

Pokud jsou tyto kamery nainstalovány ve vaší domácnosti, kanceláři nebo na jakémkoli soukromém místě, stává se připojení k cloudu potenciálním bezpečnostním problémem. Hackeři a výzkumníci v oblasti bezpečnosti dokázali ohrozit spojení mezi domácími spotřebiči a jejich cloudovými servery, aby zachytili citlivé video kanály. Lokální analýza dat odstraňuje potřebu videa mezi vaším domovem, soukromým životem a poskytovatelem služeb.

Movidius, který společnost Intel získala v roce 2016, je jedním z několika startupů, díky kterým se počítačové čipy specializují na AI úkoly, jako je rozpoznávání řeči a počítačové vidění. Společnost vyrábí jednotky pro zpracování obrazu (VPU) - procesory s nízkým výkonem, které provozují neuronové sítě, které analyzují a „chápou“ kontext digitálních obrázků, aniž by je musely posílat zpět do cloudu.

Movidius Myriad 2 je vždy v provozu procesor vyrobený pro prostředí s omezeným napájením.

„Když kamera chápe sémantiku toho, na co se dívá, pak se schopnost uvalit pravidla ohledně toho, co kamera může nebo nemůže udělat, stává velmi snadným úkolem, “ říká El-Ouazzane. "Nemusíte vlastně zachytit svůj obývací pokoj na dalších 12 hodin, abyste věděli, že v daném čase váš pes překročil koberec před pohovkou."

Jiné společnosti zkoumají použití specializovaných výpočetních technik na hraně AI k ochraně soukromí uživatelů. Například Apple iPhone X je poháněn čipem Bionic A11, který dokáže lokálně spouštět AI úlohy, což mu umožňuje provádět složité rozpoznávání obličeje bez odesílání mugshotů uživatele do cloudu.

Více zpracování AI na hraně může připravit cestu pro decentralizovanou umělou inteligenci, kde uživatelé musí sdílet aplikace s velkými společnostmi, aby mohli používat aplikace AI.

Snížení latence

Dalším problémem u velkých poskytovatelů cloudů je to, že jejich datová centra jsou umístěna mimo velká města a umístí je stovky a tisíce mil daleko od lidí a zařízení používajících jejich aplikace.

V mnoha případech může zpoždění způsobené daty cestujícími do cloudu a z cloudu přinést špatný výkon nebo horší fatální výsledky. Může se jednat o robota, který se snaží vyhnout se srážkám nebo přistání na nerovném terénu, nebo se může jednat o vozidlo s vlastním řízením, které se rozhodne, zda se dostane do překážky nebo chodce.

Díky lehké implementaci hlubokých neuronových sítí a počítačového vidění společnosti Movidius jsou její čipy vhodné pro mobilní zařízení na hranách, jako jsou drony, pro které není možné použít hardwarově náročný hardware, například GPU. Drony jsou obzvláště zajímavou studií, protože potřebují přístup k výpočtu AI s nízkou latencí a musí fungovat i v offline režimu.

Detekce gest jako další oblast, kde hraniční výpočetní technika pomáhá zlepšit zážitek z dronů. „Cílem je zpřístupnit drony pro mnoho lidí a gesto se zdá být pro lidi příjemným způsobem. Latence je důležitá, když gesto drone vykonáte nějaký úkol, “ říká El-Ouazzane.

U startupů, jako je Skylift Global, který poskytuje služby dronů s vysokou hmotností záchranářským pracovníkům a prvním respondentům, může nízko latenční přístup k AI a výpočetním prostředkům ušetřit peníze a životy. „Výrazně sníží náklady na příjem dat, sníží latenci sítě, zvýší zabezpečení a pomůže proměnit streamování dat na rozhodnutí v reálném čase, “ říká Amir Emadi, generální ředitel a zakladatel Skylift.

Dodání dodávek prvním respondentům vyžaduje rozhodnutí v sekundách. "Čím více času uběhne, například v boji proti požáru, tím nákladnější je napravit situaci. Když se naši dronové dokážou rozhodovat v reálném čase na hraně, i když ztratí konektivitu, budeme moci ušetřit více životy, peníze a čas, “říká Emadi.

Dalšími oblastmi, které potřebují výpočet v reálném čase, jsou aplikace s rozšířenou a virtuální realitou a autonomní vozidla. "Toto jsou všechna počítačová prostředí založená na zkušenostech. Stávají se kolem lidí, " říká Zachary Smith, generální ředitel Packetu, spuštění v New Yorku zaměřené na umožnění vývojářům přístup k vysoce distribuovanému hardwaru.

Aplikace AR nebo VR, která nedokáže držet krok s pohyby uživatele, buď způsobí závratě, nebo zabrání tomu, aby se zážitek stal ponořeným a skutečným. A latence bude ještě větší problém, když se samohybná auta, která se do značné míry spoléhají na počítačové vidění a algoritmy strojového učení, stanou hlavním proudem.

"30-milisekundová latence nebude záležet na načtení vaší webové stránky, ale bude opravdu záležet na tom, aby auto rozhodlo rychlostí 60 mph, zda by se mělo odbočit doleva nebo doprava, aby se zabránilo nárazu do malé dívky, " říká Smith.

Setkání s výzvami hrany

Navzdory potřebě přiblížit výpočetní techniku ​​na hraně nemusí být uvedení specializovaného hardwaru do každého zařízení konečnou odpovědí, Smith uznává. „Proč ne jen dát všechny počítače do auta? Myslím, že to opravdu souvisí s vývojem toho, jak rychle můžete řídit jeho životní cyklus, “ říká.

„Když uvedete hardware na svět, obvykle tam zůstane po dobu pěti až 10 let, “ říká Smith, zatímco technologie, které pohánějí tyto případy použití založené na zkušenostech, se vyvíjejí každých šest až 12 měsíců.

I velmi velké společnosti se složitými dodavatelskými řetězci často bojují s aktualizací svého hardwaru. V roce 2015 si Fiat Chrysler musel vzpomenout na 1, 4 milionu vozidel, aby opravil bezpečnostní chybu, která byla odhalena před pěti lety. A obří chipmaker Intel se stále snaží vypořádat se s konstrukční vadou, která vystavuje stovky milionů zařízení hackerům.

Movidius's El-Ouazzane tyto výzvy uznává. "Víme, že každý rok budeme muset změnit řadu produktů, protože každý rok budeme přinášet více inteligence na hraně, a požádáme naše zákazníky o upgrade, " říká.

Aby nedocházelo k neustálému stahování a aby zákazníci mohli dlouhodobě využívat svůj špičkový hardware, Movidius sbalí své procesory dalšími zdroji a kapacitou. „Potřebujeme schopnost v příštích několika letech provádět upgrade těchto produktů, “ říká El-Ouazzane.

Společnost Packet, Smithova společnost, používá odlišný přístup: Vytváří micro datová centra, která mohou být nasazena ve městech, blíže k uživatelům. Společnost pak může vývojářům poskytnout výpočetní prostředky s velmi nízkou latencí - tak blízko, jak se můžete k uživatelům dostat, aniž by byl skutečný hardware na okraji.

"Věříme, že bude nutné zavést mechanismus poskytování infrastruktury, který umožní hardwaru, ke kterému budou mít vývojáři přístup v každém městě na celém světě, " říká Smith. Společnost již působí na 15 místech a plánuje se nakonec rozšířit na stovky měst.

Ambice paketu jdou dále než vytváření miniaturních verzí rozlehlých zařízení provozovaných podobně jako Google a Amazon. Jak Smith vysvětluje, nasazení a aktualizace specializovaného hardwaru není možné s veřejným cloudem. V obchodním modelu společnosti Packet používají výrobci a vývojáři specializovaný hardware v datových centrech společnosti, kde jej mohou rychle aktualizovat a aktualizovat, když to bude potřeba, a zároveň zajistit, aby jejich uživatelé získali superrychlý přístup k výpočetním prostředkům.

Hatch, jeden ze zákazníků společnosti Packet, je odštěpením společnosti Rovio, mobilní herní společnosti, která vytvořila Angry Birds. Společnost provozuje Android na serverech s hranou výpočtů, aby uživatelům s nízko-koncovými zařízeními Android poskytovala streamovací služby pro více hráčů s nízkou latencí.

„potřebuje na všech těchto trzích po celém světě poměrně specializované servery ARM, “ říká Smith. „Měli přizpůsobené konfigurace naší nabídky serverů a umístili jsme ji na osm globálních trhů v celé Evropě a brzy to bude na 20 nebo 25 trzích. Připadá mi to jako Amazon, ale na každém trhu v Evropě se dostanou ke spuštění přizpůsobeného hardwaru.. “

Teoreticky by Hatch mohl udělat totéž ve veřejném cloudu, ale náklady by z něj učinily neefektivní firmu. „Rozdíl je mezi umístěním 100 uživatelů na CPU a umístěním 10 000 uživatelů na CPU, “ říká Smith.

Smith věří, že tento model osloví vývojářskou generaci, která bude řídit další softwarové inovace. „Zaměřujeme se na to, jak propojit generaci softwaru, lidi, kteří vyrostli v cloudu, se specializovanými hardwarovými primitivy, “ říká Smith. „Mluvíme o uživatelích, kteří si nemohou otevřít svůj MacBook a podívat se dovnitř, a to je osoba, která se chystá inovovat v balíčku hardwaru / softwaru.“

Budou se mraky mizet?

Je okrajová zařízení schopna plnit složité výpočetní úkoly, je budoucnost cloudu v nebezpečí?

„Okrajová práce je pro mě přirozeným a logickým dalším vývojem cloud computingu, “ říká IBM Watson's High.

Ve skutečnosti v roce 2016 IBM představila sadu nástrojů, které vývojářům umožňují hladce distribuovat úkoly mezi hranou a cloudem, zejména v ekosystémech IoT, kde okrajová zařízení již shromažďují spoustu údajů o svém bezprostředním prostředí. A na konci roku 2016 Amazon Web Services, další hlavní platforma pro vývoj cloudu, oznámila Greengrass, službu, která umožňuje vývojářům IoT provozovat části svých cloudových aplikací na svých okrajových zařízeních.

Nic z toho neznamená, že mrak odchází. "V cloudu je jen spousta věcí, které se dají lépe udělat, i když se stále hodně děje na okraji, " říká High. To zahrnuje úkoly, jako je agregace dat z mnoha různých zdrojů a provádění rozsáhlé analýzy s obrovskými datovými sadami.

„Pokud potřebujeme vytvořit modely v algoritmech AI, které používáme v těchto okrajových zařízeních, je vytváření a školení těchto modelů stále velmi masivním výpočtově náročným problémem a často vyžaduje výpočetní kapacitu, která daleko přesahuje to, co je k dispozici na těchto okrajových zařízeních, “ říká.

El-Ouzzane souhlasí. „Schopnost lokálně trénovat modely umělé inteligence je velmi omezená, “ říká. "Z pohledu hlubokého učení má školení pouze jedno místo k sezení, a je to v cloudu, kde máte dostatek výpočetních prostředků a dostatek úložného prostoru, abyste mohli zvládnout velké datové sady."

Ustanovení El-Ouazzane také používají případy, kdy jsou hranová zařízení přiřazena k úkolům kritickým pro úkol a čas, zatímco cloud se stará o pokročilejší konference, které nejsou závislé na latenci. "Žijeme ve světě kontinuity mezi cloudem a hranou."

"Mezi hranou a cloud computingem existuje velmi symbiotický a synergický vztah, " říká High.