Domov Myslet dopředu Velká data: náročný „bilionový dolar“

Velká data: náročný „bilionový dolar“

Video: Mariah Carey - All I Want For Christmas Is You (Official Video) (Listopad 2024)

Video: Mariah Carey - All I Want For Christmas Is You (Official Video) (Listopad 2024)
Anonim

Jedna věc, která mě na včerejším summitu Bloomberg Enterprise Technology Summit zaujala, bylo zaměření na zpracování dat novými způsoby - jinými slovy, řešení toho, co se často nazývá „velká data“.

Některé rozhovory se zabývaly hodnotou velkých dat a tím, zda se jednalo o skutečně „bilionovou dolarovou příležitost“, zatímco jiné se zabývaly konkrétními výzvami, kterým jednotlivé organizace a průmysl jako celek čelí při širším nasazení těchto nových technik.

Gerard Francis, globální ředitel Bloomberg Enterprise Solutions, Bloomberg LP začal den tím, že navrhl, že nejdůležitější věcí, kterou mohou společnosti udělat, je „vydělat na hodnotě dat jejich používáním“ a zaměřit se na přístup, kvalitu a tok data v rámci organizace. Na dalších panelech se hovořilo o nových nástrojích, které se zabývají daty, ao konkrétních problémech při ukládání, správě a hledání lidí, kteří s daty nakládají.

V obecném panelu pro podnikové trendy uvedl Dwight Merriman, předseda a spoluzakladatel MongoDB, že datová vrstva aplikační stopy má „největší narušení a změny, které jsme za 25 let viděli“. Řekl, že společnosti používají relační databáze 25 a více let, což je nejstarší technologie v zásobníku. Nyní se však dějí věci se souborovým úložištěm, jako je Hadoop a nové databázové technologie, často seskupené jako „NoSQL“. Poukázal na to, že Big Data není o „velkých“, ale spíše o tvaru dat, typech dat a posunu k řešení dat v reálném čase.

Hlavní ředitel společnosti Google Benjamin Fried souhlasil s tím, že většina podniků nemá problémy s „velkými daty“. Řada datových sad - například s údaji o lidských zdrojích a finančními údaji - není tak velká, řekl. Důležitá je flexibilita, kterou musíte s daty správně zacházet.

Co je vlastně Big Data?

MarkLogic's Gary Bloom, Neustar's Mark Bregman, Streambase's Mark Palmer a Vipul Nagrath of Bloomberg

Tento koncept - ta flexibilita je stejně důležitá jako velikost dat - se ozval na jiném panelu později během dne. Tam se účastníci dohodli, že společnosti se zabývají datově náročnými aplikacemi po dlouhou dobu, ale rozsah se v poslední době změnil. Například Mark F. Bregman, senior viceprezident a hlavní technologický ředitel Neustaru poznamenal, že některé společnosti nyní „všechno ukládají“ v naději, že se to ukáže jako cenné.

„Velký je lépe definován jako složitost, “ říká Gary Bloom, generální ředitel a prezident MarkLogic. Poznamenal, že mnoho takzvaných „velkých datových“ aplikací zahrnuje mnoho různých druhů dat, ale ne takový objem, který normálně slyšíte v „velkých datových“ aplikacích.

Uvedl příklad leteckého provozu, který kombinuje údaje o počasí, údaje o letišti, geoprostorová data, údaje o letu, údaje o rezervaci letecké společnosti a sociální data. Poznamenal, že nakládání s heterogenními daty bylo opravdu obtížné dělat s tradičními relačními databázemi, a zopakoval dřívější připomínky Merrimana z MongoDB, že se jedná o „první generační posun v databázi za 25 let“, protože jsme se přesunuli z mainframe k éře relačních databází.

Poznamenal, že mnoho lidí hovoří o sociálních médiích, ale je skutečně potřeba je kombinovat s jinými daty, aby bylo skutečně něco, na co můžete vydělávat. Kombinace těchto údajů je „skutečná hodnota“.

Některé aplikace samozřejmě zahrnují spoustu informací, přičemž Bregman říká, že heterogenita je pouze jedním faktorem. Citoval data DNS, která mohou snadno generovat 8 TB informací denně, a potřebu ukládat takové věci v Hadoopu. Bregman a ostatní poznamenali, že pokud jde o „kapitalizaci dat“, skutečná hodnota není v prvotních datech, ale místo toho je v analytice, když se stane něčím, co můžete použít. Ostatní na panelu souhlasili.

Generální ředitel Streambase Mark Palmer uvedl, že v mnoha aplikacích je důležité kombinovat velké množství dat se streamingovou analýzou; a hovořili o zvláštní hodnotě, která by mohla být vytvořena kombinací tradiční analýzy a analýzy v reálném čase.

Souhlasil však s tím, že problémem je složitost údajů. Citoval, jak Vivek Ranadivé, který provozuje Tibco (který nyní vlastní Streambase), koupil částečně basketbalový tým, aby zjistil, jak technologie může zlepšit zážitek fanouška. Znovu mluvil o „rozdmýchávání různých typů dat“, počínaje streamem Twitter, ale také využíváním jiných druhů dat.

Bloom poznamenal, že to vše záleží na aplikaci a řekl, že „latence je v oku pozorovatele“. Některé aplikace musí analyzovat data na vodiči dříve, než narazí na databázi, zatímco jiné ne.

Bregman nastolil problém, že namísto toho, aby bylo obtížné přesouvat výpočetní prostředky, je nyní mnohem obtížnější přesouvat data. Poznamenal, že pro mnoho aplikací je „lock-in“ umístěním dat. Jakmile uložíte data ve veřejném cloudu, je velmi obtížné je přesunout. Výsledkem je, že mnoho organizací chce ukládat obrovské množství dat na svých vlastních místech a poté se pro výpočetní funkčnost může přesunout k různým poskytovatelům. Půjčoval si termín od MarkLogic's Bloom a hovořil o tom, jak organizace mohou potřebovat „datové centrum zaměřené na data“ jako místo, kde uchováváte obrovské množství dat.

Je Big Data „bilionovou dolarovou příležitostí“?

Porter Bibb z MediaTech Capital Partners, Cloudera Doug Cutting, Snaplogic's Gaurav Dhillon a Jason Kelly od Bloomberg Link

Další panel diskutoval o příležitostech a výzvách, které přinášejí velká data, a přemýšlel o komentáři Porter Bibb, Managing Partner ve společnosti MediaTech Capital Partners. Bibb řekl, že ve skutečnosti existuje více než bilion dolarů výhod pro společnosti využívající nové techniky. K dnešnímu dni řekl, že „jsme ani nezačali využívat potenciál, který tato technologie nabízí“.

Bibb hovořil o tom, jak je důležité, aby organizace sladily svou datovou strategii s obchodní strategií, a byl znepokojen tím, že většina podnikových a vládních systémů je nevyrovnána.

V tomto prvním zasedání Scott Weiss z Andreessen Horowitz uvedl, že „Hadoop je jako kryogenní úložiště, “ proto se moderátor Jason Kelly z Bloomberg Link zeptal hlavního architekta Cloudera Doug Cuttinga, který byl jedním z tvůrců Hadoopu, jak viděl že.

Cutting řekl, že Hadoop umožňuje lidem pracovat s více daty. Řekl, že organizace stahují data z pásky, místo toho je činí online a použitelnými. Zákazníci přecházejí z práce s daty 90 dnů na data pěti nebo 10 let v „aktivním archivu“.

Na tomto panelu se opět objevila řada specifických otázek zacházení se všemi těmito údaji. Snaplogic CEO Gaurav Dhillon hovořil o „datové gravitaci, “ řekl, že nemá smysl brát data, která jsou v Hadoopu, a přesunout je do cloudu. Ale zároveň, pokud jsou v cloudu data, jako je například analýza click-stream, nemá smysl to přesouvat na místě. Výsledkem je, že při pohybu dat viděl jen velmi málo „přeshraničních příležitostí“.

Cutting řekl, že nevěří, že ve skutečnosti existuje nedostatek datových vědců. Místo toho řekl, že existuje spousta lidí, kteří rozumí matematice a podnikání, ale prostě nemají nástroje. Základy nástrojů a to, co dělají, se můžete naučit za pár týdnů, řekl, ale pochopení vaší firmy trvá roky. Přesto existuje spousta lidí, kteří tomu rozumějí.

Dhillon také odrážel obavy týkající se právních předpisů, které se zabývají tím, jaké informace lze uložit. Řekl, že některé vertikální trhy vyžadují, aby informace byly uloženy v provozovně, ale měl obavy z takových věcí, jako jsou požadavky, aby nedošlo k přesunu dat z původní země. Hodně z toho je přehnaná reakce na věci, jako jsou odhalení Snowdena a porušení dat, uvedl, že „spěch k zákonodárství není nikdy dobrý“.

Na dotaz, zda se obával, že narušení Snowden a Target dělají zákazníky strach z dat, Cutting řekl, že se bojí, že tolik lidí se bojí. Spousta lidí se bojí technologie, řekl, a to bylo selhání průmyslu, aby zákazníci pohodlně v představě, že jejich data nebyla použita. „Nemusíš být strašidelný, “ řekl.

Nakonec proběhlo mnoho diskusí o hodnoceních, kdy Bibb naznačil, že nedávná investice Intelu do Cloudera byla „velká věc“, protože to potvrzuje, co společnost dělá. Řekl, že další velké společnosti, jako jsou Oracle, IBM, Microsoft a Amazon, se vznášejí kolem společností prediktivní analýzy. "Zlatá horečka se teprve začíná."

Dhillon uvedl, že ocenění odráží to, co instalatérské společnosti přinášejí na trh velkých dat. Řekl, že byl rád, když viděli, že takoví chlapci, kteří si „vybírají a odhazují“, dostávají dobrá ocenění, ale řekl, že má trochu strachu, že se hodnocení dostává na trh.

Bibb uvedl, že si myslel, že velká data mohou být v médiích přeexponována, ale je podexponována v „c-suite“ (což znamená generální ředitele, finanční ředitelé a další vrcholoví vedení).. “

Velká data: náročný „bilionový dolar“