Výpočetní fotografie je připravena na její detail

Více než 87 milionů Američanů cestovalo v roce 2017 do zahraničí, což je rekordní číslo podle americké národní cestovní a turistické kanceláře. Pokud jste byli mezi nimi, možná jste navštívili destinaci jako Stonehenge, Taj Mahal, Ha Long Bay nebo Velká čínská zeď. A možná jste použili telefon k fotografování panoramatu, možná se dokonce otočíte telefonem, abyste mohli natáčet super široký, 360 stupňový výhled na krajinu.

Pokud jste byli úspěšní - což znamená, že neexistovaly žádné nevyrovnané části, vinětace nebo barevné posuny -, zažili jste jednoduchý, ale účinný příklad počítačové fotografie. Ale v posledních několika letech se výpočetní fotografie rozšířila za tak úzká použití. Mohlo by to nejen poskytnout jiný pohled na fotografii, ale také změnit způsob, jakým vidíme náš svět.

Co je to výpočetní fotografie?

Marc Levoy, profesor výpočetní techniky (emeritus) na Stanfordské univerzitě, hlavní inženýr společnosti Google a jeden z průkopníků v tomto rozvíjejícím se oboru, definoval výpočetní fotografii jako řadu „výpočetních zobrazovacích technik, které zvyšují nebo rozšiřují možnosti digitální fotografie výstupem je obyčejná fotografie, ale ta, kterou nemohl pořídit tradiční fotoaparát. ““

Podle Josha Haftela, hlavního produktového manažera společnosti Adobe, přidávání výpočetních prvků do tradiční fotografie umožňuje nové příležitosti, zejména pro zobrazovací a softwarové společnosti: „Počítačovou fotografii vidím tak, že nám dává příležitost dělat dvě věci. mají se pokusit podepřít mnoho fyzických omezení, která existují v mobilních kamerách. ““

Dobrým příkladem je získání smartphonu simulujícího malou hloubku ostrosti (DOF) - charakteristický znak profesionálně vypadajícího obrazu, protože vizuálně odděluje objekt od pozadí -. To, co brání fotoaparátu na velmi tenkém zařízení, jako je telefon, v tom, aby nemohlo zachytit snímek s mělkým DOF, jsou zákony fyziky.

„Nemůžeš mělký hloubka ostrosti s opravdu malým senzorem, "říká Haftel. Ale velký senzor vyžaduje velký objektiv. A protože většina lidí chce, aby jejich telefony byly ultrathin, velký senzor spárovaný s velkým objemným objektivem není možnost. Místo toho, telefony jsou postaveny s malými prvotními čočkami a malými senzory, které produkují velkou hloubku ostrosti, díky níž jsou všechny objekty zaostřeny na ostré a vzdálené místo.

Haftel říká, že výrobci chytrých telefonů a jednoduchých kamer to mohou kompenzovat pomocí počítačové fotografie, aby „podváděli simulací efektu způsoby, které lákají oko“. V důsledku toho se algoritmy používají k určení toho, co je považováno za pozadí a co je považováno za předmět v popředí. Poté fotoaparát simuluje mělké DOF rozmazáním pozadí.

Druhý způsob, jak společnost Haftel říká, že lze použít výpočetní fotografii, je využití nových procesů a technik, které pomáhají fotografům dělat věci, které pomocí tradičních nástrojů nejsou možné. Haftel ukazuje jako příklad na HDR (vysoký dynamický rozsah).

„HDR je schopnost pořizovat více snímků současně nebo v rychlém sledu a poté je sloučit, aby se překonaly omezení přirozené schopnosti senzoru.“ HDR, zejména na mobilních zařízeních, může ve skutečnosti rozšířit tónový rozsah nad rámec toho, co obrazový senzor dokáže přirozeně zachytit, což vám umožní zachytit více detailů v nejsvětlejších světlech a nejtmavších stínech.

Když výpočetní fotografie krátí

Ne všechny implementace výpočetní fotografie byly úspěšné. Dva odvážné pokusy byly kamery Lytro a Light L16: Místo toho, aby se prolínaly tradiční a výpočetní funkce fotografií (jako jsou telefony iPhone, Android telefony a některé samostatné fotoaparáty), pokusily se Lytro a Light L16 soustředit se výhradně na výpočetní fotografii.

Jako první na trh vstoupila v roce 2012 světelná kamera Lytro, která vám umožní upravit zaostření fotografie po pořízení snímku. Udělalo to tak, že zaznamenalo směr světla vstupujícího do kamery, což tradiční fotoaparáty nedělají. Tato technologie byla zajímavá, ale fotoaparát měl problémy, včetně nízkého rozlišení a obtížně použitelného rozhraní.

Měl také poměrně úzký případ použití. Jak Dave Etchells, zakladatel, vydavatel a šéfredaktor Imaging Resource upozorňuje: „I když byl schopen zaostřit po skutečnosti, byla to skvělá funkce, clona kamery byla tak malá, že jste nemohli skutečně rozlišit vzdálenosti ledaže by tam bylo něco opravdu blízko k fotoaparátu.

Řekněme například, že střílíte baseballový hráč na místní baseballový diamant. Mohli byste pořídit fotografii blízko plotu a také zachytit hráče plotem, i když je daleko. Poté můžete snadno změnit zaostření z plotu na přehrávač. Ale jak Etchells zdůrazňuje, „Jak často vlastně takovou fotku fotografujete?“

Novějším zařízením zaměřeným na samostatnou výpočetní kameru byl Light L16, pokus o výrobu tenké, přenosné kamery s kvalitou obrazu a výkonem na stejné úrovni jako u špičkové D-SLR nebo zrcadlové kamery. Model L16 byl navržen s 16 různými moduly čoček a senzorů v jediném těle fotoaparátu. Silný palubní software by vytvořil jeden obraz z různých modulů.

Etchells byl zpočátku ohromen konceptem Light L16. Ale jako skutečný produkt řekl: „měl řadu problémů.“

Například, Light, kamera a fotografická společnost, která vyrábí Light L16, tvrdila, že data ze všech těch malých senzorů by byla ekvivalentní s jedním velkým senzorem. „Tvrdili také, že to bude kvalita D-SLR, “ říká Etchells. Ve svých polních testech však Imaging Resource zjistil, že tomu tak není.

Existovaly i další problémy, včetně toho, že určité oblasti fotografie měly nadměrný šum, „i ve světlých oblastech obrazu… A prakticky neexistoval žádný dynamický rozsah: Stíny se okamžitě připojily, “ říká Etchells, což znamená, že v určitých části fotografií - včetně vzorových fotografií, které společnost používala k propagaci fotoaparátu - ve stínech nebyly téměř žádné detaily.

„Byla to také katastrofa při slabém osvětlení, “ říká Etchells. "Prostě to nebyl velmi dobrý fotoaparát, období."

Co bude dál?

Přes tyto nedostatky mnoho společností postupuje vpřed s novými implementacemi výpočetní fotografie. V některých případech rozmazávají hranici mezi tím, co se považuje za fotografii, a jinými typy médií, jako je video a VR (virtuální realita).

Google například rozšíří aplikaci Fotky Google pomocí umělé inteligence (AI) o nové funkce, včetně zbarvení černobílých fotografií. Microsoft používá AI ve své Pix aplikaci pro iOS, takže uživatelé mohou hladce přidávat vizitky na LinkedIn. Facebook brzy zavede funkci 3D Fotky, což je „nový typ média, který umožňuje lidem zachytit 3D okamžiky včas pomocí smartphonu a sdílet na Facebooku.“ V aplikaci Lightroom od společnosti Adobe mohou fotografové mobilních zařízení využívat funkce HDR a snímat obrázky ve formátu RAW.

VR a výpočetní fotografie

Zatímco mobilní zařízení a dokonce samostatné fotoaparáty používají výpočetní fotografii zajímavými způsoby, dokonce více silné případy použití přicházejí ze světa platforem s rozšířenou realitou, jako jsou VR a AR (rozšířená realita). Pro Jamese George, generálního ředitele a spoluzakladatele Scatteru, působivého mediálního studia v New Yorku, výpočetní fotografie je otevírá nové způsoby, jak umělci vyjádřit své vize.

„V Scatteru vidíme výpočetní fotografii jako jádro umožňující technologii nových kreativních disciplín, které se snažíme propagovat… Přidání výpočtu by pak mohlo začít syntetizovat a simulovat některé ze stejných věcí, které naše oči dělají se snímky, které vidět v našich mozcích, “říká George.

V podstatě jde o inteligenci. Naše mozky používáme k přemýšlení a porozumění obrázkům, které vnímáme.

"Počítače začínají být schopny dívat se do světa a vidět věci a chápat, co jsou stejným způsobem, jak můžeme, " říká George. Výpočtová fotografie je tedy „přidanou vrstvou syntézy a inteligence, která přesahuje pouhé zachycení fotografie, ale ve skutečnosti začíná simulovat lidskou zkušenost s vnímáním něčeho“.

Způsob, jakým Scatter používá výpočetní fotografii, se nazývá volumetrická fotografie, což je metoda záznamu subjektu z různých hledisek a poté pomocí softwaru k analýze a opětovnému vytvoření všech těchto hledisek v trojrozměrném zobrazení. (Fotografie i videa mohou být volumetrické a vypadat jako hologramy podobné 3D, které se můžete pohybovat v rámci VR nebo AR zážitku.) „Zajímám se zejména o schopnost rekonstruovat věci více než jen dvojrozměrným způsobem, “říká George. "V naší paměti, když projdeme." prostor , můžeme si vlastně vzpomenout prostorově, kde to bylo ve vzájemném vztahu. ““

George říká, že Scatter je schopen extrahovat a vytvořit reprezentaci prostoru, který „je zcela a volně splavný, tak, jak byste se mohli pohybovat jako videohra nebo hologram. Je to nové médium, které se narodilo z křižovatka mezi videohry a filmovou tvorbou, která umožňuje výpočetní fotografii a volumetrickou filmovou tvorbu. “

Scatter vyvinul softwarovou aplikaci DepthKit, která umožňuje filmařům využít hloubkový senzor z kamer, jako je Microsoft Kinect, jako příslušenství pro videokameru HD, aby pomohla ostatním produkovat volumetrickou ochranu VR. DepthKit, CGI a video-softwarový hybrid, přitom vytváří živé 3D formy „vhodné pro přehrávání v reálném čase ve virtuálních světech, “ říká George.

Scatter vytvořil několik výkonných VR zkušeností s DepthKit pomocí výpočetní fotografie a technik volumetrické tvorby filmu. V roce 2014 George spolupracoval s Jonathanem Minardem na vytvoření dokumentu „Mraky“, který zkoumá umění kódu, který obsahoval interaktivní komponentu. V roce 2017 Scatter vytvořil adaptaci VR založenou na filmu Zero Days , pomocí VR poskytl publiku jedinečnou perspektivu uvnitř neviditelného světa kybernetického válčení - aby viděl věci z pohledu viru Stuxnet.

Jedním z nejsilnějších projektů souvisejících s DepthKit je „Terminal 3“, rozšířený realistický zážitek pákistánského umělce Asada J. Malika, který měl premiéru na začátku tohoto roku na filmovém festivalu TriBeCa. Tato zkušenost vám umožní prakticky vstoupit do obuvi amerického pohraničního hlídkového důstojníka prostřednictvím Microsoft HoloLens a vyslýchat duchovní 3D objemový hologram někoho, kdo vypadá, že je muslim (je celkem 6 postav, které můžete vyslechnout).

„Asad je pákistánský rodák, který emigroval do USA, aby navštěvoval vysokou školu, a měl nějaké docela negativní zkušenosti, které byly vyslýchány ohledně jeho pozadí a proč tam byl. Šokován touto zkušeností vytvořil terminál 3, “ říká George.

Jedním z klíčů k tomu, aby byl tento zážitek tak přesvědčivý, je to, že Malikův tým v 1RIC, jeho studio rozšířené reality, použil DepthKit k přeměně videa na objemové hologramy, které lze poté importovat do motorů videoher v reálném čase, jako je Unity nebo 3D. grafické nástroje jako Maya a Cinema 4D. Přidáním dat hloubkového senzoru z Kinectu do videa D-SLR za účelem správného umístění hologramu uvnitř virtuálního prostoru AR, software DepthKit změní video na výpočetní video. Černobílá šachovnice se používá ke kalibraci D-SLR a Kinectu společně, pak lze obě kamery použít současně k zachycení objemových fotografií a videa.

• 10 rychlých tipů, jak opravit své špatné fotografie 10 rychlých tipů, jak opravit své špatné fotografie
• 10 tipů pro digitální fotografii mimo základní 10 tipů pro digitální fotografii mimo základní fotografii
• 10 jednoduchých tipů a triků pro lepší fotografie chytrých telefonů 10 jednoduchých tipů a triků pro lepší fotografie chytrých telefonů

Protože tyto zkušenosti AR vytvořené pomocí DepthKit jsou podobné způsobu práce videoher, zážitek typu „Terminal 3“ může produkovat silné interaktivní efekty. Například George říká, že Malik umožňuje hologramům měnit formu, když je vyslýcháte: Pokud během výslechu se vaše otázky stanou obviňujícími, hologram se dematerializuje a zdá se méně lidský. „Ale jak začnete vyvolávat biografii osoby, její vlastní zkušenosti a hodnoty, “ říká George, „hologram se skutečně začíná vyplňovat a stává se více fotorealistickým.“

Při vytváření tohoto jemného efektu, říká, můžete přemýšlet o vnímání tazatele a o tom, jak by mohli vnímat osobu „pouze jako znak místo skutečné osoby se skutečnou identitou a jedinečností“. Svým způsobem by to uživatelům mohlo poskytnout větší úroveň porozumění. "Prostřednictvím řady výzev, kde máte dovoleno položit jednu nebo druhou otázku, " říká George, "jste konfrontováni se svými vlastními předsudky a zároveň s tímto individuálním příběhem."

Stejně jako většina nových technologií i výpočetní fotografie zažívá svůj podíl na úspěších i neúspěchech. To znamená, že některé důležité funkce nebo celé technologie mohou mít krátkou životnost. Vezměte si Lytro: V roce 2017, těsně předtím, než společnost Google zakoupila společnost, Lytro zavřelo obrázky images.lytro.com, takže již nemohli zveřejňovat obrázky na webových stránkách nebo sociálních médiích. Pro ty, kteří to zmeškali, má Panasonic lytro-zaostřovací funkci nazvanou Post Focus, kterou zahrnul do různých špičkových zrcadlových kamer a point-and-shootů.

Výpočtové fotografické nástroje a funkce, které jsme dosud viděli, jsou pouze Start . Myslím, že tyto nástroje budou mnohem výkonnější, dynamičtější a intuitivnější, protože mobilní zařízení jsou navržena s novějšími, všestrannějšími fotoaparáty a objektivy, výkonnějšími palubními procesory a rozšířenějšími funkcemi celulární sítě. Ve velmi blízké budoucnosti můžete začít vidět skutečné barvy výpočetní fotografie.