Ang computational photography ay handa na para sa malapit na ito

Mahigit sa 87 milyong Amerikano ang naglakbay sa buong mundo noong 2017, isang record number ayon sa US National Travel and Tourism Office. Kung kabilang ka sa kanila, marahil ay binisita mo ang isang patutunguhan tulad ng Stonehenge, ang Taj Mahal, Ha Long Bay, o ang Great Wall of China. At maaaring ginamit mo ang iyong telepono upang mag-shoot ng isang panorama, marahil kahit na paikutin ang iyong sarili sa lahat ng paraan sa paligid ng iyong telepono upang kunan ng larawan ang isang sobrang lapad, 360-degree na tanawin ng tanawin.

Kung nagtagumpay ka - nangangahulugang walang mga hindi wastong mga seksyon, pag -ignign, o mga pagbabago sa kulay - pagkatapos ay nakaranas ka ng isang simple ngunit mabisang halimbawa ng computational photography. Ngunit sa mga nakaraang taon, ang computational photography ay lumawak nang higit pa sa makitid na paggamit. Hindi lamang ito makapagbibigay sa amin ng ibang pananaw sa litrato ngunit nagbabago rin kung paano natin nakikita ang ating mundo.

Ano ang Computational Photography?

Si Marc Levoy, propesor ng science sa computer (emeritus) sa Stanford University, punong inhinyero sa Google, at isa sa mga payunir sa umuusbong na larangan na ito, ay tinukoy ang computational photography bilang isang iba't ibang mga "computational imaging technique na nagpapahusay o nagpapalawak ng mga kakayahan ng digital photography output ay isang ordinaryong litrato, ngunit ang isang hindi maaaring kinuha ng isang tradisyonal na camera. "

Ayon kay Josh Haftel, punong tagapamahala ng produkto sa Adobe, na nagdaragdag ng mga elemento ng computational sa tradisyonal na litrato ay nagbibigay-daan para sa mga bagong pagkakataon, lalo na para sa imaging at mga kumpanya ng software: "Ang paraan na nakikita ko ang computational photography ay nagbibigay ito sa amin ng isang pagkakataon na gumawa ng dalawang bagay. ang mga ito ay subukan at baybayin ang maraming mga pisikal na limitasyon na umiiral sa loob ng mga mobile camera. "

Ang pagkuha ng isang smartphone upang gayahin ang mababaw na lalim ng bukid (DOF) - isang tanda ng isang imahe na mukhang propesyonal, dahil ito ay biswal na naghihiwalay sa paksa mula sa background - ay isang mabuting halimbawa. Ano ang pumipigil sa isang camera sa isang napaka manipis na aparato, tulad ng isang telepono, mula sa pagiging makunan ang isang imahe na may mababaw na DOF ay ang mga batas ng pisika.

"Hindi ka maaaring magkaroon mababaw lalim ng bukid na may isang maliit na maliit na sensor, "sabi ni Haftel. Ngunit ang isang malaking sensor ay nangangailangan ng isang malaking lens. At dahil ang karamihan sa mga tao ay nais na ang kanilang mga telepono ay maging ultrathin, isang malaking sensor na ipinares sa isang malaki, napakalaki lens ay hindi isang pagpipilian. Sa halip., ang mga telepono ay itinayo gamit ang maliit na punong mahahalagang lente at maliliit na sensor, na gumagawa ng isang malaking lalim ng larangan na nagbibigay ng malapit sa lahat ng mga paksa.

Sinabi ni Haftel na ang mga gumagawa ng mga smartphone at simpleng camera ay maaaring magbayad para sa ito sa pamamagitan ng paggamit ng computational photography upang "impostor sa pamamagitan ng simulate ang epekto sa mga paraan na nanlilinlang sa mata." Dahil dito, ginagamit ang mga algorithm upang matukoy kung ano ang itinuturing na background at kung ano ang itinuturing na isang naunang paksa. Pagkatapos ang simulate ng camera ay isang mababaw na DOF sa pamamagitan ng pag-blurring ng background.

Ang pangalawang paraan sinabi ni Haftel na maaaring magamit ang computational photography ay upang gumamit ng mga bagong proseso at pamamaraan upang matulungan ang mga litratista na gawin ang mga bagay na hindi posible gamit ang tradisyonal na mga tool. Ang mga puntos ng Haftel sa HDR (mataas na dynamic na saklaw) bilang isang halimbawa.

"Ang HDR ay ang kakayahang kumuha ng maraming mga pag-shot nang sabay-sabay o sa mabilis na sunud-sunod, at pagkatapos ay pinagsama ang mga ito nang magkasama upang pagtagumpayan ang mga limitasyon ng natural na kakayahan ng sensor." Sa bisa, ang HDR, lalo na sa mga aparatong mobile, ay maaaring mapalawak ang saklaw ng tonal na lampas sa natural na makuha ng sensor ng imahe, na nagpapahintulot sa iyo na makuha ang higit pang mga detalye sa lightest na mga highlight at pinakamadilim na mga anino.

Kapag Maikling Kuwento sa Computational Photography

Hindi lahat ng pagpapatupad ng computational photography ay matagumpay. Dalawang matapang na pagtatangka ay ang mga camera ng Lytro at Light L16: Sa halip na pagsamahin ang mga tradisyonal at computational na mga tampok ng larawan (tulad ng mga iPhone, mga telepono ng Android, at ilang mga standalone camera), sinubukan ng Lytro at Light L16 na mag-focus lamang sa computational photography.

Ang unang tumama sa merkado ay ang camera ng Lytro light-field, noong 2012, na hayaan mong ayusin ang pokus ng larawan pagkatapos mong makuha ang shot. Ginagawa ito sa pamamagitan ng pagrekord ng direksyon ng ilaw na pumapasok sa camera, na hindi ginagawa ng tradisyonal na mga camera. Ang teknolohiya ay nakakaintriga, ngunit ang camera ay may mga problema, kabilang ang mababang resolusyon at isang mahirap na gamitin na interface.

Mayroon din itong isang halip na makitid na kaso ng paggamit. Tulad ng itinuro ni Dave Etchell, tagapagtatag, publisher, at editor-in-chief ng Imaging Resource, "Habang nakatuon pagkatapos ng katotohanan ay isang cool na tampok, ang siwang ng camera ay napakaliit, hindi mo talaga makilala ang mga distansya maliban kung may talagang malapit sa camera. "

Halimbawa, sabihin na nagpaputok ka ng isang baseball player sa isang lokal na brilyante ng baseball. Maaari kang kumuha ng litrato malapit sa bakod at makuha din ang player sa bakod, kahit na malayo siya. Pagkatapos ay madali mong baguhin ang pokus mula sa bakod hanggang sa player. Ngunit tulad ng itinuturo ng Etchells, "Gaano kadalas ka talagang mag-shoot ng larawan na ganyan?"

Ang isang mas kamakailang aparato na naglalayong maging isang nakapag-iisang computational camera ay ang Light L16, isang pagtatangka sa paggawa ng isang manipis, portable camera na may kalidad ng imahe at pagganap sa isang par na may isang high-end na D-SLR o walang salamin na kamera. Ang L16 ay dinisenyo na may 16 iba't ibang mga lens-at-sensor module sa isang solong katawan ng camera. Malalakas ang onboard software ay magtatayo ng isang imahe mula sa iba't ibang mga module.

Ang mga Etchell ay una nang humanga sa konsepto ng Liwanag L16. Ngunit bilang isang aktwal na produkto, sinabi niya, "mayroon itong iba't ibang mga problema."

Halimbawa, Light, ang camera at Ang kumpanya ng litrato na gumagawa ng Light L16, ay nagsabing ang data mula sa lahat ng maliit na sensor ay katumbas ng pagkakaroon ng isang malaking sensor. "Inangkin din nila na ito ay magiging D-SLR kalidad, " sabi ni Etchells. Ngunit sa kanilang mga pagsubok sa larangan, natagpuan ng Imaging Resource na hindi ito ang nangyari.

Mayroong iba pang mga isyu, kasama na ang ilang mga lugar ng larawan ay may labis na ingay, "kahit na sa mga maliliwanag na lugar ng imahe … At walang praktikal na hanay: Ang mga anino ay naka-plug agad, " sabi ni Etchells, na nangangahulugang sa tiyak mga seksyon ng mga larawan - kabilang ang mga halimbawang larawan na ginagamit ng kumpanya upang maisulong ang camera - walang anuman ang anumang detalye sa mga anino.

"Ito rin ay isang kalamidad sa mababang ilaw, " sabi ni Etchells. "Hindi lang ito napakahusay na camera, tagal."

Anong susunod?

Sa kabila ng mga pagkukulang na ito, maraming mga kumpanya ang nakakalimot sa mga bagong pagpapatupad ng computational photography. Sa ilang mga kaso, pinaputok nila ang linya sa pagitan ng itinuturing na litrato at iba pang mga uri ng media, tulad ng video at VR (virtual reality).

Halimbawa, palalawakin ng Google ang app ng Mga Larawan ng Google gamit ang AI (artipisyal na katalinuhan) para sa mga bagong tampok, kasama na ang pangulay ng mga black-and-white na larawan. Gumagamit ang Microsoft ng AI sa Pix app para sa iOS upang ang mga gumagamit ay maaaring walang putol na magdagdag ng mga business card sa LinkedIn. Malapit na ilunsad ng Facebook ang tampok na 3D Photos, na "ay isang bagong uri ng media na hinahayaan ang mga tao na makuha ang 3D sandali sa oras gamit ang isang smartphone upang ibahagi sa Facebook." At sa Lightroom app ng Adobe, maaaring magamit ng mga mobile na aparato ang mga tampok ng HDR at makuha ang mga imahe sa format ng file na RAW.

VR at Computational Potograpiya

Habang ang mga mobile device at kahit ang mga nakapag-iisang camera ay gumagamit ng computational photography sa nakakaintriga na paraan, kahit na higit pa ang mga malalakas na kaso ng paggamit ay nagmumula sa mundo ng mga pinalawig na reality platform, tulad ng VR at AR (pinalaki na katotohanan). Para sa James George, CEO at co-founder ng Scatter, isang immersive media studio sa New York, computational photography ay pagbubukas ng mga bagong paraan para maipahayag ng mga artista ang kanilang mga pangitain.

"Sa Scatter, nakikita namin ang computational photography bilang pangunahing pagpapagana ng teknolohiya ng mga bagong malikhaing disiplina na sinusubukan naming magpayunir … Ang pagdaragdag ng computation ay maaaring magsimulang mag-synthesize at gayahin ang ilan sa mga parehong bagay na ginagawa ng aming mga mata sa guniguni na kami tingnan natin sa ating talino, "sabi ni George.

Mahalagang, ito ay bumaba sa katalinuhan. Ginagamit namin ang aming talino upang mag-isip at maunawaan ang mga larawang nakikita namin.

"Ang mga computer ay nagsisimula upang tumingin sa mundo at makita ang mga bagay at maunawaan kung ano ang mga ito sa parehong paraan na maaari namin, " sabi ni George. Kaya ang computational photography ay "isang idinagdag na layer ng synthesis at intelligence na lalampas sa purong pagkuha ng isang larawan ngunit aktwal na nagsisimula upang gayahin ang karanasan ng tao ng pagkakaroon ng isang bagay."

Ang paraan ng Scatter ay gumagamit ng computational photography ay tinatawag na volumetric photography, na isang paraan ng pag-record ng isang paksa mula sa iba't ibang mga pananaw at pagkatapos ay gumagamit ng software upang pag-aralan at muling likhain ang lahat ng mga pananaw sa isang three-dimensional na representasyon. (Ang parehong mga larawan at video ay maaaring maging volumetric at lilitaw bilang mga holograms na tulad ng 3D na maaari kang gumalaw sa loob ng isang karanasan sa VR o AR.) "Lubhang interesado ako sa kakayahang gawing muli ang mga bagay nang higit sa lamang sa isang dalawang dimensional na paraan, "sabi ni George. "Sa ating memorya, kung dumadaan tayo spasyo , maaari naming talagang maalala ang spatially kung saan ang mga bagay ay may kaugnayan sa bawat isa. "

Sinabi ni George na ang Scatter ay nakakakuha at lumikha ng isang representasyon ng isang puwang na "ay ganap at malayang mai-navigate, sa paraang maaari mong ilipat ito tulad ng isang video game o isang hologram. Ito ay isang bagong daluyan na ipinanganak mula sa ang intersection sa pagitan ng mga video game at paggawa ng film na computational photography at volumetric filmmaking na nagpapagana. "

Upang matulungan ang iba na makagawa ng volumetric VR na pinoprotektahan, Scatter ay binuo ang DepthKit, isang application ng software na nagpapahintulot sa mga filmmaker na samantalahin ang lalim na sensor mula sa mga camera tulad ng Microsoft Kinect bilang isang accessory sa isang HD video camera. Sa paggawa nito, ang DepthKit, isang CGI at video-software na hybrid, ay gumagawa ng buhay na 3D form na "angkop para sa real-time na pag-playback sa mga virtual na mundo, " sabi ni George.

Ang Scatter ay gumawa ng maraming makapangyarihang karanasan sa VR kasama ang DepthKit gamit ang computational photography at volumetric filmmaking technique. Noong 2014, nakipagtulungan si George kay Jonathan Minard upang lumikha ng "Clouds, " isang dokumentaryo na naggalugad sa sining ng code na kasama ang isang interactive na sangkap. Noong 2017, ang Scatter ay gumawa ng isang adaptasyon ng VR batay sa pelikulang Zero Days, gamit ang VR upang magbigay ng isang natatanging pananaw sa loob ng hindi nakikita ng mundo ng digmaang cyber-upang makita ang mga bagay mula sa pananaw ng Stuxnet virus.

Ang isa sa pinakamalakas na proyekto na may kaugnayan sa DepthKit ay ang "Terminal 3, " isang pinalaki na karanasan sa katotohanan ng Pakistani artist na si Asad J. Malik, na nauna sa unang taon sa festival ng pelikulang TriBeCa. Hinahayaan ka ng karanasan na halos mapunta sa sapatos ng isang opisyal ng patrol ng hangganan ng US sa pamamagitan ng isang Microsoft HoloLens at mag-interogate ng isang tulad ng 3D volumetric hologram ng isang taong lumilitaw na isang Muslim (mayroong anim na kabuuang mga character na maaari mong pakikipanayam).

"Ang Asad ay isang katutubong Pakistani na lumipat sa US upang mag-aral sa kolehiyo at may ilang mga negatibong negatibong karanasan na naimbestiga tungkol sa kanyang background at kung bakit siya naroon. Nahiyawan ng karanasan na iyon, nilikha niya ang 'Terminal 3, '" sabi ni George.

Ang isa sa mga susi sa kung ano ang gumagawa ng karanasan kaya nakaka-engganyo ay ang koponan ni Malik sa 1RIC, ang kanyang pinalaki na reality studio, na ginamit ang DepthKit upang maging video sa mga volumetric holograms, na maaaring mai-import sa mga real-time na mga video game engine tulad ng Unity, o 3D mga tool sa graphics tulad ng Maya at Cinema 4D. Sa pamamagitan ng pagdaragdag ng data ng lalim-sensor mula sa Kinect sa D-SLR video upang tama na iposisyon ang hologram sa loob ng AR virtual space, ang software ng DepthKit ay lumiliko ang video sa computational video. Ang isang black-and-white na checkerboard ay ginagamit upang ma-calibrate ang D-SLR at ang Kinect na magkasama, kung gayon ang parehong mga camera ay maaaring magamit nang sabay upang makuha ang mga volumetric na larawan at video.

• 10 Mabilis na Mga Tip upang Ayusin ang Iyong Masamang Larawan 10 Mabilis na Mga Tip upang Ayusin ang Iyong Masamang Larawan
• 10 Malayo-Pangunahing Mga Tip sa Digital na Potograpiya 10 Higit pa-Pangunahing Mga Tip sa Potograpiyang Digital
• 10 Madaling Mga Tip at Trick para sa Mas mahusay na Mga Larawan ng Smartphone 10 Madaling Mga Tip at Trick para sa Mas mahusay na Mga Larawan ng Smartphone

Dahil ang mga karanasan sa AR na nilikha gamit ang DepthKit ay katulad sa paraan ng paggawa ng mga laro sa video, ang isang karanasan tulad ng "Terminal 3" ay maaaring makagawa ng malakas na mga interactive na epekto. Halimbawa, sinabi ni George na pinahihintulutan ng Malik na baguhin ang form ng holograms habang sinisiyasat mo ang mga ito: Kung sa panahon ng pagsisiyasat, ang iyong mga katanungan ay naging akusado, ang hologram ay nagpapabagal at mukhang hindi gaanong tao. "Ngunit habang sinisimulan mong pukawin ang talambuhay ng isang tao, ang kanilang sariling mga karanasan, at ang kanilang mga halaga, " sabi ni George, "ang hologram ay aktwal na nagsisimula upang punan at maging mas photorealistic."

Sa paglikha ng ganitong banayad na epekto, sabi niya, maaari mong isipin ang pang-unawa ng interogator at kung paano nila makikita ang isang tao "bilang isang simbulo lamang sa halip na isang tunay na tao na may isang tunay na pagkakakilanlan at natatangi." Sa isang paraan, mabibigyan nito ang mga gumagamit ng mas higit na antas ng pag-unawa. "Sa pamamagitan ng isang serye ng mga senyas, kung saan pinapayagan kang magtanong sa isang katanungan o iba pa, " sabi ni George, "nakikipag-usap ka sa iyong sariling mga bias, at sa parehong oras, ang indibidwal na kuwentong ito."

Tulad ng karamihan sa mga umuusbong na teknolohiya, nakakaranas ng computational photography ang bahagi nito ng parehong mga tagumpay at pagkabigo. Nangangahulugan ito ng ilang mahahalagang tampok o buong teknolohiya ay maaaring magkaroon ng maikling buhay sa istante. Kunin ang Lytro: Noong 2017, bago pa man bilhin ng Google ang kumpanya, isinara ni Lytro ang mga pictures.lytro.com, upang hindi ka na makapag-post ng mga imahe sa mga website o social media. Para sa mga nakakaligtaan nito, ang Panasonic ay may tampok na pokus na tulad ng Lytro na tinatawag na Post Focus, na isinama nito sa iba't ibang mga high-end na walang salamin na camera at point-and-shoots.

Ang mga computational na tool sa pagkuha ng litrato at mga tampok na nakita namin hanggang ngayon ay lamang magsimula . Sa palagay ko ang mga tool na ito ay magiging mas malakas, pabago-bago, at madaling maunawaan habang ang mga aparatong mobile ay idinisenyo sa mga bago, mas maraming nalalaman camera at lente, mas malakas na mga processors sa onboard, at mas malawak na mga kakayahan sa cellular networking. Sa malapit na hinaharap, maaari mong simulan ang makita ang mga tunay na kulay ng computational photography.