Bahay Ipasa ang Pag-iisip Ang mga yunit ng pagproseso ng tensor ng Google ay nagbabago ng mga patakaran para sa pagkatuto ng makina

Ang mga yunit ng pagproseso ng tensor ng Google ay nagbabago ng mga patakaran para sa pagkatuto ng makina

Video: VE Lesson Part 1 Pagsunod sa mga Batas (Nobyembre 2024)

Video: VE Lesson Part 1 Pagsunod sa mga Batas (Nobyembre 2024)
Anonim

Ang isa sa mga pinaka-kagiliw-giliw - at hindi inaasahan - ang mga anunsyo na ginawa ng Google sa kumperensya ng mga developer ng I / O noong nakaraang linggo ay na dinisenyo at ipinatupad ang sarili nitong mga chips para sa pagkatuto ng makina. Sa kanyang pangunahing tono, ipinakilala ng CEO ng Google na si Sundar Pichai ang tinukoy niya na Tensor Processing Units (TPU), na sinasabing ginagamit ito ng kumpanya sa mga makina nitong AlphaGo, na tinalo ang Go champion na si Lee Sedol.

"Ang mga TPU ay isang pagkakasunud-sunod ng mas mataas na pagganap ng bawat watt kaysa sa komersyal na mga FPGA at GPU, " sabi ni Pichai. Habang hindi siya nagbigay ng maraming mga detalye, ipinaliwanag ng Google ang engineer ng hardware na si Norm Jouppi sa isang post sa blog na ang isang TPU ay isang pasadyang ASIC (tiyak na integrated integrated circuit). Sa madaling salita, ito ay isang chip na sadyang idinisenyo upang patakbuhin ang pag-aaral ng machine at lalo na pinasadya para sa TensorFlow, ang balangkas ng pag-aaral ng machine ng Google.

Imahe

Sa post, sinabi ni Jouppi na "mas mapagparaya" ng nabawasan na computational precision, na nangangahulugang nangangailangan ito ng mas kaunting mga transistor bawat operasyon. Pinapayagan nito ang Google na makakuha ng higit pang mga operasyon bawat segundo, hayaan ang mga gumagamit ay makakuha ng mga resulta nang mas mabilis. Sinabi niya na ang isang board na may isang TPU ay umaangkop sa isang hard disk drive slot sa mga rack ng data center, at nagpakita ng isang imahe ng mga server ng server na puno ng mga TPU, na sinabi niya ay ginagamit sa mga makina ng AlphaGo ng kumpanya.

Bilang karagdagan, sinabi ni Jouppi na ang mga TPU ay nagtatrabaho na sa isang bilang ng mga aplikasyon sa Google, kabilang ang RankBrain, na ginamit upang mapagbuti ang kaugnayan ng mga resulta ng paghahanap, at Street View, upang mapagbuti ang kawastuhan at kalidad ng mga mapa at pag-navigate.

Sa isang press conference, kinumpirma ng VP ng Google para sa Teknikal na imprastraktura Urs Hölzle na ang TPU ay tumatakbo gamit ang 8-bit na integer matematika, sa halip na mas mataas na precision na lumulutang-point na matematika kung saan ang karamihan sa mga modernong CPU at GPU ay idinisenyo. Karamihan sa mga algorithm ng pag-aaral ng makina ay maaaring makakuha ng masarap na data na may mas mababang resolusyon, na nangangahulugang ang chip ay maaaring hawakan ang higit pang mga operasyon sa isang naibigay na lugar at matugunan ang mas kumplikadong mga modelo nang mahusay. Hindi ito isang bagong ideya; ang module ng Nvidia Drive PX 2, na inihayag nang mas maaga sa taong ito sa CES, ay may kakayahang 8 teraflops sa 32-bit na lumulutang-point precision ngunit umabot sa 24 na malalim na pag-aaral na "teraops" (term ng kumpanya para sa 8 -bit integer matematika).

Kahit na tumanggi si Hölzle na pumasok sa mga detalye, sinabi ng mga ulat na kinumpirma niya na ang Google ay gumagamit ng parehong mga TPU at GPU ngayon. Sinabi niya na magpapatuloy ito sa loob ng ilang oras ngunit iminumungkahi na ang Google ay tiningnan ang mga GPU bilang pangkalahatan, mas pinipili ang isang chip na mas na-optimize para sa pagkatuto ng makina. Sinabi niya na ang kumpanya ay magpapalabas ng isang papel na naglalarawan ng mga benepisyo ng maliit na tilad, ngunit nilinaw ito na dinisenyo para sa panloob na paggamit lamang, hindi para sa pagbebenta sa ibang mga kumpanya. Ang isa pang application na inilarawan niya ay ang paggamit ng mga chips upang mahawakan ang bahagi ng computing sa likod ng engine ng pagkilala sa boses na ginamit sa telepono ng Android.

Ang pagpili na gumamit ng ASIC ay isang kawili-wiling pusta ng Google. Ang pinakamalaking pagsulong sa pag-aaral ng machine sa mga nakaraang taon - ang teknolohiya sa likod ng malaking push para sa malalim na neural-lambat - ay ang pag-ampon ng mga GPU, lalo na ang linya ng Nvidia Tesla, upang sanayin ang mga modelong ito. Karamihan sa mga kamakailan-lamang, binili ng Intel si Altera, isang nangungunang tagagawa ng FPGA (mga pag-file na maaaring maiproseso ng patlang), na kung saan ay nasa gitna; hindi sila pangkalahatang layunin tulad ng mga GPU o partikular na idinisenyo para sa TensorFlow bilang chip ng Google, ngunit maaaring ma-program upang makagawa ng iba't ibang mga gawain. Ang Microsoft ay nag-eksperimento sa Altera FPGA para sa malalim na pag-aaral. Ang IBM ay bubuo ng TrueNorth Neurosynaptic chip na sadyang idinisenyo para sa mga neural nets, na kamakailan lamang ay nagsimulang magamit sa iba't ibang mga aplikasyon. Ang Cadence (Tensilica), Freescale, at Synopsys ay nagtutulak sa kanilang mga DSP (mga digital-signal processors) upang patakbuhin ang mga modelong ito; Kamakailan lamang ay inihayag ng Mobileye at NXP ang mga chips na sadyang idinisenyo para sa ADAS at mga self-driving na kotse; at ilang mga mas maliit na kumpanya kabilang ang Movidius at Nervana ay inihayag ang mga plano para sa mga chips na partikular na idinisenyo para sa AI.

Masyado nang maaga upang malaman kung aling diskarte ang magiging pinakamainam sa katagalan, ngunit ang pagkakaroon ng ilang iba't ibang mga pagpipilian ay nangangahulugang malamang na makakakita tayo ng ilang mga kagiliw-giliw na kumpetisyon sa susunod na ilang taon.

Ang mga yunit ng pagproseso ng tensor ng Google ay nagbabago ng mga patakaran para sa pagkatuto ng makina