Nais ng mga tagapagtaguyod na tiyaking hindi mawala ang aming data

Sa huling bahagi ng Mayo ng taong ito, eksaktong limang buwan mula sa pagpapasinaya ng ika-45 na Pangulo ng Estados Unidos, isang pangkat ng mga taong nababahala sa paninindigan ng bagong administrasyon tungo sa pagbabago ng agham at klima na minarkahan ang kanyang sariling espesyal na anibersaryo.

Hindi kalayuan sa campus ng University of North Texas, sa kapatagan hilaga ng Dallas, maraming dosenang indibidwal ang nakilala sa Data Rescue Denton upang makilala at mag-download ng mga kopya ng mga pederal na klima at mga database ng kapaligiran. Ang mga pagtitipon na estilo ng hackathon ay nakatanggap ng maraming pansin sa mga araw na kaagad bago ang inagurasyon; Si Denton ang ika-50 tulad ng kaganapan mula pa noong Enero.

Ang pag-aayos ng una sa labas ng pag-aalala na ang bagong pangangasiwa ay maaaring magtanggal o nakatago ng klima at iba pang data sa kapaligiran, ang mga pinakamasindak na takot sa mga tagapagtipig ng data ay tila naganap kapag ang isa sa mga unang aksyon ng Trump White House ay tanggalin ang mga pahina ng pagbabago ng klima mula sa website nito. Pagkatapos ang Kagawaran ng Agrikultura ng Estados Unidos, matapos alisin ang mga ulat ng inspeksyon sa pangangalaga ng hayop-website mula sa website nito, ay tumugon sa isang kahilingan ng National Geographic Freedom of Information Act na may 1, 771 na pahina ng ganap na redised material.

Kahit sino ay maaaring ma-access ang higit sa 153, 000 federal datasets sa pamamagitan ng open-data portal ng sentral na pamahalaan sa data.gov. Ngunit iyon ay isang maliit na bahagi lamang ng data na umiiral sa nebula ng burukrasya ng gobyerno, huwag alalahanin ang kahit na mas maliit na bahagi na nasa isang server.

"Sa isang lugar sa paligid ng 20 porsyento ng impormasyon ng gobyerno ay mai-access sa web, " sabi ni Jim Jacobs, ang Librarian ng Impormasyon ng Pamahalaang Pederal sa Stanford University Library. "Iyon ay isang medyo malaking tipak ng mga bagay na hindi magagamit. Kahit na ang mga ahensya ay may sariling mga wikis at mga sistema ng pamamahala ng nilalaman, ang tanging oras na malaman mo ang tungkol sa ilan dito ay kung may isang tao na FOIA."

Siguraduhin, ang isang napakahusay na impormasyon ay talagang nakuha at nakatira ngayon sa mga server ng non-government. Sa pagitan ng mga kaganapan at proyekto ng Refuge tulad ng 2016 End-of-Term Crawl, higit sa 200TB ng mga website at data ng gobyerno ay nai-archive. Ngunit ang tagapagtaguyod ng pagluwas ay nagsimulang mapagtanto na ang patuloy na pagsisikap na gumawa ng kumpletong kopya ng mga terabytes ng data ng ahensya ng ahensya ng gobyerno ay hindi makatotohanang mapanatili sa mahabang panahon - ito ay tulad ng pag-apruba ng Titanic na may isang pag-thimble.

Kaya't bagaman natapos ang Data Rescue Denton bilang isa sa pangwakas na inayos na mga kaganapan ng uri nito, ang sama-samang pagsisikap ay nagsilbing isang mas malawak na pamayanan upang magtrabaho nang magkasama sa paggawa ng mas maraming data ng gobyerno na mahahanap, mauunawaan, at magagamit, sumulat si Jacobs sa isang post sa blog.

Naghahanap sa Mga Aklatan

Sa Unibersidad ng Pennsylvania, ang Bethany Wiggin ay ang direktor ng Program ng Penn sa Mga Humanidad sa Kalikasan, kung saan siya ay naging sentro ng kilusan ng Data Refuge, ang taga-orihinal ng mga kaganapan sa Pagsagip ng Data. Ang pokus ay nagbago na ngayon, aniya, patungo sa pag-agaw ng pambansang mga frameworks para sa pangmatagalang pagsisikap sa halip na lokal na batay, pana-panahong mga yugto.

"Napagtanto namin ang mga kasanayan na umuusbong sa iba't ibang lugar na gumagawa ng mga kaganapan sa pag-save-data ng isang bagay na maaaring mai-scale, " sabi ni Wiggin, lalo na sa buong mga aklatan ng pananaliksik. "Ngunit ang mga pagsisikap na ito ay naganap lahat bago kami naglunsad. Ang lakas ng Data Refuge ay naging palalimin ang mga koneksyon; pag-catalyze ng matagal na, mabagal na paglipat ng mga proyekto; at lumiwanag ang isang ilaw kung gaano sila kahalaga."

Kamakailan lamang ay tumulong si Wiggin upang maiahon ang Mga Aklatan + Network, isang umuusbong na pakikipagtulungan ng mga aklatan ng pananaliksik, mga organisasyon ng aklatan at mga grupo ng open-data na nagpalaki upang mapalawak ang tradisyonal na papel ng mga aklatan sa pagpapanatili ng pag-access sa impormasyon. Kasama sa mga kalahok ang Stanford University research library, ang California Digital Library, at ang Mozilla Foundation, na may pag-input at pakikipagtulungan mula sa mga nilalang na malawak na bilang ang National Archives at ang mga punong opisyal ng data ng maraming pederal na bureaus.

Ang isang proyekto, halimbawa, ay ang LOCKSS ("maraming mga kopya ang nagpapanatiling ligtas") na kung saan si Jacobs ay na-coordinate ng maraming taon. Ito ay batay sa parehong prinsipyo bilang isang 200-taong gulang na network ng mga aklatan na kilala bilang Federal Depository Library Program; ang mga aklatan na ito ay mga opisyal na repository ng mga publikasyon ng US Government Printing Office (GPO).

Ang LOCKSS, sa kaibahan, ay isang pribadong digital na bersyon ng sistemang ito, na sa ngayon ay binubuo ng 36 mga aklatan na nag-aani ng mga publikasyon mula sa GPO kasama ang kooperasyon. Ito ay isang modelo para sa kung paano ang digital na impormasyon ay maaaring maprotektahan mula sa pagtanggal o pag-tamper sa pamamagitan ng pagkakaroon ng malawak na pisikal na pagkakalat.

"Hindi mo masisiguro ang pangangalaga maliban kung mayroon kang kontrol sa nilalaman, " sabi ni Jacobs. "Bahagi ng kung ano ang naging mahalaga at kapaki-pakinabang ng mga aklatan ng deposito para sa huling 200 taon ay na walang sinuman sa gobyerno ang maaaring mag-edit ng isang dokumento nang hindi aktwal na pagpunta sa 1, 500 mga aklatan at sinabing 'Yeah, palitan mo ang isang pahina na ito.'"

Ang software na LOCKSS ay gumagamit ng mga tseke ng cache ng nilalaman sa antas ng kaunti at inihahambing ito sa nilalaman na hawak ng iba pang mga aklatan, na sinabi ni Jacobs na tumutulong na matiyak ang pangmatagalang pangangalaga sa pamamagitan ng pagkumpuni ng mga napinsalang mga file.

Si John Chodacki, isa pang nakikipagtulungan sa Libraries + Network, ay direktor ng curation para sa California Digital Library, isang virtual na pasilidad ng impormasyon na nagsisilbi sa lahat ng 10 kampus ng sistema ng University of California. Nagtatrabaho sa Code for Science and Society developer na sina Max Ogden at Philip Ashlock, punong arkitekto sa data.gov, sinabi ni Chodacki na ang kanilang pokus ay sa paggamit ng data.gov bilang isang two-way na kalye.

Una nilang ipinakita na ang pagluwas ng data mismo ay maaaring maging mas mabisa sa pamamagitan ng pag-upo ng isang kopya ng data.gov mismo at ilagay ito sa isang labas na site, datamirror.org, kasama ang mga script ng pagsubaybay na suriin para sa mga update. Pagkatapos ay sinimulan din ng Chodacki at mga tagasuporta kung nag-ambag ng mga datasets at metadata sa salamin ay maaaring magpakain sa umiiral na mga datos ng data.gov sa mga ahensya sa pamamagitan ng mga pahina ng salamin sa salamin.

Tulad ng bawat 2013 order ng ehekutibo ng Obama na ipinag-uutos ng paglalathala ng data na nababasa ng makina sa data.gov, mananagot pa rin ang mga ahensya para sa henerasyon ng mga talaan na nakalista sa portal na iyon; Ang ideya nina Chodacki at Ogden ay ang mga iminungkahing crowdsourcing na mga database ay tumutulong lamang upang maikalat ang workload.

"Hindi namin kailangang kopyahin ang buong ekosistema, " sinabi ni Chodacki. "Ang pamahalaang pederal at ang mga ahensya na ito ay nakikipag-usap sa data nang mas mahaba kaysa sa naging buzzworthy na pag-usapan ang tungkol sa malaking data, sa mas matibay na paraan kaysa sa sinumang iba pa."

Public-Pribadong Pakikipagtulungan

Ang tanong tungkol sa gastos ay halata pagdating sa kung paano nakikilala ng mga ahensya kung aling mga database ang pinakamahalaga para sa publiko, pagkatapos ay ilathala ang mga link sa kanilang metadata o aktwal na mga database sa pamamagitan ng portal ng gobyerno. Ang ulat ng Kongreso sa Budget Budget (CBO) para sa panukalang batas ng OPEN Government Data Act na kasalukuyang nasa Senado - na susugin ang kautusan ng ehekutibo ng Obama sa batas-tinantya ang buong pagpapatupad nito ay nagkakahalaga ng $ 2 milyon sa pagitan ng 2018 at 2021.

Sa mga tuntunin ng pera ng gobyerno, na kumakatawan sa mahalagang walang tunay na pagtaas ng paggasta, pagtatapos ng CBO.

Ang kahusayan, gayunpaman, ay isang iba't ibang mga katanungan, isa na si Ed Kearns sa National Oceanic and Atmospheric Administration ay nag-eeksperimento kasama ang mga pribadong kasosyo kabilang ang Amazon Web Services at Google. Ang mga Kearns, punong opisyal ng data ng NOAA, ay nagsabing ang pagtaas ng pagkakaroon ng publiko at paggamit ng data ng NOAA ay isang pangunahing layunin ng Big Data Project.

Kinikilala ng mga kumpanya kung aling mga database ang nais nila, at ipinapasa ito ng NOAA nang walang karagdagang gastos sa publiko. Ang anumang bagay na NOAA ay nasa talahanayan, sinabi ni Kearns, ngunit ang layunin ng limang taong pakikipagtulungan ay hindi makuha ang lahat ng mga data ng NOAA sa ulap - mga estratehikong putukan lamang.

Ang pagho-host ng mga naturang mga database sa mga serbisyo ng ulap ng mga pribadong kumpanya ay nag-aalok ng maraming mga pakinabang sa 80-style na FTP access na pamantayan pa rin para sa paglipat ng mga malalaking database mula sa mga ahensya ng pederal. Sa pagsisimula, ang mga datos ng NOAA ay may posibilidad na malawak - binabantayan ng ahensya ang mga karagatan, kapaligiran, araw at panahon ng kalangitan - at kung minsan ay nangangailangan ng mga linggo o buwan para sa paghahatid ng publiko.

Ang isang halimbawa ay ang high-res NEXRAD Level-II Doppler radar archive. Ayon sa isang pag-aaral na inilathala noong Mayo ng American Meteorological Society, ang paglilipat ng buong 270-terabyte NEXRAD archive sa isang solong customer noong Oktubre 2015 ay tumagal ng 540 araw sa halagang $ 203, 310. Ang isang buong kopya ng archive ay hindi pa magagamit para sa panlabas na pagsusuri bago ang NOAA ay nakipagtulungan sa Amazon at Google upang ilagay ang isa sa ulap.

Ang eksperimento ay mayroon ding ilang mga kagiliw-giliw na maagang mga resulta sa pagtaas ng paggamit. Ang panahon at pagtataya ng mga web page ng NOAA ay nakatanggap na ng ilan sa pinakamataas na antas ng trapiko sa mga site ng gobyerno, ngunit matapos na isinama kamakailan ng Google ang isang klima at lagay ng panahon, tungkol sa isang laki ng sukat, sa kanyang database ng BigQuery, iniulat ng kumpanya na naghahatid ng 1.2 petabytes ng ito ng dataset mula Enero 1 hanggang Abril 30 - higit pa kaysa sa na-access sa isang katulad na timeframe mula sa mga server ng NOAA.

"Nabuksan ito ng Google hanggang sa isang bagong bagong madla, " sabi ni Kearns.

Hindi lang ulan at pana-panahong temperatura. Magagamit na ang mga Datasets sa pamamagitan ng mga kasosyo sa Big Data kasama ang impormasyon sa pangingisda, lagay ng dagat, at isang katalogo na in-host ng IBM na naglilista ng kasalukuyang, forecast, makasaysayan at geospatial na mga datos mula sa mga sentro ng NOAA. Ang mga hinaharap na mga database ay maaaring isama ang impormasyon sa mga ekosistema at mga genomics ng pangisdaan.

Ngunit sa pamamagitan ng disenyo, pinapayagan ng pakikipagtulungan ang mga nakikipagtulungan na mag-cherry-pick kung ano ang gusto nila, na nagdadala ng peligro na nakatago, gayunpaman potensyal na mga mataas na halaga ng mga database, ay hindi makakakita ng maraming sikat ng araw. Sinabi ni Kearns na masyadong maaga upang sabihin kung ano ang maaaring makilala sa kalaunan bilang mahalaga.

"Ang scale at pag-abot ng kung ano ang maaaring gawin sa data na ito ay staggering sa amin, " idinagdag niya. "Hindi namin maiisip ang lahat ng mga posibleng paggamit."

Sa isang mas maliit na sukat, ang Lungsod ng Philadelphia ay nagtrabaho din sa isang pribadong nilalang tungo sa pag-publish ng mga database na sinabi ng publiko na makakahanap ito ng pinaka kapaki-pakinabang. Kahit na ang laki ng isang lungsod ay nagbibigay ito ng higit pang pang-araw-araw na pagpapatakbo ng pagpapatakbo kaysa sa isang pederal na nilalang, ang modelo ng Philly ay kumakatawan sa isang diskarte para sa pag-estratehiya ng mga paglabas ng mga hindi pa nai-publish na mga database.

Si Azavea, isang firm na software na nakabase sa Philly na nagdadalubhasa sa visualization ng data, ay nakipagtulungan sa punong opisyal ng impormasyon ng lungsod, si Tim Wisniewski, upang bumuo ng isang listahan ng mga hindi nai-publish na mga database na hindi nakikinabang sa lungsod ay maaaring magkaroon ng interes sa paggamit. Ginamit nina Wisniewski at Azavea ang parehong online na katalogo ng metadata ng lungsod at pag-input mula sa mga kagawaran ng lungsod upang mabuo ang listahan. Pagkatapos ay ipinadala ni Azavea at iba pang mga kasosyo ang listahan sa mga nonprofits ng Philadelphia at inilunsad ang OpenDataVote, isang kumpetisyon para sa publiko na bumoto sa mga proyekto na ipinapasa ng mga nonprofits para sa kung paano nila gagamitin ang kanilang ginustong mga database.

Ang isang kamakailan-lamang na nagwagi ay isang panukala na ipinapasa ng hindi pangkalakal na MicroSociety na gumamit ng data ng lungsod sa mga donor sa Philadelphia School District upang masukat ang epekto ng mga di-pangkalakatang programa sa mga paaralan.

"Maaari nating sabihin na ang lungsod na ito na hindi pangkalakal ay interesado sa isang partikular na dataset dahil may magagawa sila, at na ang maraming tao ay bumoto upang suportahan sila, " sinabi ni Wisniewski. "Pinapayagan kaming pumunta sa mga kagawaran na may isang kaso ng solidong paggamit sa kamay sa halip na sabihin, hey, bitawan ang data na ito dahil lamang."

Old Data at ang Bago

Ngunit ano ang mangyayari kahit na mayroong maraming pag-access sa data na mayroon na, kapag ang mga bagong patakaran at mga direktiba sa pagpopondo ay nangangahulugan na ang data mismo ay hindi na nabuo pa? Iyon ay isang tunay na pag-aalala, sinabi ni Ann Dunkin, na nagsilbi bilang punong opisyal ng impormasyon sa Environmental Protection Agency sa ilalim ni Pangulong Obama at ngayon pinamumunuan ang IT para sa Santa Clara County ng California.

"Ang mga tao ay nag-aalala tungkol sa lumang data, ngunit kung ano ang pinaka-aalala sa akin ay ang mga bagong data ay hindi ginawang magagamit sa parehong rate tulad ng dati, o hindi nabuo nang una, " sabi ni Dunkin.

Sa isang pagsusuri ng iminungkahing 2018 federal na badyet ng magazine Science, maraming mga ahensya ng gobyerno ang nakakaalam ng mga makabuluhang pagbawas sa kanilang mga badyet sa pananaliksik kung ang badyet ay naipasa bilang iminungkahi. Isang humigit-kumulang 22 porsyento na gupit sa National Institutes of Health ang mag-ukit sa mga pagbabayad sa mga unibersidad sa pananaliksik; ang kahilingan sa badyet ng NASA ay aalisin ang mga hakbangin upang subaybayan ang mga paglabas ng greenhouse gas at iba pang mga programa sa agham sa lupa. Ang mga programa ng klima sa NOAA ay maaari ring isara sa mga katulad na antas ng pagbawas.

Sa panahon ng kanyang panunungkulan, ang EPA ay nagtatrabaho patungo sa paggawa ng koleksyon ng mga data sa isang tool para magamit ng sinuman upang maunawaan ang kalusugan ng kanilang paligid, at kung paano ito tutugon dito. Masamang araw ng hangin? Huwag lumabas sa labas. I-stream ang paraan na polluted? Ilayo ang mga bata.

"Ang inaasahan ko ay lilipat pabalik, " Dunkin added. "Maaaring mali ako, ngunit kung sinasabi mong hindi namin magagamit ang data, ang lohikal na konklusyon ay mga database na makakatulong sa mga miyembro ng publiko ay hindi magagamit o hindi nabuo sa unang lugar."

Ang Data Refuge's Wiggin ay nagtatrabaho sa isang proyekto sa pagkukuwento na may kaugnayan sa isyung ito na inaasahan niya na mapapagana ang mas maraming mga tao na humingi ng patuloy na paglabas ng data, at lumikha ng isang batayan ng suporta para sa pagpapatuloy ng mga umiiral na mga programa ng koleksyon ng data sa buong pederal na pamahalaan. Ang "Tatlong Mga Kwento sa Atong Bayan" ay maglalarawan ng madalas na nakatagong epekto ng data ng pederal sa mga hindi inaasahang lugar, nagsisimula una sa Philadelphia, pagkatapos sa iba pang mga lugar sa buong bansa.

"Ang isang mahalagang piraso ng kilusan ng Data Refuge, habang lumilipat kami sa susunod na yugto, ay tumutulong sa mga tao na maunawaan kung gaano kalawakang ginamit ang data na ginawa ng federally sa kanilang buhay, " sabi ni Wiggin. "Tinawag mo man ito ng klima o kalusugan o kaligtasan ng publiko, nasa data pa rin ito ng pederal. Nasa mga komunidad, sa city hall, sa pagpupursigi ng pulisya, sa militar. Kailangan nating tandaan kung gaano kahalaga ang data na iyon."

Mga Mapagkukunan:

• EPA na Pangkapaligiran ng Dataset Gateway: Ang portal ng metadata Agency ng Proteksyon ng Kalikasan.
• Buksan ang Data @ DOE: Ang bukas na portal ng data ng Kagawaran ng Enerhiya.
• Ang portal ng Data ng Serbisyo ng Pananaliksik sa Ekonomiko ng USDA
• NOAA Big Data Resources: Mga link sa mga pahina ng platform ng mga kasosyo sa Big Data na nagho-host ng data na nabuo ng NOAA.
• Unibersidad ng North Texas: Cyber ​​Cemetery: Isang archive ng mga defunct, lipas na sa lipunan o shuttered website ng gobyerno.
• Mga Data sa Pangkapaligiran at Pamamahala ng Inisyatibong Archive Project Pahina: Mga tool, code at app na may kaugnayan sa pagtuklas at pag-archive ng data ng gobyerno.
• Internet Archive Wayback Machine
• Internet Archive: Paano Makatipid ng Mga Pahina sa Wayback Machine: Anim na paraan upang mag-nominate ng mga pahina para sa pag-archive.
• California Digital Library: Katapusan ng Term Web Archive: Isang koleksyon ng mga website ng Pamahalaang US na na-save mula sa End-of-Term Crawls, mula 2008 hanggang sa kasalukuyan.
• FreeGovInfo.info: Malawak na nilalaman na may impormasyon sa mga portal ng data sa antas ng estado at pederal, at mga archive ng mga balita sa bukas na mga isyu ng data.
• Klima ng Klima: Isang koleksyon ng mga datos na may klima na boluntaryo.

Ang kwentong ito ay unang lumitaw sa PC Magazine Digital Edition. Mag-subscribe ngayon para sa higit pang mga orihinal na tampok na tampok, balita, mga pagsusuri, at kung paano mag-alis!