JEFFREY Licht: Hi hemmhekk. Jien Jeffrey Licht. U jien hawn biex jitkellem miegħek dwar il- Harvard Librerija u l-bini tal-għada librerija llum, I raden. Allura l-isfond hawnhekk, l-pitch għal din is-sessjoni huwa essenzjalment li jkun hemm ħafna ta 'data bibliografika disponibbli fil-libreriji Harvard. U hemm opportunità, permezz wħud mill-għodod u proġett li l-jiġu żviluppati, biex jiksbu aċċess għall-informazzjoni u tieħu lill-postijiet li l- Harvard Librerija ma tagħmel id-dritt issa, do Jittieħed ġodda magħha, esperiment u play madwar magħha. Allura l-punt ta 'dħul fis dan hija API imsejjaħ il-Harvard Librerija Cloud, li huwa server metadata miftuħa, li jiena ser jitkellmu dwar issa. Allura l-isfond huwa li hemm lott ta 'għalf fil-librerija Harvard. Għandna aktar minn 13-il miljun biblijografika rekords, miljuni ta 'stampi, u eluf ta 'konstatazzjoni għajnuniet, li huma essenzjalment dokumenti li jiddeskrivu kollezzjonijiet, tgħid dak huwa fihom, kaxxi ta 'karti u ibqa 'sejjer hekk li jirrappreżentaw aktar minn miljun dokumenti individwali. U hemm ukoll ħafna ta ' informazzjoni li l-librerija għandha dwar kif il-kontenut huwa użat li jista 'jkun ta' interess għall-persuni li jistgħu jixtiequ jaħdmu magħha. 

Allura kollha ta 'l-informazzjoni il-librerija għandha metadata. Allura metadata hija data dwar id-data. Allura meta nitkellmu dwar l-informazzjoni li l- disponibbli permezz tal-bibljoteka sħaba li ikunu disponibbli, mhuwiex neċessarjament id-dokumenti attwali infushom, mhux neċessarjament il-full test ta 'kotba jew l-immaġini sħiħa, minkejja li fil-fatt jista 'jkun il-każ. Imma huwa verament informazzjoni dwar id-data. 

Allura inti tista 'taħseb katalogar informazzjoni, in-numri sejħa, suġġetti, kemm kopji tal- ktieb hemm, liema huma l-edizzjonijiet, liema huma l- formati, l-awturi, u oħrajn. Allura hemm ħafna ta 'informazzjoni dwar l-informazzjoni fil-ġbir li, fih innifsu, huwa tip ta intrinsikament utli. U għalkemm jekk int tagħmel riċerka fil-fond, inti ovvjament tixtieq li tikseb l-attwali kontenut innifsu u ħarsa lejn il-data, l-metadata hija utli f'termini ta ' kemm-analiżi tal-corpus kollha kemm hi, bħal liema affarijiet huma fil-ġbir. Kif dawn jirrelataw? Hija tgħin int verament issib Jittieħed oħra, li huwa verament l-għan ewlieni ta 'dan. Il-punt ta 'l- metadata u l-katalogu hu li jgħinek issib kollha l-informazzjoni li l- disponibbli fi ħdan il-kollezzjonijiet. 

Allura dan huwa eżempju ta 'metadata għal ktieb fil-Librerija Harvard. Allura huwa hemmhekk. U inti tista 'tara huwa attwalment moderatament kumplessi. U l-parti tal-valur tal-metadata fi ħdan is-sistema ta 'Harvard Librerija huwa li huwa kien sort ta mibnija mill catalogers u mmuntati minn nies li japplikaw lott ta 'kompetenza u ħila u ħsibt li dan matul iż-żmien, li għandha ħafna ta 'valur. 

Mela jekk inti tagħti ħarsa lejn dan ir-rekord għall- Il Alice annotata, tista 'ssir taf inti stajt ltqajna-titolu, li kiteb dan, il- awtur, u s-suġġetti kollha differenti li n-nies ikollhom katalogati fis. U inti tista 'tara hemm ukoll, fil Minbarra ħafna ta 'informazzjoni tajba hawn, hemm xi dupplikazzjoni. Hemm ħafna ta 'komplessità li l- rifless permezz tal-metadata li għandek. 

Allura titolu ta 'dan il-ktieb huwa Avventuri Alice Wonderland. Allura dan huwa annotata verżjoni ta 'dak il-ktieb. Iżda huwa msejjaħ ukoll Il annotata Alice, Avventuri Alice Wonderland għaliex huwa xi ħaġa li Martin Gardner kiteb u annotata-ktieb. U hemm ħafna ta 'informazzjoni kbira dwar puzzles loġika u l-affarijiet fi ħdan Alice li inti probabbilment ma kinitx taf dwar. Allura inti għandek tmur taqrah. 

Iżda int tista 'tara hemm lott ta 'dettall hawn, inklużi l-identifikaturi, meta inħoloq, fejn ġew minn, f'termini tal-Harvard sistema, u ibqa 'sejjer hekk. Allura dan huwa kampjun ta ' it-tip ta 'metadata li inti tista 'tara għal ktieb fil il-ġbir Harvard Librerija. 

Din hija xi ħaġa kompletament differenti. Għalhekk hemm sistema msejħa VIA Harvard, li bażikament huwa katalogazzjoni stampi u oġġetti ta 'l-arti u affarijiet viżwali matul Harvard, u jżid xi metadata lilhom, u jikklassifikahom, u, f'xi każijiet, jipprovdu immaġini thumbnail żgħar li inti tista 'tieħu tħares lejn jekk hekk tixtieq. 

Allura dan huwa eżempju ta 'l- metadata li għandek għall-pjanċa minn, preżumibbilment, Alice Wonderland. U inti tista 'tara hemm metadata inqas hawn. Huwa biss tip differenti ta 'oġġett. U hekk hemm inqas informazzjoni. 

Inti l-aktar għandek l-fatt li, sejħa numru, essenzjalment li tinħoloq, - 

Ma nafux meta kien maħluq. 

--and titolu. 

Eżempju ieħor. Dan huwa ta 'għajnuna sejba. Hekk hemm ġabra ta 'Lewis Karti Carroll ta fil-Harvard. Allura dan jiddeskrivi liema huwa li l-ġbir. Allura xi ħadd marret permezz ta 'u jobsru-kaxxi kollha u katalogati dan, minħabba xi isfond, miktub sommarju ta 'x'hemm hawn. U jekk ġejt biex tfittex ulterjuri għal dan, din tmur fuq għal paġni u paġni u l-paġni, iżda se jgħidlek dak l-ittri u dak dati minn dak kaxxi eżistiet matul il-ġbir. Iżda din hija xi ħaġa li, jekk int fil-Harvard, inti tista 'tmur u attwalment fiżikament jfittxu up u, preżumibbilment, tagħti ħarsa lejn. 

Allura din hija kollha kbir. Dan metadata tal-utli. Hija s fis-sistema Harvard Librerija. Hemm għodod online fejn int tista 'tmur u tagħti ħarsa lejn dan, u jarawha, u tfittxija dan. U inti tista 'porzjon dan u dadi fil-lottijiet ta 'modi differenti. 

Imma huwa verament disponibbli biss jekk inti bniedem bilqiegħda fil-web browser tiegħek jew xi ħaġa jew telefon tiegħek u n-navigazzjoni permezz ta 'dan. Mhuwiex verament disponibbli fil kwalunkwe tip ta 'moda użabbli għal sistemi oħra jew kompjuters oħra għall-użu, mhux ma 'sistemi fi ħdan il-Librerija Harvard, iżda s-sistemi fid-dinja ta 'barra, biss in-nies oħra b'mod ġenerali. Għalhekk il-kwistjoni hija, kif nistgħu jagħmilha disponibbli għall-kompjuters sabiex inkunu nistgħu nagħmlu aktar interessanti Jittieħed magħha milli biss browsing dan lilna nfusna? 

Allura għaliex kieku inti tixtieq li tagħmel dan? Hemm ħafna possibbiltajiet. Wieħed huwa inti tista 'tibni kompletament mod differenti ta 'browsing il-kontenut li ikunu disponibbli permezz tal-Libreriji Harvard. I ser nuruk wieħed aktar tard imsejjaħ Stacklife, li għandha kompletament differenti jieħdu fuq tfittex għall-kontenut. 

Inti tista 'tibni magna rakkomandazzjoni. Allura Harvard Librerija ma tkunx fil- negozju ta 'tgħid, inti tixtieq dan il-ktieb. Imbagħad mur tagħti ħarsa lejn dawn 17 oħra kotba li inti jistgħu jkunu interessati fil jew dawn it-18 xbihat oħra. Iżda dan ċertament jista tkun karatteristika prezzjuża. U minħabba l-metadata, huwa jista ' jkun possibbli biex tpoġġi dik flimkien. Inti jista 'jkollhom bżonnijiet differenti F'termini ta 'tiftix tal-kontenut, bħal forsi minkejja l-għodod li huma disponibbli li l-librerija jagħmel disponibbli, inti tista 'tixtieq li tfittxija b'mod differenti jew jottimizzaw għal każ użu partikolari, li forsi huwa speċjalizzat ħafna. Forsi hemm biss ftit nies fid-dinja li trid tfittex il-kontenut b'dan il-mod, iżda huwa Ikun kbir jekk irridu jista ħallihom jagħmlu dan. Hemm ħafna ta 'analytics fi ftit kif in-nies juża l-kontenut li jkun verament interessanti tkun taf dwar, nsib liema kotba qed jintużaw, liema mhumiex, u ibqa 'sejjer hekk. U allura hemm ħafna ta ' opportunità li jintegraw ma 'informazzjoni oħra li hemmhekk fuq il-web. Allura aħna have-- 

Per eżempju, NPR għandha segment reviżjoni ktieb, fejn intervista awturi dwar il-kotba. U hekk ikun kbir jekk inti kienu tfittex up ktieb fil-Harvard Librerija, u inti tgħidli, OK, hemm Kien intervista mal-awtur. Ejja ħa mmorru tagħti ħarsa lejn dak. Jew hemm paġna Wikipedija, bħala awtorevoli, referenza akkademiċi dwar dan il-ktieb li inti tista 'tixtieq li tagħti ħarsa lejn. 

Hemm dawn it-tipi ta 'sorsi imxerrda madwar il-web. U jġibhom flimkien jista 'jkun użu kbir lil xi ħadd tħares lejn l- kontenut, tfittex xi ħaġa. Imma hija wkoll mhux l- tip ta 'ħaġa youd jridu li l-librerija li jkun responsabbli biex imur isfel u kaċċa stabbiliti kollha dawn is-sorsi differenti u fejn jitwaħħal flimkien għaliex qed jinbidlu kontinwament. U dak li jaħsbu huwa importanti jista Ma jkun dak li inti taħseb hija importanti. 

U aktar minn hekk, bażikament hemm lott ta 'għalf aħna ma ħsibt ta' għada. Allura jekk aħna tista 'tiftaħ dan up, aktar nies minbarra nofs tużżana jew hekk, li qed tħares lejn dan fuq bażi regolari jistgħu jaħsbu ta 'ideat u massaġġi-data, u jagħmlu dak li jridu magħha. 

Allura aħna tixtieq li tagħmel dan data disponibbli għad-dinja. Ukoll, hemm kumplikazzjonijiet koppja. Waħda hija li din metadata huwa fil-sistemi differenti. Huwa f'formati differenti. Allura hemm xi normalizzazzjoni li jeħtieġ li jiġri, li normalizzazzjoni hija il-proċess ta ' jġibu affarijiet mill formati differenti u mapping minnhom għal format wieħed hekk li l-oqsma se jaqblu up. 

Hemm xi restrizzjonijiet copyright. Jusqu'à présent, l-entrata katalogu dwar ktieb huwa responsabbli għall copyright. Allura anke jekk huwa biss informazzjoni derivata mill-ktieb, huwa copyrightable. U jiddependi fuq li attwalment maħluqa li l-metadata, jista 'jkun hemm restrizzjonijiet fuq min jista jqassmu, to-- simili 

I do not know. Hija tista 'jew ma jista' jkun simili għal is-sitwazzjoni ta 'l-lirika tal-kanzunetti, per eżempju. Allura aħna lkoll nafu kif dan borom. Allura inti għandek bżonn biex tikseb madwar din il-kwistjoni. 

U mbagħad ieħor biċċa hija li hemm ħafna ta 'data. Mela jekk jiena xi ħadd li trid taħdem mad-data jew ikollu idea jibred, jittrattaw 14-il miljun rekords dwar laptop tiegħi tista 'tkun problematika u diffiċli biex jamministraw. Allura irridu nnaqqsu l-ostakli għall-persuni biex ikunu jistgħu jaħdmu mad-data. 

Allura l-approċċ li nisperaw indirizzi kollha ta 'dawn il-preokkupazzjonijiet huwa ta' żewġ partijiet. Wieħed huwa bini pjattaforma li jieħu data minn dawn is-sorsi differenti u taggrava dan, normalizes, jarrikkixxi dan, u jagħmel disponibbli f'post wieħed. U dan jagħmilha disponibbli permezz API pubbliku li n-nies jistgħu jċemplu. 

Allura API hija Applikazzjoni Programmazzjoni Interface. U bażikament jirreferi għal endpoint li sistema jew teknoloġija tista 'sejħa u jiksbu data lura fil f'format strutturat b'mod li tista 'tintuża. Għalhekk mhuwiex dipendenti għaddejjin għal websajt u brix data off ta 'dan, per eżempju. 

Allura dan huwa l-home page ta ' l-Punt API Librerija Cloud, li huwa essenzjalment verżjoni tnejn tagħha. Allura huwa t-tieni iterazzjoni ta tipprova tagħmel kollha ta 'din id-data disponibbli għad-dinja. Allura huwa http://api.lib.harvard.edu/v2/items. U biss li din tinqasam ftit, dak li dan ifisser hija li din hija l-verżjoni tnejn ta 'l-API. Hemm verżjoni waħda, li Jien ma jmur biex jitkellmu dwar. Iżda hemm verżjoni waħda. 

U jekk int ssejjaħ dan API, inti jkollok oġġetti. U parti mill-idea ta ' API hija API huwa kuntratt. Hija xi ħaġa li hija mhux se jibdlu. Hekk per eżempju, - 

U r-raġuni hija li jekk jien jibnu xi tip ta 'sistema li huwa ser tuża API sħaba librerija li juri kotba jew jgħinu lin-nies isibu informazzjoni fil-modi uniku, dak li aħna ma rridux li jiġri hu għalina li jmorru bidla kif li API jaħdem, u f'daqqa waħda kollox pawżi fuq in-naħa utent aħħari. Allura parti tal jekk int tagħmel API disponibbli għad-dinja, huwa prattika tajba li jitqiegħed numru tal-verżjoni fiha sabiex in-nies jafu liema verżjoni li qed jittrattaw. 

Allura jekk aħna jiddeċiedu insibu mod aħjar ta 'kif issir din l-informazzjoni disponibbli, nistgħu bidla li biex sejħa dik il-verżjoni tlieta. Allura kulħadd li għadu jużaw Verżjoni tnejn, li għadu inneħħu xogħol. Iżda verżjoni tlieta kieku għandek l-għalf ġdid. 

Allura dan huwa API, iżda dan verament qisu URL. U għalhekk dak li dan huwa Eżempju ta 'huwa x'hemm imsejħa API mistrieħ, li huwa disponibbli fuq biss konnessjoni web regolari. U inti tista 'attwalment mur għaliha fil-browser. 

So here I stajt biss fetaħ Firefox u marret għall api.lib.harvard.edu/v2/items. U hekk dak I nikseb hawnhekk huwa bażikament l-ewwel paġna ta 'riżultati mill-kollu sett ta 'oġġetti li aħna ve ltqajna. U huwa hawn fil-format XML. U huwa wkoll kien prettified mill Firefox. Hija ma attwalment ikollhom kollha ta 'dawn ftit espansjoni u l-kuntratti doohickeys hawn. Din hija tip ta 'nicer Verżjoni mod biex tħares lejn din. 

Imma dak li dan huwa tgħidilna huwa Stajt talab il-punti kollha. Allura hemm 13,289,475 oġġetti. U jien tħares lejn l-ewwel 10, li jibda fil-pożizzjoni żero minħabba fix-xjenza tal-kompjuter aħna dejjem tibda fuq żero. U dak li għandi hawn, jekk I biss kollass dan, tkun taf tara stajt ltqajna 10 oġġetti. 

U jekk I tagħti ħarsa lejn oġġett, nista tara li stajt ltqajna informazzjoni dwar dan. U dan huwa dak li sejjaħ forma mods. U hekk jien ser jaqilbu lura hawn għal mument. OK. 

Mela ejja tfittex xi ħaġa fil speċifiku għaliex l-ewwel oġġett li jiġri li toħroġ meta inti tħares permezz tal-ġbir kollu huwa, b'definizzjoni, każwali. Mela ejja nħarsu għal xi donuts. Oh. 

OK. Allura doughnuts. Allura aħna sabu hemm 80 oġġetti fl il-ġbir li doughnuts referenza. Aħna qed tħares lejn l-ewwel 10 minnhom. Issa, inti tista 'tara hawn il-mod li I said I infittex doughnuts, I biss miżjud xi ħaġa li l-sekwenza mistoqsija tal-URL. Allura q ugwali doughnuts, li inti tista ' tara ftit aktar faċilment hawn. 

U dan bażikament ifisser li hemm spec għall-API, liema jiddefinixxi liema kollha ta ' dawn il-parametri jfisser. U dan ifisser li aħna qed tmur biex tfittxija kollox għal doughnuts. 

Allura l-ewwel punt hawnhekk għandna inti tista 'tara t-titolu huwa Donuts, u hemm sottotitolu msejħa An Passjoni American, li huwa, I raden, xierqa. Hemm ħafna ta 'different-- Ladarba ikollok il-punt ta 'jkollna l-informazzjoni, hemm ħafna ta 'differenti formati li tista 'tikseb fis. U hemm qawwiet differenti u nuqqasijiet għal kull wieħed minnhom. Allura dan wieħed, inti tista 'tara hawn, din il-forma hija ħafna sinjuri. U huwa standardizzat. 

Allura hemm titolu speċifiku qasam, qasam sottotitolu. Hemm sostitut titolu, An Passjoni Amerikana. Hemm huwa l-isem assoċjat magħha. Tip tar-riżorsa huwa test. Hemm ħafna ta 'informazzjoni hawn f'dan il-format. 

Iżda hemm mazz formati ta differenti. Allura dak li aħna kienu biss tħares lejn huwa format imsejħa Mods, li stands għall Metadata Object Deskrizzjoni Service, potenzjalment. Jien fil-fatt ma pjuttost ċert dwar il- S. Imma hija format pjuttost kumpless. Hu l-format default. 

Imma hija l-waħda li żżomm l-rikkezza tad-data kollha li l-librerija għandha għaliex huwa viċin ħafna għal dak li il-librerija użi internament. Huwa standard li huwa użat madwar il-pajjiż, madwar id-dinja fil-libreriji akkademiċi. U huwa interoperabbli ħafna. Mela jekk inti ħadthom ltqajna dokument li huwa fil-format mods, inti tista 'tagħti li biex xi ħadd ieħor sistemi li l tifhem mods, u jistgħu jimportah. Allura huwa standard. Huwa definit tajjeb ħafna, speċifika ħafna. U dan huwa dak li jagħmilha interoperabbli għaliex jekk xi ħadd jgħid, dan huwa t-titlu sostitut ta ' rekord, kulħadd jaf dak li tfisser. Fuq in-naħa flip, huwa kkumplikata ħafna. 

Mela jekk inti tagħti ħarsa fi dan ir-rekord hawnhekk, jekk I biss rridu nġibu l- titolu ta 'dan id-dokument, ta 'dan il-ktieb, li huwa probabbilment Donuts, An Passjoni Amerikana, parsing out huwa xi ftit involuti. Billi hemm ieħor format imsejħa Dublin Core, li huwa ferm, format ferm aktar sempliċi. 

U għalhekk inti tara hawn, hemm ebda titolu, sottotitolu, it-titolu supplenti. Hemm biss it-titolu, Donuts, An Passjoni Amerikana, u titolu ieħor, Passjoni Amerikana. Allura meta inti qed tħares lejn liema forma inti tixtieq li tikseb l-informazzjoni minn, ħafna jiddependi fuq kif int se tużah. Huma inti tuża għal interoperabbiltà jew għandek trid xi ħaġa sempliċi li Jista 'jkun aktar faċli li taħdem ma? 

Fuq in-naħa flip, lott ta 'l- Dettalji nikseb tip ta 'squished isfel. Inti tista 'titlef l-sfumaturi ta' liema mezz qasam partikolari jekk int jittrattaw Dublin Core, li inti mhux se tikseb ma mods. Għalhekk dawn huma tnejn mill-formati inti tista 'tikseb out ta' l-API. U bażikament, aħna qegħdin iżommu huwa wara l-kwinti fil mods. Iżda nistgħu nagħtuk fil mods u Dublin Core u kull ħaġa oħra kif ukoll. Il-konsiderazzjoni oħra meta qed tfittex fil-data huwa inti tista 'tikseb dan bħala jew JSON, li stands għall JavaScript Notazzjoni Għan, jew XML, li stands għall Estensibbli Markup Language. U dawn rappreżentazzjonijiet tad-dejta kemm jkollhom eżattament l-istess data, eżattament l-istess oqsma. Iżda dawn qed biss sintattikament differenti. 

Allura dan huwa a-- Well, ejja biss jaqilbu. Allura dan huwa query tagħna għall doughnuts fil-format XML. Jekk I biss jaqilbu dan ikun JSON, I tista 'tara jistenna differenti. Allura issa dan huwa l-istess kontenut, imma struttura differenti. Hemm inqas parentesi angolu. Hemm inqas verbose. 

U dan huwa format li, jekk inti qed jaħdmu fl-ambjent tal-web, inti x'aktarx sejrin li jridu jużaw għaliex wieħed mill-affarijiet sbieħ dwar JSON huwa huwa kompatibbli mal-JavaScript. Mela jekk jien bil-miktub web app, I jistgħu jiġbdu fil JSON u biss jaħdmu magħha direttament. Billi bil XML, huwa ftit aktar ikkumplikata. Għalhekk għal darb'oħra, dawn huma tnejn utli. Huma biss huma każijiet ta 'użu differenti fejn in-nies tista 'tixtieq li jużawhom. OK. Allura lura għall-API. Allura nistgħu tfittxija for-- 

I jagħtu eżempju ta ' tiftix għal doughnuts. Nistgħu wkoll tfittex biss b'mod partikolari il-qasam fi ħdan hawn. Allura minflok ta 'tiftix ir-rekord sħiħa, I tista 'biss tfittex l-qasam titolu. U hekk issa hemm 25 affarijiet li ikollhom doughnuts fit-titolu, li wieħed minnhom huwa dwar restawr artijiet mistagħdra fil-ġestjoni tal-toqba fl-donut programm, li huwa probabbilment mhux neċessarjament dak li aħna qed tfittex għal meta aħna qed tiftix għal doughnuts. 

Tista 'wkoll, meta int jittrattaw ma 'API-- 

Parti ta 'wara API qed tagħti nies ikollhom aċċess għal settijiet ta 'data kbar. U hemm koppja differenti għodod tista 'tuża biex tagħmel dan. Wieħed huwa, ħafna sempliċement, inti tista paġna permezz tal-data. Hekk biss bħal li kieku inti tagħmel query permezz ta 'interface web, inti tista 'tħares lejn paġna waħda, Paġna tnejn,-paġna tlieta. Tista 'tagħmel l-istess Ħaġa permezz tal-API. Inti biss jeħtieġ li tkun espliċitu fil-mod kif inti tagħmel dan. 

Għalhekk, per eżempju, jekk I infittex fl-ewwel mistoqsija tiegħi hawnhekk, fejn jien tagħmel tfittxija għal affarijiet bl doughnuts fit-titolu, nista 'ngħid, u limitu hija daqs 20, li jfisser tagħti me l-ewwel 20-rekords, mhux l-ewwel 10, li hija l-kontumaċja, għaliex nixtieq li tħares lejn 20 fi żmien. Jew nista 'ngħid, tistabbilixxi l- tibda ugwali għal 20 u limitu ugwali għal 20, li se tagħti me rekords 21 permezz 40. 

So I raden il-ħaġa għal take away hawnhekk hija li aħna qed tuża l-kordi mistoqsija biex jistabbilixxu parametri li fuq il-mistoqsija. U ihallik kontroll dak li inti tikseb lura. 

Għodda oħra li tista 'tuża, - 

U dan huwa verament utli fil F'termini ta 'esplorazzjoni tal-data. 

--is xi ħaġa imsejħa faceting. Allura l-faceting terminu huwa mhux neċessarjament komuni. Imma inti stajt kollha raw qabel. Jekk inti tagħti ħarsa lejn Amazon, per eżempju, u inti tagħmel tfittxija għal doughnuts fil-kotba, hawnhekk li ħadthom ltqajna serje ta 'kotba, u dawn qed raggruppati skond il-kategorija, u jkollok l-kategoriji differenti, u kemm kotba f'kull kategorija juru up. 

Allura dan huwa bażikament aspett. Għandek tieħu kotba kollha tagħhom, l-1,800 kotba li jaqblu doughnuts fil-Amazon. 12 minnhom huma fil- kategorija kolazzjon. 21 fil-għaġina u l-ħami, u hekk u ibqa 'sejjer hekk. 

Allura dan huwa verament utli għodda għall-esplorazzjoni tal-kontenut fi ħdan il-librerija kif ukoll għaliex meta inti tħares lejn aspett, li tagħtik idea ta 'dak suġġetti teżisti, bħal liema tipi ta 'suġġetti huma l-aktar popolari fil-sett tiegħek query. U li jgħin issuq off u tesplora. Allura nistgħu nagħmlu l-istess ħaġa. 

Jekk irridu li jużaw il- API u ħarsa lejn faċċetti, aħna żid parametru ieħor li ħabib tagħna l-sekwenza mistoqsija. Allura faċċetti ugwali virgola isseparat lista ta 'dak li rridu aspett fuq. Allura wieħed mill-aspetti jista 'jkun suġġett. Oħra tista 'tkun il-lingwa. U hekk jekk aħna run li query, aħna get-- Huwa jistenna pretty ħafna l-istess hawn. Iżda aħna ve miżjud fl-aħħar tal-lista ta 'sett ta' aspetti. Allura aħna għandna aspett imsejjaħ suġġett. Allura dan huwa tgħidilna li jekk nħares fil-80 riżultati tiegħi mill-query doughnut, 13 minnhom għandhom l- jissoġġettaw Istati Uniti. Tlieta m'għandhom l-doughnuts suġġetti. Tliet jkollhom is-suġġett ta 'restawr tal-artijiet mistagħdra, li tista 'tkun toqba tagħna fil-doughnut. Tnejn minnhom, il-Simpsons, u hekk u ibqa 'sejjer hekk. 

Allura dan jista 'jkun utli jekk inti tixtieq li jonqos fl-tfittxija tiegħek. Dan jista 'jgħinek tagħmel dan. Speċjalment jekk ikollok aktar minn, ngħidu, 80 riżultati. 

Bl-istess mod, aħna wkoll mitluba għall faċċetti fuq lingwa. Allura jekk inħarsu lejn ir-riżultati tagħna, naraw 76 minnhom huma bl-Ingliż, erba Franċiż, tnejn fil-lingwa Spanjola, tnejn, naħseb li undefined jew mhux magħruf, bl-Olandiż u Latin. So I think it-Latin riżultat doughnut, għal darb'oħra, għandha x'taqsam xejn mal-ikel moħmi. Imma hemm inti tmur. 

Allura dan huwa tip ta 'turi li inti kif inti tista 'iġbed il-kontenut dahar mill-API biss permezz web browser, li hija kbira. Imma din mhix verament dak li inti kieku normalment tkun qed tuża fil-API għal dan. Allura eżempju wieħed ta 'kif inti jistgħu attwalment jagħmlu dan huwa stajt miktub programm żgħir super, li, għal darb'oħra, ma tfittxija donut tiegħi u tagħżel ftit oqsma koppja u turihom f'tabella. Allura dan huwa ferm l- istess kontenut li aħna biss serrieq bil oqsma ftit miġbud 'il barra. Allura lista ta 'titoli, l- lokazzjoni ta 'dak il-ktieb huwa dwar, il-lingwa, u hekk u ibqa 'sejjer hekk. 

Allura kif dan fil-fatt ġara, għaliex I raden għandna nħarsu lejn xi kodiċi, is-- 

Dak li għandna hawnhekk huwa sempliċi HTML Paġna, li juri t-test, merħba lill sħaba librerija u imbagħad displays tabella ta 'riżultati. U hemm huma, b'mod ċar ebda riżultati fl il tabella meta l-paġna gets mgħobbija. Imma dak li aħna qed tagħmel huwa, qabel kollox, aħna huma tagħbija librerija msejħa jQuery, li hi bażikament librerija JavaScript, li jagħmilha faċli ħafna biex jimmanipulaw JavaScript natively, HTML, u toħloq paġni tal-web, loġika client-side u paġni web. 

Allura dak li għandna hawnhekk huwa jQuery għandha metodu msejjaħ Get, li essenzjalment se jmorru biex URL, li, f'dan il-każ, huwa dan il-URL familjari tfittex. U mbagħad jiksbu l-kontenut mill- li URL u mbagħad għaddi funzjoni fuqha. Allura aħna qal tmur għall api.lib.harvard / edu. Tiftix għal doughnuts. Agħtina 20 records. U allura run din il-funzjoni, li Stajt magħżula, jgħaddiha-data. U d-data hija l-JSON li ltqajna lura mill-API. 

U allura aħna qed tgħid, fi ħdan dak data hemm qasam imsejħa oġġett. U jekk immur tagħti ħarsa lura lejn wieħed minn dawn ir-riżultati C'est hawn, hemm xi ħaġa called-- 

Ukoll, huwa msejjaħ il-partita. Allura li jista 'jkun li. U dak li ma huwa tmur permezz ta 'kull oġġett u mbagħad jitlob ieħor funzjoni fuq kull oġġett. U dik il-funzjoni bażikament qed tieħu l-valur ta 'l-oġġett, li huwa essenzjalment l-rekord individwali u jippermetti li iġbed it-titolu, il-kopertura u l-lingwa. 

Allura aħna sejħa funzjoni fuq kull oġġett li sirna lura mill-API. U jekk inti biss tagħti ħarsa fil din il-biċċa dritt hawn, dak li aħna qed tagħmel huwa aħna qed joħolqu string, li huwa essenzjalment xi markup HTML madwar mejda, bil value.title, li huwa t-titlu ta 'l- oġġett, value.coverage, li hija l-kopertura, - 

U aħna qed tagħmel verifika hawn biex tara li l-undefined u ħabi jekk din tgħid mhux definiti, għaliex aħna mhux qed verament interessati f'dak. 

--and allura l-lingwa. U allura dak li aħna qed jagħmlu qed jpoġġu li għall-tabella li hija identifikati minn din is-sekwenza hawn. U kif jQuery taħdem huwa dak li din qed tgħid huwa tfittex il-mejda ma idea riżultati u żid dan it-test miegħu. U dan hija t-tabella ma 'riżultati idea. Allura dak li inti tispiċċa ma huwa din il-paġna hawn. U sabiex tara source-- Ukoll, is-sors ma tkunx attwalment Aġġornata meta dak li ġara. Allura inti tista 'tara l-attwali riżultati tat-tabella hawn għalkemm. 

Allura dan huwa biss eżempju sempliċi ta ' tagħmel mistoqsija bażika ħafna kontra l-API u l-wiri ta 'informazzjoni f'xi ieħor forma, u ma tagħmel xejn wisq fancy. Issa, eżempju ieħor hija bħal applikazzjoni bil-miktub minn David Weinberger bħala demo ta 'dan, li essenzjalment jurik kif inti tista 'maxx up-riżultati int jkollna mill-API sħaba librerija ma ', ngħidu, Google Books. 

U l-ħsieb hawnhekk huwa li nista run query kontra Google Books, jiksbu tfittxija test sħiħ, nikseb xi riżultati lura, nsib liema minn dawk l-oġġetti jeżistu attwalment fl Hollis, is-sistema librerija, u mbagħad tagħti me links lura għal dawk l-oġġetti. Mela jekk jien tfittxija għal, kien lejl skur u maltemp, I tikseb lura mazz ta 'riżultati minn Google, u mbagħad riżultat wieħed li hija A tikmix fil Time. U dawn huma links għal kotba li jeżistu fi ħdan is-sistema Harvard Librerija. 

So I raden il-punt hawnhekk mhix tant li din tista 'jew ma jistgħux jkun il-mod li tixtieq biex tfittex il-librerija, iżda huwa kompletament differenti mod li ma kienx disponibbli lilek qabel, bħal inti ma kellhom ebda mod ta 'kif isir test sħiħ tfittxijiet fuq il-kotba li anke kienu parti mis-sistema Harvard Librerija. Allura issa dan huwa mod li inti tista 'tagħmel dan. U inti tista 'jesponihom x'inhu l-format li trid. Għalhekk il-punt hawnhekk huwa, bażikament, aħna qed jiftaħ toroq ġodda għall-poplu biex jaħdmu ma 'l-informazzjoni. 

Ieħor biċċa ta 'sħaba librerija hija li dan jgħin jesponu xi wħud mill-użu tad-data li l-librerija għandha. Mela jekk inti tmur għall-librerija, u qed tfittex għall-kotba, inti ma neċessarjament attwalment jkollhom idea ta ', għall-entrati kollha fil- partikolari suġġett, liema huma nies fil- komunità, kemm jekk huwa definit bħala Harvard jew l- pajjiż jew klassi tiegħek, dak għandek sabu l-aktar utli? U l-librerija attwalment għandha ton ta 'informazzjoni dwar dak li huwa l-aktar utli għaliex jekk lott nies huma iċċekkjar out ktieb, li jgħidlek xi ħaġa. Ma għandha tkun saret xi raġuni jkunu jridu check out. A lott ta 'nies poġġih fuq riżerva. 

Jekk huwa fuq il-lista ta 'riżerva għal lott ta 'klassijiet, li jgħidlek xi ħaġa. Jekk il-membri tal-fakultà huma iċċekkjar dan out a lot u ggradwawx mhumiex, li tg me xi ħaġa. Viċi versa, dan ukoll jgħidlek xi ħaġa. Għalhekk ikun verament interessanti li tqiegħed dik l-informazzjoni hemmhekk u let nies jużawha biex tgħinhom isibu taħdem fi ħdan is-sistema librerija. In-naħa flip ta 'dan huwa hemm xi ftit privatezza serji tħassib għaliex wieħed mill- tenets ewlenin tal-librerija ma we ma tkunx qed tmur biex jiġu javżak nies liema nies oħra huma qari. U anki jekk inti qed tgħid dan ktieb ġie ċċekkjati out erba 'darbiet fix-xahar partikolari, li jistgħu jintużaw li rabta lura għal partikulari Persuna minn data de-anonimità u konstatazzjoni min ċċekkjati out. Allura l-mod li nistgħu avoid-- Il-mod li nistgħu nippruvaw biex jiġi estratt xi sinjal mill-informazzjoni kollha mingħajr ma jikser l tħassib privatezza xi ħadd huwa essenzjalment aħna nħarsu lejn 10 snin ta 'data ta' użu, - 

Allura huwa fuq perjodu twil ta 'żmien. 

--and jgħidu, OK, ejja naraw kif ħafna drabi dan ix-xogħol kien użat, u minn min matul dan il-perjodu ta 'żmien, u mbagħad bażikament jagħtu lura numru, li aħna sejħa punteġġ munzell, li bażikament tirrappreżenta kemm huwa kien użat. U li number-- A lott ta 'kalkoli differenti tmur fis dan in-numru. --but huwa raffa ħafna metrika li jagħtik xi idea ta 'kif il- komunità tista valur li x-xogħol. 

U għalhekk tip ieħor ta 'anki aktar kkonkretizzati applikazzjoni li jieħu vantaġġ ta 'din hija xi ħaġa imsejħa Stacklife, li huwa attwalment disponibbli permezz tal-Harvard prinċipali Portal Librerija. Allura inti tmur għall library.harvard.edu. Int ser ikollok tara numru ta 'differenti modi ta 'tiftix-librerija. U wieħed minnhom huwa msejjaħ Stacklife. 

U dan hija applikazzjoni li browses-kontenut tal-librerija, iżda huwa kompletament mibnija fuq quċċata ta 'dawn APIs. Hekk hemm ebda Jittieħed speċjali għaddejjin wara l-kwinti. M'hemm l-ebda aċċess għall- data li inti ma għandekx. Huwa bl-użu APIs li jagħtuk bi browsing kompletament differenti esperjenza. 

Mela jekk jien tfittxija għal Alice Wonderland f'dan il-każ, I tikseb riżultat li qisu dan, li huwa pjuttost much-- 

Huwa simili ħafna għal kwalunkwe tfittxija oħra inti tista 'tagħmel, ħlief fil-każ preżenti aħna qed ranking l-oġġetti mill- stackscore, li tagħtik xi idea ta 'kif popolari dawn oġġetti kienu fil-komunità. U hekk b'mod ċar, Alice Wonderland billi Walt Disney huwa ferm popolari. Iżda int tista 'tara wkoll l-erba' fuq hawn huma dawk li inti tista 'ma actually-- 

Affarijiet li huma ferm użati, imma inti ma tistax immedjatament qabbad ma Alice Wonderland. Allura ħabib antik tagħna Il Annotata Alice huwa hawnhekk. So I tista 'tagħti ħarsa lejn dan. U issa dak li jien infittxu fi huwa bażikament sett of-- I jista 'jkollhom L annotata Alice dritt hawn. I jkollhom informazzjoni dwar dan. U Għandi wkoll stackscore ta ', f'dan il-każ, 26. U dan jgħidlekx me tip ta 'bejn wieħed u ieħor kif aħna ltqajna biex dan stackscore, bħal min ċċekkjati it out, simili kif ħafna drabi kien ċċekkjati out, bħall fakultà jew undergrads, kif kopji ħafna l-librerija għandha, u hekk u ibqa 'sejjer hekk. 

U inti tista 'wkoll, interessanti biżżejjed hawn, jibbrawżjaw il-stacks prattikament. Allura l-informazzjoni hawn, dan qed turi li inti sort ta 'rappreżentazzjoni virtwali ta 'dak l-jista ixkaffa look like jekk ġejt biex tieħu azjendi kollha tal-librerija u jpoġġuhom flimkien fuq il-blata infinita wieħed. U l-ħaġa sbieħ hija li aħna can-- 

L-ewwelnett, l- metadejta dwar dawn il-kotba spiss jgħidlek meta ġie ppubblikat. Hija jgħidlek kemm paġni li jkun. Jista 'jgħidlek-dimensjonijiet. Allura tista 'tara li s rifless hawn f'termini tad-daqs tal-kotba. 

U allura nistgħu nużaw l- munzell punteġġ biex jenfasizzaw il-kotba li għandhom punteġġi munzell ogħla. Allura jekk huwa jiskuraw, dan ifisser li, preżumibbilment, huwa użat b'mod aktar spiss. Allura f'dan il-każ, jien ser raden li din hija l-verżjoni tal-Alice Wonderland li huwa komunement ħafna użati u l-aktar aċċessati, il-librerija għandha l-aktar kopji ta '. Mela jekk inti qed tfittex għall Alice Wonderland, dan jista 'jkun post tajjeb biex tibda. 

U allura hawnhekk tista 'wkoll link out li, jgħidu, Amazon biex jixtru l-ktieb, u hekk u ibqa 'sejjer hekk. Il-punt hawnhekk, għal darb'oħra, huwa mhux tant li din huwa l-aħjar mod biex jibbrawżjaw il-librerija jew l-għodda dritt għal kull okkażjoni. Iżda huwa mod ieħor ta 'kif isir dan. U billi d-data disponibbli permezz ta 'API, li huwa magħmul minn blokki tal-bini sempliċi ħafna, li tippermetti li inti tfittex il-kontenut, inti tista 'tibni xi ħaġa bħal din li tista ' jkunu straordinarjament siewja għal xi nies. 

Allura dak it-tip ta ', kemm irrid li jgħidu verament dwar dak li l-API hija u dak li jesponi, hemm ħaġa waħda mazz ta 'għalf wara l-kwinti, li Jien biss ser imissu fuq qosor sempliċement minħabba li tip ta 'niġu f'dan minn angolu kompletament differenti fil F'termini ta 'kif ma xi ħaġa bħal din nikseb ipoġġu fis-seħħ? 

Allura API huwa standard interface kollha ta 'dan il-kontenut. Iżda biex tiksbu hemmhekk, il- ewwel ħaġa li għandna kellha tagħmel kien tiġbed flimkien l-informazzjoni ta 'kotba u stampi u l-għajnuniet konstatazzjoni, il-ġbir dokument minn diversi sistemi Harvard. Aleph, VIA, u OASIS huma l-ismijiet tas-sistemi. U huma essenzjalment jmorru fi pipeline, pipeline ipproċessar. 

Allura l-ewwel nett, irridu jiksbu l-esportazzjoni fajls mill kollha ta 'dawn is-sistemi. Aħna maqsuma minnhom up fis-oġġetti individwali. Allura aħna jkollhom fajl, li huwa gigabyte, li għandu miljun rekords fiha. Allura aħna qasmitha up fis-oġġetti individwali. Imbagħad, għal kull oġġett, aħna jissarfu fis mods, minħabba li xi wħud minn dawn huma mods natively, xi wħud minnhom mhumiex. Allura aħna tikseb minnhom kollha biex tkun fl-istess format. Imbagħad hemm diversi passi arrikkiment, fejn aħna żid aktar informazzjoni għad-data milli kien disponibbli fil-librerija. Għalhekk għandna bżonn li jżidu, l-ewwel nett għandna dak libreriji iżommha. Immorru permezz ta 'pass ta' kalkolu tal-stackscore. Aħna jgħaddu pass ieħor ta ' żżid aktar metadata f'termini ta 'dak in-nies kollezzjonijiet seta 'żied this-- 

Nies qed joħolqu kollezzjonijiet ta 'oġġetti. Liema kollezzjonijiet ma jappartjenu għall? Kif kienu nies tagged dan il-kontenut fil-passat? Imbagħad inti jiffiltraw, u int jirrestrinġu ir-rekords għaliex, kif semmejt, hemm xi records li, minħabba raġunijiet awtur, ma nistgħux display. U allura aħna jitgħabbew fis xi ħaġa imsejħa Solr, li mhuwiex misspelling, iżda huwa l-isem ta 'biċċa ta' softwer li ma indiċjar search, li drives kollu it-tfittxija wara l-API. U allura din issir disponibbli għall- l-API, u nies jistgħu jużawha. 

Allura dan huwa bħal pjuttost proċess sempliċi. Wieħed mill-interessanti affarijiet dwar dan huwa li aħna qed jittrattaw ma 13-il miljun rekords u aħna ser ikunu jittrattaw jew aktar. U aħna rridu li jkun kapaċi li jimmaniġġjaw dawn b'mod relattivament malajr. Huwa jieħu żmien twil biex tipproċessa 13-il miljun rekords. 

Allura kif dan pipeline huwa imwaqqaf huwa li inti can-- I raden l-vantaġġ ta 'l- pipeline, il-problema li aħna qed jippruvaw isolvu hawnhekk, huwa li kollha trasformazzjonijiet, kollha dawn il-passi f'din pipeline huma separabbli. M'hemm l-ebda dipendenza. Jekk int ipproċessar rekord ta 'ktieb wieħed, hemm ebda dipendenza li bejn ktieb ieħor. 

Allura dak li nistgħu nagħmlu huwa bażikament, f'kull pass fil-pipeline, aħna poġġih fi kju fil-sħaba. I ġara li tkun fuq Amazon Web Services. Hekk hemm lista ta ', jgħidu, 10,000 oġġetti li jeħtieġ li tkun normalizzati u konvertiti għal format mods. U aħna spin up kif ħafna servers kif aħna jixtiequ, forsi 10 servers. U kull wieħed minn dawk servers biss tiltaqa hemm, jistenna f'dak kju, jara li hemm wieħed li jeħtieġ li jiġu pproċessati, jiġbed off-kju, proċessi, u bsaten fuq il-kju li jmiss. 

U iva, liema li jippermetti us tagħmel hu tapplika, essenzjalment, kemm hardware kif irridu li din problema għal perjodu qasir ħafna ta 'żmien biex jipproċessaw id-data malajr kemm possibbli, li hija xi ħaġa li biss, issa fid-dinja tal-kompjuters sħaba Nistgħu provvista servers essenzjalment istantanju, huwa li utli. Allura aħna ma jkollhomx biex ikollhom server ġgant seduta madwar il-ħin kollu biex jagħmlu l-ipproċessar li jista 'jiġri biss darba fil-ġimgħa. 

Allura li huwa l-aktar dan. Hemm dokumentazzjoni disponibbli għall-Punt API Librerija Cloud f'dan URL, li se tkun disponibbli aktar tard. U jekk jogħġbok mur agħti ħarsa lejn biex tara jekk hemm xi ħaġa, għandek xi ideat. Jilagħbu magħha. Iqarqu madwar. U nisperaw inti tista 'toħroġ up ma 'xi ħaġa kbira. Grazzi.