JEFFREY Licht: Hi hemmhekk.
Jien Jeffrey Licht.
U jien hawn biex jitkellem miegħek dwar il- Harvard Librerija u l-bini tal-għada
librerija llum, I raden.
Allura l-isfond hawnhekk, l-pitch għal din is-sessjoni
huwa essenzjalment li jkun hemm ħafna ta 'data bibliografika
disponibbli fil-libreriji Harvard.
U hemm opportunità, permezz wħud mill-għodod
u proġett li l-jiġu żviluppati, biex jiksbu aċċess għall-informazzjoni
u tieħu lill-postijiet li l- Harvard Librerija ma tagħmel id-dritt issa,
do Jittieħed ġodda magħha, esperiment u play madwar magħha.
>> Allura l-punt ta 'dħul fis dan hija API imsejjaħ il-Harvard Librerija Cloud, li
huwa server metadata miftuħa, li jiena ser jitkellmu dwar issa.
Allura l-isfond huwa li hemm lott ta 'għalf fil-librerija Harvard.
Għandna aktar minn 13-il miljun biblijografika rekords, miljuni ta 'stampi,
u eluf ta 'konstatazzjoni għajnuniet, li huma essenzjalment dokumenti li jiddeskrivu
kollezzjonijiet, tgħid dak huwa fihom, kaxxi ta 'karti
u ibqa 'sejjer hekk li jirrappreżentaw aktar minn miljun dokumenti individwali.
U hemm ukoll ħafna ta ' informazzjoni li l-librerija għandha
dwar kif il-kontenut huwa użat li jista 'jkun ta' interess għall-persuni
li jistgħu jixtiequ jaħdmu magħha.
>> Allura kollha ta 'l-informazzjoni il-librerija għandha metadata.
Allura metadata hija data dwar id-data.
Allura meta nitkellmu dwar l-informazzjoni li l-
disponibbli permezz tal-bibljoteka sħaba li ikunu disponibbli,
mhuwiex neċessarjament id-dokumenti attwali
infushom, mhux neċessarjament il-full test ta 'kotba jew l-immaġini sħiħa,
minkejja li fil-fatt jista 'jkun il-każ.
Imma huwa verament informazzjoni dwar id-data.
>> Allura inti tista 'taħseb katalogar informazzjoni, in-numri sejħa, suġġetti,
kemm kopji tal- ktieb hemm, liema
huma l-edizzjonijiet, liema huma l- formati, l-awturi, u oħrajn.
Allura hemm ħafna ta 'informazzjoni dwar l-informazzjoni fil-ġbir li,
fih innifsu, huwa tip ta intrinsikament utli.
U għalkemm jekk int tagħmel riċerka fil-fond,
inti ovvjament tixtieq li tikseb l-attwali kontenut innifsu u ħarsa lejn il-data,
l-metadata hija utli f'termini ta ' kemm-analiżi tal-corpus kollha kemm hi,
bħal liema affarijiet huma fil-ġbir.
Kif dawn jirrelataw?
Hija tgħin int verament issib Jittieħed oħra, li huwa verament l-għan ewlieni ta 'dan.
Il-punt ta 'l- metadata u l-katalogu
hu li jgħinek issib kollha l-informazzjoni li l-
disponibbli fi ħdan il-kollezzjonijiet.
>> Allura dan huwa eżempju ta 'metadata għal ktieb fil-Librerija Harvard.
Allura huwa hemmhekk.
U inti tista 'tara huwa attwalment moderatament kumplessi.
U l-parti tal-valur tal-metadata fi ħdan is-sistema ta 'Harvard Librerija
huwa li huwa kien sort ta mibnija mill catalogers
u mmuntati minn nies li japplikaw lott ta 'kompetenza u ħila
u ħsibt li dan matul iż-żmien, li għandha ħafna ta 'valur.
>> Mela jekk inti tagħti ħarsa lejn dan ir-rekord għall- Il Alice annotata, tista 'ssir taf
inti stajt ltqajna-titolu, li kiteb dan, il- awtur, u s-suġġetti kollha differenti
li n-nies ikollhom katalogati fis.
U inti tista 'tara hemm ukoll, fil Minbarra ħafna ta 'informazzjoni tajba
hawn, hemm xi dupplikazzjoni.
Hemm ħafna ta 'komplessità li l- rifless permezz tal-metadata
li għandek.
>> Allura titolu ta 'dan il-ktieb huwa Avventuri Alice Wonderland.
Allura dan huwa annotata verżjoni ta 'dak il-ktieb.
Iżda huwa msejjaħ ukoll Il annotata Alice, Avventuri Alice
Wonderland għaliex huwa xi ħaġa li
Martin Gardner kiteb u annotata-ktieb.
U hemm ħafna ta 'informazzjoni kbira dwar puzzles loġika u l-affarijiet
fi ħdan Alice li inti probabbilment ma kinitx taf dwar.
Allura inti għandek tmur taqrah.
>> Iżda int tista 'tara hemm lott ta 'dettall hawn,
inklużi l-identifikaturi, meta inħoloq, fejn ġew minn,
f'termini tal-Harvard sistema, u ibqa 'sejjer hekk.
Allura dan huwa kampjun ta ' it-tip ta 'metadata
li inti tista 'tara għal ktieb fil il-ġbir Harvard Librerija.
>> Din hija xi ħaġa kompletament differenti.
Għalhekk hemm sistema msejħa VIA Harvard, li bażikament
huwa katalogazzjoni stampi u oġġetti ta 'l-arti u affarijiet viżwali matul Harvard,
u jżid xi metadata lilhom, u jikklassifikahom,
u, f'xi każijiet, jipprovdu immaġini thumbnail żgħar
li inti tista 'tieħu tħares lejn jekk hekk tixtieq.
>> Allura dan huwa eżempju ta 'l- metadata li għandek għall-pjanċa
minn, preżumibbilment, Alice Wonderland.
U inti tista 'tara hemm metadata inqas hawn.
Huwa biss tip differenti ta 'oġġett.
U hekk hemm inqas informazzjoni.
>> Inti l-aktar għandek l-fatt li, sejħa numru, essenzjalment li tinħoloq, -
>> Ma nafux meta kien maħluq.
>> --and titolu.
>> Eżempju ieħor.
Dan huwa ta 'għajnuna sejba.
Hekk hemm ġabra ta 'Lewis Karti Carroll ta fil-Harvard.
Allura dan jiddeskrivi liema huwa li l-ġbir.
Allura xi ħadd marret permezz ta 'u jobsru-kaxxi kollha
u katalogati dan, minħabba xi isfond, miktub sommarju ta 'x'hemm hawn.
U jekk ġejt biex tfittex ulterjuri għal dan, din
tmur fuq għal paġni u paġni u l-paġni, iżda se jgħidlek
dak l-ittri u dak dati minn dak kaxxi
eżistiet matul il-ġbir.
Iżda din hija xi ħaġa li, jekk int fil-Harvard,
inti tista 'tmur u attwalment fiżikament jfittxu up u, preżumibbilment, tagħti ħarsa lejn.
>> Allura din hija kollha kbir.
Dan metadata tal-utli.
Hija s fis-sistema Harvard Librerija.
Hemm għodod online fejn int tista 'tmur u tagħti ħarsa lejn dan,
u jarawha, u tfittxija dan.
U inti tista 'porzjon dan u dadi fil-lottijiet ta 'modi differenti.
>> Imma huwa verament disponibbli biss jekk inti bniedem bilqiegħda
fil-web browser tiegħek jew xi ħaġa jew telefon tiegħek u n-navigazzjoni permezz ta 'dan.
Mhuwiex verament disponibbli fil kwalunkwe tip ta 'moda użabbli
għal sistemi oħra jew kompjuters oħra għall-użu,
mhux ma 'sistemi fi ħdan il-Librerija Harvard,
iżda s-sistemi fid-dinja ta 'barra, biss in-nies oħra b'mod ġenerali.
Għalhekk il-kwistjoni hija, kif nistgħu jagħmilha disponibbli għall-kompjuters
sabiex inkunu nistgħu nagħmlu aktar interessanti Jittieħed magħha milli biss
browsing dan lilna nfusna?
>> Allura għaliex kieku inti tixtieq li tagħmel dan?
Hemm ħafna possibbiltajiet.
Wieħed huwa inti tista 'tibni kompletament mod differenti ta 'browsing
il-kontenut li ikunu disponibbli permezz tal-Libreriji Harvard.
I ser nuruk wieħed aktar tard imsejjaħ Stacklife,
li għandha kompletament differenti jieħdu fuq tfittex għall-kontenut.
>> Inti tista 'tibni magna rakkomandazzjoni.
Allura Harvard Librerija ma tkunx fil- negozju ta 'tgħid, inti tixtieq dan il-ktieb.
Imbagħad mur tagħti ħarsa lejn dawn 17 oħra kotba li inti jistgħu jkunu interessati fil
jew dawn it-18 xbihat oħra.
Iżda dan ċertament jista tkun karatteristika prezzjuża.
U minħabba l-metadata, huwa jista ' jkun possibbli biex tpoġġi dik flimkien.
Inti jista 'jkollhom bżonnijiet differenti F'termini ta 'tiftix tal-kontenut,
bħal forsi minkejja l-għodod li huma disponibbli li l-librerija jagħmel
disponibbli, inti tista 'tixtieq li tfittxija b'mod differenti
jew jottimizzaw għal każ użu partikolari, li forsi huwa speċjalizzat ħafna.
Forsi hemm biss ftit nies fid-dinja li
trid tfittex il-kontenut b'dan il-mod, iżda huwa
Ikun kbir jekk irridu jista ħallihom jagħmlu dan.
Hemm ħafna ta 'analytics fi ftit kif in-nies
juża l-kontenut li jkun verament interessanti tkun taf dwar, nsib
liema kotba qed jintużaw, liema mhumiex, u ibqa 'sejjer hekk.
U allura hemm ħafna ta ' opportunità li jintegraw
ma 'informazzjoni oħra li hemmhekk fuq il-web.
Allura aħna have--
>> Per eżempju, NPR għandha segment reviżjoni ktieb,
fejn intervista awturi dwar il-kotba.
U hekk ikun kbir jekk inti kienu tfittex up ktieb fil-Harvard
Librerija, u inti tgħidli, OK, hemm Kien intervista mal-awtur.
Ejja ħa mmorru tagħti ħarsa lejn dak.
Jew hemm paġna Wikipedija, bħala awtorevoli, referenza akkademiċi
dwar dan il-ktieb li inti tista 'tixtieq li tagħti ħarsa lejn.
>> Hemm dawn it-tipi ta 'sorsi imxerrda madwar il-web.
U jġibhom flimkien jista 'jkun użu kbir
lil xi ħadd tħares lejn l- kontenut, tfittex xi ħaġa.
Imma hija wkoll mhux l- tip ta 'ħaġa youd
jridu li l-librerija li jkun responsabbli biex imur isfel u kaċċa stabbiliti
kollha dawn is-sorsi differenti u fejn jitwaħħal flimkien
għaliex qed jinbidlu kontinwament.
U dak li jaħsbu huwa importanti jista Ma jkun dak li inti taħseb hija importanti.
>> U aktar minn hekk, bażikament hemm lott ta 'għalf aħna ma ħsibt ta' għada.
Allura jekk aħna tista 'tiftaħ dan up, aktar nies minbarra nofs tużżana jew hekk,
li qed tħares lejn dan fuq bażi regolari jistgħu jaħsbu ta 'ideat
u massaġġi-data, u jagħmlu dak li jridu magħha.
>> Allura aħna tixtieq li tagħmel dan data disponibbli għad-dinja.
Ukoll, hemm kumplikazzjonijiet koppja.
Waħda hija li din metadata huwa fil-sistemi differenti.
Huwa f'formati differenti.
Allura hemm xi normalizzazzjoni li jeħtieġ li jiġri,
li normalizzazzjoni hija il-proċess ta ' jġibu affarijiet mill formati differenti
u mapping minnhom għal format wieħed hekk li l-oqsma se jaqblu up.
>> Hemm xi restrizzjonijiet copyright.
Jusqu'à présent, l-entrata katalogu dwar ktieb huwa responsabbli għall copyright.
Allura anke jekk huwa biss informazzjoni derivata mill-ktieb,
huwa copyrightable.
U jiddependi fuq li attwalment maħluqa li l-metadata,
jista 'jkun hemm restrizzjonijiet fuq min jista jqassmu, to-- simili
>> I do not know.
Hija tista 'jew ma jista' jkun simili għal is-sitwazzjoni ta 'l-lirika tal-kanzunetti,
per eżempju.
Allura aħna lkoll nafu kif dan borom.
Allura inti għandek bżonn biex tikseb madwar din il-kwistjoni.
>> U mbagħad ieħor biċċa hija li hemm ħafna ta 'data.
Mela jekk jiena xi ħadd li trid taħdem mad-data jew ikollu idea jibred,
jittrattaw 14-il miljun rekords dwar laptop tiegħi
tista 'tkun problematika u diffiċli biex jamministraw.
Allura irridu nnaqqsu l-ostakli għall-persuni
biex ikunu jistgħu jaħdmu mad-data.
>> Allura l-approċċ li nisperaw indirizzi kollha ta 'dawn il-preokkupazzjonijiet huwa ta' żewġ partijiet.
Wieħed huwa bini pjattaforma li jieħu data minn dawn is-sorsi differenti
u taggrava dan, normalizes, jarrikkixxi dan, u jagħmel
disponibbli f'post wieħed.
U dan jagħmilha disponibbli permezz API pubbliku li n-nies jistgħu jċemplu.
>> Allura API hija Applikazzjoni Programmazzjoni Interface.
U bażikament jirreferi għal endpoint li sistema jew teknoloġija
tista 'sejħa u jiksbu data lura fil f'format strutturat b'mod
li tista 'tintuża.
Għalhekk mhuwiex dipendenti għaddejjin għal websajt
u brix data off ta 'dan, per eżempju.
>> Allura dan huwa l-home page ta ' l-Punt API Librerija Cloud,
li huwa essenzjalment verżjoni tnejn tagħha.
Allura huwa t-tieni iterazzjoni ta tipprova tagħmel kollha ta 'din id-data
disponibbli għad-dinja.
Allura huwa http://api.lib.harvard.edu/v2/items.
U biss li din tinqasam ftit, dak li dan ifisser
hija li din hija l-verżjoni tnejn ta 'l-API.
Hemm verżjoni waħda, li Jien ma jmur biex jitkellmu dwar.
Iżda hemm verżjoni waħda.
>> U jekk int ssejjaħ dan API, inti jkollok oġġetti.
U parti mill-idea ta ' API hija API huwa kuntratt.
Hija xi ħaġa li hija mhux se jibdlu.
Hekk per eżempju, -
>> U r-raġuni hija li jekk jien jibnu xi tip ta 'sistema li
huwa ser tuża API sħaba librerija li juri kotba jew jgħinu lin-nies isibu
informazzjoni fil-modi uniku, dak li aħna ma rridux li jiġri
hu għalina li jmorru bidla kif li API jaħdem, u f'daqqa waħda
kollox pawżi fuq in-naħa utent aħħari.
Allura parti tal jekk int tagħmel API disponibbli għad-dinja, huwa
prattika tajba li jitqiegħed numru tal-verżjoni fiha sabiex in-nies
jafu liema verżjoni li qed jittrattaw.
>> Allura jekk aħna jiddeċiedu insibu mod aħjar ta 'kif issir din l-informazzjoni disponibbli,
nistgħu bidla li biex sejħa dik il-verżjoni tlieta.
Allura kulħadd li għadu jużaw Verżjoni tnejn, li għadu inneħħu xogħol.
Iżda verżjoni tlieta kieku għandek l-għalf ġdid.
>> Allura dan huwa API, iżda dan verament qisu URL.
U għalhekk dak li dan huwa Eżempju ta 'huwa x'hemm
imsejħa API mistrieħ, li huwa disponibbli fuq biss konnessjoni web regolari.
U inti tista 'attwalment mur għaliha fil-browser.
>> So here I stajt biss fetaħ Firefox u marret għall api.lib.harvard.edu/v2/items.
U hekk dak I nikseb hawnhekk huwa bażikament l-ewwel paġna
ta 'riżultati mill-kollu sett ta 'oġġetti li aħna ve ltqajna.
U huwa hawn fil-format XML.
U huwa wkoll kien prettified mill Firefox.
Hija ma attwalment ikollhom kollha ta 'dawn ftit espansjoni u l-kuntratti
doohickeys hawn.
Din hija tip ta 'nicer Verżjoni mod biex tħares lejn din.
>> Imma dak li dan huwa tgħidilna huwa Stajt talab il-punti kollha.
Allura hemm 13,289,475 oġġetti.
U jien tħares lejn l-ewwel 10, li jibda fil-pożizzjoni żero
minħabba fix-xjenza tal-kompjuter aħna dejjem tibda fuq żero.
U dak li għandi hawn, jekk I biss kollass dan, tkun taf tara stajt ltqajna 10 oġġetti.
>> U jekk I tagħti ħarsa lejn oġġett, nista tara li stajt ltqajna informazzjoni dwar dan.
U dan huwa dak li sejjaħ forma mods.
U hekk jien ser jaqilbu lura hawn għal mument.
OK.
>> Mela ejja tfittex xi ħaġa fil speċifiku għaliex l-ewwel oġġett li
jiġri li toħroġ meta inti tħares permezz tal-ġbir kollu
huwa, b'definizzjoni, każwali.
Mela ejja nħarsu għal xi donuts.
Oh.
>> OK.
Allura doughnuts.
Allura aħna sabu hemm 80 oġġetti fl il-ġbir li doughnuts referenza.
Aħna qed tħares lejn l-ewwel 10 minnhom.
Issa, inti tista 'tara hawn il-mod li I said I infittex doughnuts,
I biss miżjud xi ħaġa li l-sekwenza mistoqsija tal-URL.
Allura q ugwali doughnuts, li inti tista ' tara ftit aktar faċilment hawn.
>> U dan bażikament ifisser li hemm spec għall-API, liema
jiddefinixxi liema kollha ta ' dawn il-parametri jfisser.
U dan ifisser li aħna qed tmur biex tfittxija kollox għal doughnuts.
>> Allura l-ewwel punt hawnhekk għandna inti tista 'tara t-titolu huwa Donuts,
u hemm sottotitolu msejħa An Passjoni American, li huwa, I raden,
xierqa.
Hemm ħafna ta 'different--
Ladarba ikollok il-punt ta 'jkollna l-informazzjoni,
hemm ħafna ta 'differenti formati li tista 'tikseb fis.
U hemm qawwiet differenti u nuqqasijiet għal kull wieħed minnhom.
Allura dan wieħed, inti tista 'tara hawn, din il-forma hija ħafna sinjuri.
U huwa standardizzat.
>> Allura hemm titolu speċifiku qasam, qasam sottotitolu.
Hemm sostitut titolu, An Passjoni Amerikana.
Hemm huwa l-isem assoċjat magħha.
Tip tar-riżorsa huwa test.
Hemm ħafna ta 'informazzjoni hawn f'dan il-format.
>> Iżda hemm mazz formati ta differenti.
Allura dak li aħna kienu biss tħares lejn huwa format
imsejħa Mods, li stands għall Metadata Object Deskrizzjoni Service,
potenzjalment.
Jien fil-fatt ma pjuttost ċert dwar il- S. Imma hija format pjuttost kumpless.
Hu l-format default.
>> Imma hija l-waħda li żżomm l-rikkezza tad-data kollha
li l-librerija għandha għaliex huwa viċin ħafna għal dak li
il-librerija użi internament.
Huwa standard li huwa użat madwar il-pajjiż,
madwar id-dinja fil-libreriji akkademiċi.
U huwa interoperabbli ħafna.
Mela jekk inti ħadthom ltqajna dokument li huwa fil-format mods,
inti tista 'tagħti li biex xi ħadd ieħor sistemi li l tifhem mods,
u jistgħu jimportah.
Allura huwa standard.
Huwa definit tajjeb ħafna, speċifika ħafna.
U dan huwa dak li jagħmilha interoperabbli għaliex jekk xi ħadd jgħid,
dan huwa t-titlu sostitut ta ' rekord, kulħadd jaf dak li tfisser.
Fuq in-naħa flip, huwa kkumplikata ħafna.
>> Mela jekk inti tagħti ħarsa fi dan ir-rekord hawnhekk,
jekk I biss rridu nġibu l- titolu ta 'dan id-dokument,
ta 'dan il-ktieb, li huwa probabbilment Donuts, An Passjoni Amerikana, parsing out
huwa xi ftit involuti.
Billi hemm ieħor format imsejħa Dublin Core,
li huwa ferm, format ferm aktar sempliċi.
>> U għalhekk inti tara hawn, hemm ebda titolu, sottotitolu, it-titolu supplenti.
Hemm biss it-titolu, Donuts, An Passjoni Amerikana,
u titolu ieħor, Passjoni Amerikana.
Allura meta inti qed tħares lejn liema forma inti tixtieq li tikseb l-informazzjoni minn,
ħafna jiddependi fuq kif int se tużah.
Huma inti tuża għal interoperabbiltà jew għandek
trid xi ħaġa sempliċi li Jista 'jkun aktar faċli li taħdem ma?
>> Fuq in-naħa flip, lott ta 'l- Dettalji nikseb tip ta 'squished isfel.
Inti tista 'titlef l-sfumaturi ta' liema mezz qasam partikolari
jekk int jittrattaw Dublin Core, li inti mhux se tikseb ma mods.
Għalhekk dawn huma tnejn mill-formati inti tista 'tikseb out ta' l-API.
U bażikament, aħna qegħdin iżommu huwa wara l-kwinti fil mods.
Iżda nistgħu nagħtuk fil mods u Dublin Core u kull ħaġa oħra kif ukoll.
Il-konsiderazzjoni oħra meta qed tfittex fil-data
huwa inti tista 'tikseb dan bħala jew JSON, li stands għall JavaScript Notazzjoni Għan,
jew XML, li stands għall Estensibbli Markup Language.
U dawn rappreżentazzjonijiet tad-dejta kemm jkollhom eżattament l-istess data, eżattament
l-istess oqsma.
Iżda dawn qed biss sintattikament differenti.
>> Allura dan huwa a--
Well, ejja biss jaqilbu.
Allura dan huwa query tagħna għall doughnuts fil-format XML.
Jekk I biss jaqilbu dan ikun JSON, I tista 'tara jistenna differenti.
Allura issa dan huwa l-istess kontenut, imma struttura differenti.
Hemm inqas parentesi angolu.
Hemm inqas verbose.
>> U dan huwa format li, jekk inti qed jaħdmu fl-ambjent tal-web,
inti x'aktarx sejrin li jridu jużaw għaliex wieħed
mill-affarijiet sbieħ dwar JSON huwa huwa kompatibbli mal-JavaScript.
Mela jekk jien bil-miktub web app, I jistgħu jiġbdu fil JSON u biss jaħdmu magħha direttament.
Billi bil XML, huwa ftit aktar ikkumplikata.
Għalhekk għal darb'oħra, dawn huma tnejn utli.
Huma biss huma każijiet ta 'użu differenti fejn in-nies tista 'tixtieq li jużawhom.
OK.
Allura lura għall-API.
Allura nistgħu tfittxija for--
>> I jagħtu eżempju ta ' tiftix għal doughnuts.
Nistgħu wkoll tfittex biss b'mod partikolari il-qasam fi ħdan hawn.
Allura minflok ta 'tiftix ir-rekord sħiħa,
I tista 'biss tfittex l-qasam titolu.
U hekk issa hemm 25 affarijiet li ikollhom doughnuts fit-titolu, li wieħed minnhom
huwa dwar restawr artijiet mistagħdra fil-ġestjoni
tal-toqba fl-donut programm, li huwa probabbilment
mhux neċessarjament dak li aħna qed tfittex għal meta aħna qed tiftix għal doughnuts.
>> Tista 'wkoll, meta int jittrattaw ma 'API--
>> Parti ta 'wara API qed tagħti nies ikollhom aċċess għal settijiet ta 'data kbar.
U hemm koppja differenti għodod tista 'tuża biex tagħmel dan.
Wieħed huwa, ħafna sempliċement, inti tista paġna permezz tal-data.
Hekk biss bħal li kieku inti tagħmel query permezz ta 'interface web,
inti tista 'tħares lejn paġna waħda, Paġna tnejn,-paġna tlieta.
Tista 'tagħmel l-istess Ħaġa permezz tal-API.
Inti biss jeħtieġ li tkun espliċitu fil-mod kif inti tagħmel dan.
>> Għalhekk, per eżempju, jekk I infittex fl-ewwel mistoqsija tiegħi hawnhekk,
fejn jien tagħmel tfittxija għal affarijiet bl doughnuts fit-titolu, nista 'ngħid,
u limitu hija daqs 20, li jfisser tagħti me l-ewwel 20-rekords, mhux
l-ewwel 10, li hija l-kontumaċja, għaliex nixtieq li tħares lejn 20 fi żmien.
Jew nista 'ngħid, tistabbilixxi l- tibda ugwali għal 20 u limitu
ugwali għal 20, li se tagħti me rekords 21 permezz 40.
>> So I raden il-ħaġa għal take away hawnhekk hija
li aħna qed tuża l-kordi mistoqsija biex jistabbilixxu parametri li fuq il-mistoqsija.
U ihallik kontroll dak li inti tikseb lura.
>> Għodda oħra li tista 'tuża, -
>> U dan huwa verament utli fil F'termini ta 'esplorazzjoni tal-data.
>> --is xi ħaġa imsejħa faceting.
Allura l-faceting terminu huwa mhux neċessarjament komuni.
Imma inti stajt kollha raw qabel.
Jekk inti tagħti ħarsa lejn Amazon, per eżempju,
u inti tagħmel tfittxija għal doughnuts fil-kotba,
hawnhekk li ħadthom ltqajna serje ta 'kotba, u dawn qed raggruppati skond il-kategorija,
u jkollok l-kategoriji differenti, u kemm kotba f'kull kategorija
juru up.
>> Allura dan huwa bażikament aspett.
Għandek tieħu kotba kollha tagħhom, l-1,800 kotba li jaqblu doughnuts fil-Amazon.
12 minnhom huma fil- kategorija kolazzjon.
21 fil-għaġina u l-ħami, u hekk u ibqa 'sejjer hekk.
>> Allura dan huwa verament utli għodda għall-esplorazzjoni tal-kontenut
fi ħdan il-librerija kif ukoll għaliex meta inti tħares lejn aspett,
li tagħtik idea ta 'dak suġġetti teżisti, bħal liema tipi ta 'suġġetti
huma l-aktar popolari fil-sett tiegħek query.
U li jgħin issuq off u tesplora.
Allura nistgħu nagħmlu l-istess ħaġa.
>> Jekk irridu li jużaw il- API u ħarsa lejn faċċetti,
aħna żid parametru ieħor li ħabib tagħna l-sekwenza mistoqsija.
Allura faċċetti ugwali virgola isseparat lista ta 'dak li rridu aspett fuq.
Allura wieħed mill-aspetti jista 'jkun suġġett.
Oħra tista 'tkun il-lingwa.
U hekk jekk aħna run li query, aħna get--
Huwa jistenna pretty ħafna l-istess hawn.
Iżda aħna ve miżjud fl-aħħar tal-lista ta 'sett ta' aspetti.
Allura aħna għandna aspett imsejjaħ suġġett.
Allura dan huwa tgħidilna li jekk nħares fil-80 riżultati tiegħi mill-query doughnut,
13 minnhom għandhom l- jissoġġettaw Istati Uniti.
Tlieta m'għandhom l-doughnuts suġġetti.
Tliet jkollhom is-suġġett ta 'restawr tal-artijiet mistagħdra,
li tista 'tkun toqba tagħna fil-doughnut.
Tnejn minnhom, il-Simpsons, u hekk u ibqa 'sejjer hekk.
>> Allura dan jista 'jkun utli jekk inti tixtieq li jonqos fl-tfittxija tiegħek.
Dan jista 'jgħinek tagħmel dan.
Speċjalment jekk ikollok aktar minn, ngħidu, 80 riżultati.
>> Bl-istess mod, aħna wkoll mitluba għall faċċetti fuq lingwa.
Allura jekk inħarsu lejn ir-riżultati tagħna, naraw 76 minnhom huma bl-Ingliż, erba Franċiż,
tnejn fil-lingwa Spanjola, tnejn, naħseb li undefined jew mhux magħruf, bl-Olandiż u Latin.
So I think it-Latin riżultat doughnut, għal darb'oħra,
għandha x'taqsam xejn mal-ikel moħmi.
Imma hemm inti tmur.
>> Allura dan huwa tip ta 'turi li inti kif inti tista 'iġbed il-kontenut dahar
mill-API biss permezz web browser, li hija kbira.
Imma din mhix verament dak li inti kieku normalment tkun qed tuża fil-API għal dan.
Allura eżempju wieħed ta 'kif inti jistgħu attwalment jagħmlu dan huwa stajt
miktub programm żgħir super, li, għal darb'oħra, ma tfittxija donut tiegħi
u tagħżel ftit oqsma koppja u turihom f'tabella.
Allura dan huwa ferm l- istess kontenut li aħna biss
serrieq bil oqsma ftit miġbud 'il barra.
Allura lista ta 'titoli, l- lokazzjoni ta 'dak il-ktieb
huwa dwar, il-lingwa, u hekk u ibqa 'sejjer hekk.
>> Allura kif dan fil-fatt ġara, għaliex I raden għandna nħarsu lejn xi kodiċi,
is--
>> Dak li għandna hawnhekk huwa sempliċi HTML Paġna, li juri t-test,
merħba lill sħaba librerija u imbagħad displays tabella ta 'riżultati.
U hemm huma, b'mod ċar ebda riżultati fl il tabella meta l-paġna gets mgħobbija.
Imma dak li aħna qed tagħmel huwa, qabel kollox, aħna
huma tagħbija librerija msejħa jQuery, li hi bażikament
librerija JavaScript, li jagħmilha faċli ħafna biex jimmanipulaw JavaScript
natively, HTML, u toħloq paġni tal-web, loġika client-side u paġni web.
>> Allura dak li għandna hawnhekk huwa jQuery għandha metodu msejjaħ Get,
li essenzjalment se jmorru biex URL, li, f'dan il-każ,
huwa dan il-URL familjari tfittex.
U mbagħad jiksbu l-kontenut mill- li URL u mbagħad għaddi funzjoni fuqha.
Allura aħna qal tmur għall api.lib.harvard / edu.
Tiftix għal doughnuts.
Agħtina 20 records.
U allura run din il-funzjoni, li Stajt magħżula, jgħaddiha-data.
U d-data hija l-JSON li ltqajna lura mill-API.
>> U allura aħna qed tgħid, fi ħdan dak data hemm qasam imsejħa oġġett.
U jekk immur tagħti ħarsa lura lejn wieħed minn dawn ir-riżultati C'est hawn,
hemm xi ħaġa called--
>> Ukoll, huwa msejjaħ il-partita.
Allura li jista 'jkun li.
U dak li ma huwa tmur permezz ta 'kull oġġett
u mbagħad jitlob ieħor funzjoni fuq kull oġġett.
U dik il-funzjoni bażikament qed tieħu l-valur
ta 'l-oġġett, li huwa essenzjalment l-rekord individwali
u jippermetti li iġbed it-titolu, il-kopertura u l-lingwa.
>> Allura aħna sejħa funzjoni fuq kull oġġett li sirna lura mill-API.
U jekk inti biss tagħti ħarsa fil din il-biċċa dritt hawn,
dak li aħna qed tagħmel huwa aħna qed joħolqu string,
li huwa essenzjalment xi markup HTML madwar mejda, bil value.title,
li huwa t-titlu ta 'l- oġġett, value.coverage,
li hija l-kopertura, -
>> U aħna qed tagħmel verifika hawn biex tara li l-undefined
u ħabi jekk din tgħid mhux definiti, għaliex aħna mhux qed verament interessati
f'dak.
>> --and allura l-lingwa.
U allura dak li aħna qed jagħmlu qed jpoġġu li
għall-tabella li hija identifikati minn din is-sekwenza hawn.
U kif jQuery taħdem huwa dak li din qed tgħid
huwa tfittex il-mejda ma idea riżultati u żid dan it-test miegħu.
U dan hija t-tabella ma 'riżultati idea.
Allura dak li inti tispiċċa ma huwa din il-paġna hawn.
U sabiex tara source--
Ukoll, is-sors ma tkunx attwalment Aġġornata meta dak li ġara.
Allura inti tista 'tara l-attwali riżultati tat-tabella hawn għalkemm.
>> Allura dan huwa biss eżempju sempliċi ta ' tagħmel mistoqsija bażika ħafna kontra l-API
u l-wiri ta 'informazzjoni f'xi ieħor forma, u ma tagħmel xejn wisq fancy.
Issa, eżempju ieħor hija bħal applikazzjoni bil-miktub minn David Weinberger
bħala demo ta 'dan, li essenzjalment jurik
kif inti tista 'maxx up-riżultati int jkollna mill-API sħaba librerija
ma ', ngħidu, Google Books.
>> U l-ħsieb hawnhekk huwa li nista run query kontra Google Books,
jiksbu tfittxija test sħiħ, nikseb xi riżultati lura, nsib liema minn dawk l-oġġetti
jeżistu attwalment fl Hollis, is-sistema librerija,
u mbagħad tagħti me links lura għal dawk l-oġġetti.
Mela jekk jien tfittxija għal, kien lejl skur u maltemp, I
tikseb lura mazz ta 'riżultati minn Google, u mbagħad riżultat wieħed
li hija A tikmix fil Time.
U dawn huma links għal kotba li jeżistu fi ħdan is-sistema Harvard Librerija.
>> So I raden il-punt hawnhekk mhix tant li din tista 'jew ma jistgħux
jkun il-mod li tixtieq biex tfittex il-librerija,
iżda huwa kompletament differenti mod li ma kienx disponibbli lilek
qabel, bħal inti ma kellhom ebda mod ta 'kif isir test sħiħ tfittxijiet fuq il-kotba li anke
kienu parti mis-sistema Harvard Librerija.
Allura issa dan huwa mod li inti tista 'tagħmel dan.
U inti tista 'jesponihom x'inhu l-format li trid.
Għalhekk il-punt hawnhekk huwa, bażikament, aħna qed jiftaħ toroq ġodda għall-poplu
biex jaħdmu ma 'l-informazzjoni.
>> Ieħor biċċa ta 'sħaba librerija hija li dan jgħin jesponu xi wħud mill-użu tad-data
li l-librerija għandha.
Mela jekk inti tmur għall-librerija, u qed tfittex għall-kotba,
inti ma neċessarjament attwalment jkollhom idea ta ',
għall-entrati kollha fil- partikolari suġġett, liema
huma nies fil- komunità, kemm jekk huwa
definit bħala Harvard jew l- pajjiż jew klassi tiegħek,
dak għandek sabu l-aktar utli?
U l-librerija attwalment għandha ton ta 'informazzjoni dwar dak li
huwa l-aktar utli għaliex jekk lott nies huma iċċekkjar out ktieb,
li jgħidlek xi ħaġa.
Ma għandha tkun saret xi raġuni jkunu jridu check out.
A lott ta 'nies poġġih fuq riżerva.
>> Jekk huwa fuq il-lista ta 'riżerva għal lott ta 'klassijiet, li jgħidlek xi ħaġa.
Jekk il-membri tal-fakultà huma iċċekkjar dan out a lot u ggradwawx mhumiex,
li tg me xi ħaġa.
Viċi versa, dan ukoll jgħidlek xi ħaġa.
Għalhekk ikun verament interessanti li tqiegħed dik l-informazzjoni hemmhekk u let
nies jużawha biex tgħinhom isibu taħdem fi ħdan is-sistema librerija.
In-naħa flip ta 'dan huwa hemm xi ftit privatezza serji
tħassib għaliex wieħed mill- tenets ewlenin tal-librerija
ma we ma tkunx qed tmur biex jiġu javżak nies liema nies oħra huma qari.
U anki jekk inti qed tgħid dan ktieb ġie ċċekkjati out erba 'darbiet
fix-xahar partikolari, li jistgħu jintużaw
li rabta lura għal partikulari Persuna minn data de-anonimità
u konstatazzjoni min ċċekkjati out.
Allura l-mod li nistgħu avoid--
Il-mod li nistgħu nippruvaw biex jiġi estratt xi sinjal mill-informazzjoni kollha
mingħajr ma jikser l tħassib privatezza xi ħadd
huwa essenzjalment aħna nħarsu lejn 10 snin ta 'data ta' użu, -
>> Allura huwa fuq perjodu twil ta 'żmien.
>> --and jgħidu, OK, ejja naraw kif ħafna drabi dan ix-xogħol kien użat,
u minn min matul dan il-perjodu ta 'żmien, u mbagħad bażikament
jagħtu lura numru, li aħna sejħa punteġġ munzell, li bażikament
tirrappreżenta kemm huwa kien użat.
U li number--
A lott ta 'kalkoli differenti tmur fis dan in-numru.
--but huwa raffa ħafna metrika li jagħtik
xi idea ta 'kif il- komunità tista valur li x-xogħol.
>> U għalhekk tip ieħor ta 'anki aktar kkonkretizzati applikazzjoni
li jieħu vantaġġ ta 'din hija xi ħaġa
imsejħa Stacklife, li huwa attwalment disponibbli permezz tal-Harvard prinċipali
Portal Librerija.
Allura inti tmur għall library.harvard.edu.
Int ser ikollok tara numru ta 'differenti modi ta 'tiftix-librerija.
U wieħed minnhom huwa msejjaħ Stacklife.
>> U dan hija applikazzjoni li browses-kontenut tal-librerija,
iżda huwa kompletament mibnija fuq quċċata ta 'dawn APIs.
Hekk hemm ebda Jittieħed speċjali għaddejjin wara l-kwinti.
M'hemm l-ebda aċċess għall- data li inti ma għandekx.
Huwa bl-użu APIs li jagħtuk bi browsing kompletament differenti
esperjenza.
>> Mela jekk jien tfittxija għal Alice Wonderland f'dan il-każ,
I tikseb riżultat li qisu dan, li huwa pjuttost much--
>> Huwa simili ħafna għal kwalunkwe tfittxija oħra inti tista 'tagħmel, ħlief fil-każ preżenti
aħna qed ranking l-oġġetti mill- stackscore, li tagħtik
xi idea ta 'kif popolari dawn oġġetti kienu fil-komunità.
U hekk b'mod ċar, Alice Wonderland billi Walt Disney huwa ferm popolari.
Iżda int tista 'tara wkoll l-erba' fuq hawn huma dawk li inti tista 'ma actually--
>> Affarijiet li huma ferm użati, imma inti ma tistax immedjatament
qabbad ma Alice Wonderland.
Allura ħabib antik tagħna Il Annotata Alice huwa hawnhekk.
So I tista 'tagħti ħarsa lejn dan.
U issa dak li jien infittxu fi huwa bażikament sett of--
I jista 'jkollhom L annotata Alice dritt hawn.
I jkollhom informazzjoni dwar dan.
U Għandi wkoll stackscore ta ', f'dan il-każ, 26.
U dan jgħidlekx me tip ta 'bejn wieħed u ieħor kif aħna ltqajna biex dan stackscore,
bħal min ċċekkjati it out, simili kif ħafna drabi kien ċċekkjati out,
bħall fakultà jew undergrads, kif kopji ħafna l-librerija għandha,
u hekk u ibqa 'sejjer hekk.
>> U inti tista 'wkoll, interessanti biżżejjed hawn, jibbrawżjaw il-stacks prattikament.
Allura l-informazzjoni hawn, dan qed turi li inti sort
ta 'rappreżentazzjoni virtwali ta 'dak l-jista ixkaffa
look like jekk ġejt biex tieħu azjendi kollha tal-librerija
u jpoġġuhom flimkien fuq il-blata infinita wieħed.
U l-ħaġa sbieħ hija li aħna can--
>> L-ewwelnett, l- metadejta dwar dawn il-kotba
spiss jgħidlek meta ġie ppubblikat.
Hija jgħidlek kemm paġni li jkun.
Jista 'jgħidlek-dimensjonijiet.
Allura tista 'tara li s rifless hawn f'termini tad-daqs tal-kotba.
>> U allura nistgħu nużaw l- munzell punteġġ biex jenfasizzaw
il-kotba li għandhom punteġġi munzell ogħla.
Allura jekk huwa jiskuraw, dan ifisser li, preżumibbilment, huwa użat b'mod aktar spiss.
Allura f'dan il-każ, jien ser raden li din
hija l-verżjoni tal-Alice Wonderland li huwa komunement ħafna użati u l-aktar
aċċessati, il-librerija għandha l-aktar kopji ta '.
Mela jekk inti qed tfittex għall Alice Wonderland,
dan jista 'jkun post tajjeb biex tibda.
>> U allura hawnhekk tista 'wkoll link out li, jgħidu, Amazon biex jixtru l-ktieb,
u hekk u ibqa 'sejjer hekk.
Il-punt hawnhekk, għal darb'oħra, huwa mhux tant li din
huwa l-aħjar mod biex jibbrawżjaw il-librerija jew l-għodda dritt għal kull okkażjoni.
Iżda huwa mod ieħor ta 'kif isir dan.
U billi d-data disponibbli permezz ta 'API, li
huwa magħmul minn blokki tal-bini sempliċi ħafna, li tippermetti li inti tfittex il-kontenut,
inti tista 'tibni xi ħaġa bħal din li tista '
jkunu straordinarjament siewja għal xi nies.
>> Allura dak it-tip ta ', kemm irrid li jgħidu verament dwar dak li l-API hija
u dak li jesponi, hemm ħaġa waħda mazz ta 'għalf wara l-kwinti, li
Jien biss ser imissu fuq qosor sempliċement minħabba li tip ta 'niġu f'dan
minn angolu kompletament differenti fil F'termini ta 'kif ma xi ħaġa bħal din
nikseb ipoġġu fis-seħħ?
>> Allura API huwa standard interface kollha ta 'dan il-kontenut.
Iżda biex tiksbu hemmhekk, il- ewwel ħaġa li għandna kellha tagħmel
kien tiġbed flimkien l-informazzjoni ta 'kotba u stampi
u l-għajnuniet konstatazzjoni, il-ġbir dokument minn diversi sistemi Harvard.
Aleph, VIA, u OASIS huma l-ismijiet tas-sistemi.
U huma essenzjalment jmorru fi pipeline, pipeline ipproċessar.
>> Allura l-ewwel nett, irridu jiksbu l-esportazzjoni fajls mill kollha ta 'dawn is-sistemi.
Aħna maqsuma minnhom up fis-oġġetti individwali.
Allura aħna jkollhom fajl, li huwa gigabyte, li għandu miljun rekords fiha.
Allura aħna qasmitha up fis-oġġetti individwali.
Imbagħad, għal kull oġġett, aħna jissarfu fis mods, minħabba li xi wħud minn dawn
huma mods natively, xi wħud minnhom mhumiex.
Allura aħna tikseb minnhom kollha biex tkun fl-istess format.
Imbagħad hemm diversi passi arrikkiment, fejn
aħna żid aktar informazzjoni għad-data milli kien disponibbli fil-librerija.
Għalhekk għandna bżonn li jżidu, l-ewwel nett għandna dak libreriji iżommha.
Immorru permezz ta 'pass ta' kalkolu tal-stackscore.
Aħna jgħaddu pass ieħor ta ' żżid aktar metadata f'termini
ta 'dak in-nies kollezzjonijiet seta 'żied this--
>> Nies qed joħolqu kollezzjonijiet ta 'oġġetti.
Liema kollezzjonijiet ma jappartjenu għall?
Kif kienu nies tagged dan il-kontenut fil-passat?
Imbagħad inti jiffiltraw, u int jirrestrinġu ir-rekords għaliex, kif semmejt,
hemm xi records li, minħabba raġunijiet awtur, ma nistgħux display.
U allura aħna jitgħabbew fis xi ħaġa imsejħa
Solr, li mhuwiex misspelling, iżda huwa l-isem ta 'biċċa ta' softwer
li ma indiċjar search, li drives kollu it-tfittxija wara l-API.
U allura din issir disponibbli għall- l-API, u nies jistgħu jużawha.
>> Allura dan huwa bħal pjuttost proċess sempliċi.
Wieħed mill-interessanti affarijiet dwar dan huwa
li aħna qed jittrattaw ma 13-il miljun rekords
u aħna ser ikunu jittrattaw jew aktar.
U aħna rridu li jkun kapaċi li jimmaniġġjaw dawn b'mod relattivament malajr.
Huwa jieħu żmien twil biex tipproċessa 13-il miljun rekords.
>> Allura kif dan pipeline huwa imwaqqaf huwa li inti can--
I raden l-vantaġġ ta 'l- pipeline, il-problema li aħna qed
jippruvaw isolvu hawnhekk, huwa li kollha trasformazzjonijiet, kollha
dawn il-passi f'din pipeline huma separabbli.
M'hemm l-ebda dipendenza.
Jekk int ipproċessar rekord ta 'ktieb wieħed,
hemm ebda dipendenza li bejn ktieb ieħor.
>> Allura dak li nistgħu nagħmlu huwa bażikament, f'kull pass fil-pipeline,
aħna poġġih fi kju fil-sħaba.
I ġara li tkun fuq Amazon Web Services.
Hekk hemm lista ta ', jgħidu, 10,000 oġġetti li
jeħtieġ li tkun normalizzati u konvertiti għal format mods.
U aħna spin up kif ħafna servers kif aħna jixtiequ, forsi 10 servers.
U kull wieħed minn dawk servers biss tiltaqa hemm, jistenna f'dak kju,
jara li hemm wieħed li jeħtieġ li jiġu pproċessati, jiġbed off-kju,
proċessi, u bsaten fuq il-kju li jmiss.
>> U iva, liema li jippermetti us tagħmel hu tapplika, essenzjalment,
kemm hardware kif irridu li din problema għal perjodu qasir ħafna ta 'żmien
biex jipproċessaw id-data malajr kemm possibbli, li hija xi ħaġa li biss,
issa fid-dinja tal-kompjuters sħaba Nistgħu provvista servers essenzjalment
istantanju, huwa li utli.
Allura aħna ma jkollhomx biex ikollhom server ġgant seduta madwar
il-ħin kollu biex jagħmlu l-ipproċessar li jista 'jiġri biss darba fil-ġimgħa.
>> Allura li huwa l-aktar dan.
Hemm dokumentazzjoni disponibbli għall-Punt API Librerija Cloud
f'dan URL, li se tkun disponibbli aktar tard.
U jekk jogħġbok mur agħti ħarsa lejn biex tara jekk hemm xi ħaġa,
għandek xi ideat.
Jilagħbu magħha.
Iqarqu madwar.
U nisperaw inti tista 'toħroġ up ma 'xi ħaġa kbira.
Grazzi.