JEFFREY LICHT: Hej der.
Jeg er Jeffrey Licht.
Og jeg er her for at tale med dig om det Harvard Library og bygning morgendagens
bibliotek i dag, tror jeg.
Så baggrunden her, banen for denne session
er i det væsentlige, at der er en masse af bibliografiske data
tilgængelig i Harvard biblioteker.
Og der er en mulighed, gennem nogle af de værktøjer
og et projekt, der er under udvikling, at få adgang til de oplysninger,
og tage det til steder, som den Harvard Library ikke gør lige nu,
gøre nye ting med det, eksperimentere og lege med det.
>> Så indgang til dette er en API kaldet Harvard Library Cloud, som
er en åben metadata server, som jeg vil tale om nu.
Så baggrunden er, at der er en masse ting i Harvard-biblioteket.
Vi har over 13 millioner bibliografiske optegnelser, millioner af billeder,
og tusindvis af finde hjælpemidler, der er væsentlige dokumenter, der beskriver
samlinger, siger hvad er i dem, kasser med papirer
og så videre, der repræsenterer over en million enkelte dokumenter.
Og der er også en masse oplysninger om, at biblioteket har
om, hvordan indholdet anvendes som kunne være af interesse for mennesker
som måske ønsker at arbejde med det.
>> Så alle de oplysninger biblioteket har metadata.
Så metadata er data om data.
Så når vi taler om de oplysninger, der er
tilgængelige via biblioteket sky, der er til rådighed,
det er ikke nødvendigvis den faktiske dokumenter
selv ikke nødvendigvis den fulde Teksten bøger eller de fulde billeder,
selv om det kan faktisk være tilfældet.
Men det er virkelig oplysninger om dataene.
>> Så du kan tænke på katalogisering information, telefonnumre, fag,
hvor mange kopier af bog er der, hvad
er de udgaver, hvad er det formater, forfatterne, og så videre.
Så der er en masse oplysninger om oplysningerne i den samling,,
i sig selv er slags iboende nyttig.
Og selv hvis du er gøre grundig forskning,
du naturligvis ønsker at komme til den faktiske nøjes og se på dataene,
metadata er nyttig med hensyn til både analysere corpus som helhed,
lige hvad tingene er i samlingen.
Hvordan de vedrører?
Det hjælper du virkelig finde andre ting, som er virkelig det vigtigste formål med den.
Pointen i metadata og kataloget
er at hjælpe dig med at finde alle de oplysninger, der er
rådighed inden for de samlinger.
>> Så dette er et eksempel på metadata for en bog i Harvard Library.
Så det er der.
Og du kan se, det er faktisk moderat kompleks.
Og en del af værdien af ​​metadata inden Harvard Library systemet
er, at det har været slags af bygget op af catalogers
og samlet af personer, der ansøger en masse af ekspertise og dygtighed
og tænkte at det over tid, som har en masse værdi.
>> Så hvis du tager et kig på denne rekord for Kommenteret Alice, kan du finde ud af
du har fået titlen, der skrev det, det forfatter, og alle de forskellige fag
som folk har katalogiseret det ind.
Og du kan se er der også, i Foruden en masse god information
her, er der nogle overlapning.
Der er en masse af kompleksitet, der er afspejles gennem metadata
som du har.
>> Så en titlen på denne bog er Alice i Eventyrland.
Så dette er en annoteret version af denne bog.
Men det er også kaldet den kommenterede Alice, Alice Adventures
i Eventyrland, fordi det er noget, som
Martin Gardner skrev og kommenteret bogen.
Og der er en masse store oplysninger om logiske gåder og ting
inden Alice, at du sandsynligvis ikke kender til.
Så du skal gå læse den.
>> Men du kan se, at der er en masse detaljer her,
herunder identifikatorer, når det blev oprettet, hvor den kom fra,
i form af Harvard systemet, og så videre.
Så dette er et eksempel på typen af ​​metadata
at du måske se en bog i Harvard Library kollektionen.
>> Det er noget helt andet.
Så der er et system kaldet VIA Harvard, som dybest set
katalogisering af billeder og kunstgenstande og visuelle ting hele Harvard,
og tilføje nogle metadata til dem, klassificere dem,
og i nogle tilfælde give små miniaturebilleder
at du kan tage en se på, hvis du ønsker det.
>> Så dette er et eksempel på metadata, du har for en plade
fra, formentlig, Alice i Eventyrland.
Og du kan se der er færre metadata her.
Det er bare en anden slags objekt.
Og så der er færre oplysninger.
>> Du har hovedsagelig den omstændighed, at et opkald nummer, hovedsagelig som skabte det, -
>> Vi ved ikke, hvornår den blev oprettet.
>> DET-- en titel.
>> Et andet eksempel.
Det er en konstatering støtte.
Så der er en samling af Lewis Carroll papirer på Harvard.
Så dette beskriver, hvad er i denne samling.
Så nogen har været igennem, og kiggede gennem alle boksene
og katalogiseret det, givet nogle baggrund, skrevet en oversigt over, hvad der er her.
Og hvis du skulle kigge yderligere på dette, dette
går for sider og sider og sider, men vil fortælle dig
hvilke bogstaver og hvad datoer Fra hvad kasser
eksisterede i hele kollektionen.
Men det er noget at hvis du er på Harvard,
du kan gå og rent fysisk se op og, formentlig, tage et kig på.
>> Så dette er alle store.
Denne metadata er nyttige.
Det er i Harvard Library system.
Der er værktøjer online, hvor du kan gå og tage et kig på det,
og se det, og søg den.
Og du kan skære det og terninger det på mange forskellige måder.
>> Men det er virkelig kun tilgængelig, hvis du er et menneske sidder ned
på din webbrowser eller noget eller telefonen og navigere igennem den.
Det er egentlig ikke tilgængelig i enhver form for anvendelig mode
for andre systemer eller andre computere at bruge,
ikke med systemer inden Harvard Library,
men systemer i omverdenen, bare andre mennesker generelt.
Så spørgsmålet er, kan vi, hvordan gøre det tilgængeligt for computere
så vi kan gøre mere interessant ting med det, end blot
browsing det selv?
>> Så hvorfor skulle du ønsker at gøre dette?
Der er en masse muligheder.
Den ene er, at du kan bygge en helt anderledes måde browsing
det indhold, der er til rådighed gennem Harvard biblioteker.
Jeg vil vise dig en senere kaldet Stacklife,
som har en helt anden tage på udkig efter indhold.
>> Du kan bygge en anbefaling motor.
Så Harvard Library er ikke i virksomhed for at sige, du kan lide denne bog.
Så gå tage et kig på disse 17 andre bøger, som du kan være interesseret i
eller disse 18 andre billeder.
Men det helt sikkert kunne være en værdifuld funktion.
Og i betragtning af metadata, kan den være muligt at sætte det sammen.
Du kan have forskellige behov i Betingelser for at søge på indhold,
som måske på trods af de værktøjer, som findes at biblioteket gør
tilgængelige, kan du at søge på en anden måde
eller optimere til en bestemt anvendelse sag, som måske er det meget specialiseret.
Måske er der kun nogle få mennesker i verden, der
ønsker at søge på indhold på denne måde, men det
ville være dejligt, hvis vi kunne lade dem gøre det.
Der er en masse analytics på bare hvordan folk
bruge indholdet, der ville være virkelig interessant at vide om, finde ud af
Hvilke bøger bliver brugt, hvad er ikke, og så videre.
Og så er der en masse mulighed for at integrere
med andre oplysninger der er derude på nettet.
Så vi have--
>> For eksempel NPR har en boganmeldelse segment,
hvor de interviewer forfattere om bøger.
Og så det ville være dejligt, hvis du var kigge op en bog i Harvard
Bibliotek, og du siger, OK, er der været et interview med forfatteren.
Lad os gå tage et kig på det.
Eller der er en Wikipedia side, som en autoritativ, videnskabelig henvisning
om denne bog, som du måske ønsker at tage et kig på.
>> Der er disse typer af kilder spredt over hele nettet.
Og at samle dem kunne være en stor brug
til en person ser på indhold, på udkig efter noget.
Men det er heller ikke den slags ting du ville
ønsker biblioteket at være ansvarlig for at gå ned og jagt ned
alle disse forskellige kilder og sætte dem sammen
fordi de ændrer sig konstant.
Og hvad de synes er vigtigt maj ikke være, hvad du synes er vigtigt.
>> Og endnu mere, dybest set er der en masse ting, vi ikke har tænkt på endnu.
Så hvis vi kan åbne denne op, mere mennesker foruden et halvt dusin eller så,
der kigger på dette på en regelmæssigt kan tænke på ideer
og massere af data, og gøre hvad de vil med det.
>> Så vi ønsker at gøre dette data til rådighed for verden.
Nå, der er et par komplikationer.
Den ene er, at denne metadata er i forskellige systemer.
Det er i forskellige formater.
Så der er en vis normalisering der skal ske,
som normalisering er processen bringer ting fra forskellige formater
og kortlægge dem til et enkelt format således at felterne vil matche op.
>> Der er nogle begrænsninger ophavsret.
Mærkeligt nok, kataloget post om en bog er ansvarlig for ophavsret.
Så selvom det er bare information udledt fra bogen,
det er copyrightable.
Og afhængigt af, hvem der rent faktisk skabt, metadata,
Der kan være restriktioner for hvem kan distribuere den tilsvarende at--
>> Jeg ved det ikke.
Det kan eller kan ikke være lig situationen for de sangtekster,
f.eks.
Så vi ved alle, hvordan det pander ud.
Så du har brug for at komme omkring dette problem.
>> Og så et andet stykke er at der er en masse data.
Så hvis jeg er en person, der ønsker at arbejde til oplysningerne eller har en cool idé,
beskæftiger sig med 14 millioner optegnelser om min laptop
kunne være problematisk og vanskelige at håndtere.
Så vi ønsker at reducere barriererne for folk
at være i stand til at arbejde med dataene.
>> Så den tilgang, forhåbentlig adresser alle disse bekymringer er to dele.
Man er ved at opbygge en platform, der tager data fra alle disse forskellige kilder
og forværrer det, normaliserer, beriger det, og gør
det fås i et enkelt sted.
Og det gør det tilgængeligt via en offentlig API, som folk kan ringe til.
>> Så en API er et program Programming Interface.
Og det dybest set refererer til en endepunkt, at et system eller teknologi
kan ringe og få data tilbage i et struktureret format på en måde
at det kan anvendes.
Så det er ikke afhængige om at gå til et websted
og skrabe data ud af den, f.eks.
>> Så dette er hjemmesiden for Biblioteket Cloud Item API,
som i det væsentlige dens version to.
Så det er den anden iteration af forsøger at gøre alle disse data
til rådighed for verden.
Så det er http://api.lib.harvard.edu/v2/items.
Og bare for at opdele det en lille smule, hvad det betyder
er, at dette er version to af API.
Der er en version én, som Jeg har ikke tænkt mig at tale om.
Men der er en version én.
>> Og hvis du ringer dette API, får du poster.
Og en del af idéen om en API er en API er en kontrakt.
Det er noget, der er ikke kommer til at ændre sig.
Så for eksempel -
>> Og grunden er, at hvis jeg opbygge en slags system,
skal bruge et bibliotek sky API at vise bøger eller hjælpe folk med at finde
information i unikke måder, det, vi ikke ønsker at ske
er for os at gå ændre, hvordan at API fungerer, og pludselig
alt bryder på slutbrugerens side.
Så en del af, hvis du laver API til rådighed for verden, er det
god praksis at sætte en versionsnummer i det så folk
vide, hvilken version de har at gøre med.
>> Så hvis vi beslutter vi finder en bedre måde at gøre disse oplysninger,
vi måske ændre det til kalder denne version tre.
Så alle, der er stadig bruger udgave to, vil det stadig arbejde.
Men versionen tre ville have alle de nye ting.
>> Så det er et API, men dette virkelig ligner en URL.
Og så, hvad det er en eksempel på er, hvad der er
kaldes en API resten, som er til rådighed i løbet af blot en almindelig web-forbindelse.
Og du kan faktisk gå til den i en browser.
>> Så her jeg har lige åbnet Firefox og gået til api.lib.harvard.edu/v2/items.
Og så hvad jeg får her er dybest set den første side
af resultater fra hele sæt af elementer, som vi har.
Og det er her i XML-format.
Og det har også været prettified af Firefox.
Det behøver faktisk ikke have alle disse lille ekspanderende og kontraherende
doohickeys her.
Det er sortering af en pænere udgave måde at se på det.
>> Men hvad dette fortæller os er Jeg har anmodet alle elementerne.
Så der er 13.289.475 poster.
Og jeg ser på det første 10, begyndende ved position nul
fordi i datalogi Vi starter altid ved nul.
Og hvad jeg har her, hvis jeg bare bryde sammen dette, vil du se, at jeg har fået 10 poster.
>> Og hvis jeg tager et kig på et emne, kan jeg se, at jeg har fået oplysninger om det.
Og det er i, hvad der kaldes MODS form.
Og så jeg har tænkt mig at skifte tilbage her for et øjeblik.
OK.
>> Så lad os søge efter noget i specifik, fordi det første element,
sker for at komme op, når du ser gennem hele samlingen
er per definition tilfældigt.
Så lad os kigge efter nogle donuts.
Oh.
>> OK.
Så donuts.
Så vi fandt der er 80 poster i samlingen, der refererer donuts.
Vi ser på de første 10 af dem.
Nu kan du se her den måde, at Jeg sagde jeg leder efter donuts,
Jeg har lige tilføjet noget til søgestrengen af ​​URL'en.
Så q lig donuts, som du kan se lidt lettere her.
>> Og det dybest set betyder, at der er en spec for API, som
definerer, hvad alle disse parametre betyder.
Og det betyder, at vi kommer til at søge alt til donuts.
>> Så det første punkt her har vi du kan se titlen er Donuts,
og der er en undertekst kaldet An American Passion, som er, tror jeg,
hensigtsmæssigt.
Der er en masse different--
Når du kommer til det punkt for at få de data,
Der er en masse forskellige formater, som du kan få det ind.
Og der er forskellige styrker og svagheder for dem alle.
Så denne ene, kan du se her er denne form er meget rig.
Og det er standardiseret.
>> Så der er et særligt afsnit område, en undertitel felt.
Der er en alternativ titel, An American Passion.
Der er navnet forbundet med det.
Type af ressourcen er tekst.
Der er en masse information her i dette format.
>> Men der er en flok forskellige formater.
Så det, vi var blot ser på et format
kaldet MODS, som står for Metadataobjekt Beskrivelse Tjeneste,
potentielt.
Jeg er faktisk ikke helt sikker på om den S. Men det er en temmelig kompliceret format.
Det er standardformatet.
>> Men det er den, der holder den rigdom af alle de data
at biblioteket har, fordi det er meget tæt på, hvad
Biblioteket anvender internt.
Det er en standard, der er bruges i hele landet,
hele verden i akademiske biblioteker.
Og det er meget interoperable.
Så hvis du har fået et dokument der er i MODS format,
du kan give det til en anden hvis systemer forstår MODS,
og de kan importere den.
Så det er en standard.
Det er meget godt defineret, meget specifikke.
Og det er det, der gør det interoperable fordi hvis nogen siger,
dette er den alternative titlen på en rekord, alle ved, hvad det betyder.
I flip side, det er meget kompliceret.
>> Så hvis du tager et kig på denne post her,
hvis jeg ønsker bare at få den titel af dette dokument,
af denne bog, som er sandsynligvis Donuts, En amerikansk Passion, parsing det ud
er lidt involveret.
Betragtninger der er en anden format kaldet Dublin Core,
som er et meget, meget enklere format.
>> Og så du ser her, er der ingen titel, undertitel, alternativ titel.
Der er bare titlen, Donuts, An American Passion,
og en anden titel, amerikansk Passion.
Så når du kigger på hvilken form du ønsker at få data ud af,
meget afhænger af, hvor du kommer til at bruge det.
Bruger du for interoperabilitet eller har du
ønsker noget simpelt, at kan være lettere at arbejde med?
>> På bagsiden, en masse af de detaljer får slags squished ned.
Du kan miste nuancerne i hvad et bestemt felt middel
hvis du har at gøre med Dublin Core, som du ikke ville få med MODS.
Så dem er to af de formater du kan få ud af API.
Og dybest set, holder vi det bag kulisserne i MODS.
Men vi kan give dig det i MODS og Dublin Core og alt andet også.
Den anden overvejelse, når du søger i data
er du kan få det som enten JSON, som står for JavaScript Object Notation,
eller XML, som står for Extensible Markup Language.
Og disse data repræsentationer både har præcis de samme data, præcis
på samme område.
Men de er bare syntaktisk anderledes.
>> Så dette er en--
Nå, lad os bare skifte.
Så det er vores forespørgsel til donuts i XML-format.
Hvis jeg bare skifte dette er JSON, Jeg kan se det ser anderledes ud.
Så nu er det det samme indhold, men en anden struktur.
Der er færre vinkelbeslag.
Der er mindre detaljeret.
>> Og det er et format, hvis du arbejder i web miljø,
du er mest sandsynligt vil at ville bruge, fordi en
af de gode ting om JSON er det er kompatibelt med JavaScript.
Så hvis jeg skriver web-app, kan jeg trække i JSON og bare arbejde med det direkte.
Betragtninger med XML, er det en lidt mere kompliceret.
Så igen, det er både nyttigt.
De bare er forskellige use cases hvor folk måske ønsker at bruge dem.
OK.
Så tilbage til API.
Så vi kan søge for--
>> Jeg giver et eksempel på søge efter donuts.
Vi kan også søge bare i en bestemt felt indenfor her.
Så i stedet for at søge hele posten,
Jeg kan bare søge titelfeltet.
Og så nu er der 25 ting, har donuts i titlen, hvoraf den ene
handler om at genoprette vådområder i ledelse
af hullet i donut program, hvilket sandsynligvis
ikke nødvendigvis det, vi leder efter for når vi søger efter donuts.
>> Du kan også, når du er beskæftiger sig med en API--
>> Del af at have en API giver mennesker adgang til store datasæt.
Og der er et par forskellige værktøjer, du kan bruge til at gøre det.
Den ene er, ganske enkelt, du kan bladre gennem data.
Så lige som hvis du gør en forespørgsel via en web-grænseflade,
du kan se på side et, side to, side tre.
Du kan gøre det samme ting gennem API.
Du skal blot være eksplicit i hvordan du gør det.
>> Altså for eksempel, hvis jeg søger på min første forespørgsel her,
hvor jeg gør en søgning efter ting med donuts i titlen, kan jeg sige,
og grænsen er lig med 20, hvilket betyder, give mig de første 20 poster, ikke
de første 10, som er standard, fordi jeg ønsker at se på 20 ad gangen.
Eller jeg kan sige, indstille starte lig med 20 og grænsen
svarer til 20, hvilket vil give mig registrerer 21 gennem 40.
>> Så jeg gætte ting at tage væk her er
at vi bruger de søgestrenge at indstille parametre på forespørgslen.
Og det kan du kontrol hvad du får tilbage.
>> Et andet værktøj, du kan bruge, -
>> Og det er virkelig nyttige i Betingelser for at udforske data.
>> --is noget, der hedder facettering.
Så termen facettering er ikke nødvendigvis fælles.
Men du har alle set det før.
Hvis du tager et kig på Amazon, for eksempel,
og du gør en søgning efter donuts i bøgerne,
her har de fået en serie af bøger, og de er grupperet efter kategori,
og du får de forskellige kategorier, og hvor mange bøger i hver kategori
dukke op.
>> Så dette er dybest set en facet.
Du tager alle deres bøger, de 1.800 bøger, der matcher donuts på Amazon.
12 af dem er i Morgenmad kategori.
21 i wienerbrød og bagning, og så videre og så videre.
>> Så dette er virkelig en nyttig redskab til at udforske indholdet
i bibliotek samt fordi når man ser på en facet,
det giver dig en idé om, hvilke fag eksisterer, lige hvad slags emner
er mest populære i din forespørgsel sæt.
Og det hjælper du kører ud og udforske.
Så vi kan gøre det samme.
>> Hvis vi ønsker at bruge API og se på facetter,
vi tilføjer en anden parameter til vores ven søgestrengen.
Så facetter svarer til en kommasepareret liste over, hvad vi ønsker at facet på.
Så en af ​​de facetter kan være genstand.
En anden kunne være sprog.
Og så hvis vi kører den forespørgsel, vi get--
Det ser stort set den samme her.
Men vi har tilføjet til slutningen af listen et sæt af facetter.
Så vi har en facet kaldet emne.
Så dette er at fortælle os, at hvis jeg ser på mine 80 resultater fra doughnut forespørgslen,
13 af dem har underlægge USA.
Tre har omfattet donuts.
Tre har emnet af vådområder restaurering,
som kan være vores hul i doughnut.
To af dem, The Simpsons, og så videre og så videre.
>> Så det kan være nyttigt, hvis du ønsker at indsnævre din søgning.
Det kan hjælpe dig gøre det.
Især hvis du har mere end, siger, 80 resultater.
>> Ligeledes har vi også spurgt for facetter på sproget.
Så hvis vi ser på vores resultater, ser vi 76 af dem er på engelsk, fire på fransk,
to i spansk, to, tror jeg, det er undefined eller ukendt, hollandsk og latin.
Så jeg tror, ​​det latinske donut resultat igen,
har intet at gøre med bagværk.
Men der du går.
>> Så dette er slags viser dig hvordan du kan trække indholdet tilbage
fra API blot gennem webbrowser, som er stort.
Men det er ikke rigtig, hvad du ville normalt være brug i API for det.
Så et eksempel på, hvordan man kunne faktisk gøre dette er, jeg har
skrevet en super lille program, som igen gør min donut søgning
og vælger et par felter og viser dem i en tabel.
Så dette er meget det samme indhold, som vi bare
sav med et par felter trukket ud.
Så listen over titler, de Placeringen af, hvad bogen
handler om, sproget, og så videre og så videre.
>> Så hvordan det faktisk skete, da Jeg tror vi er nødt til at se på nogle kode,
is--
>> Hvad vi har her er en simpel HTML side, som viser teksten,
velkommen til biblioteket sky og viser derefter en oversigt af resultaterne.
Og der er naturligvis ingen resultater i bordet, når siden indlæses.
Men hvad vi laver er først og fremmest, vi
lægger et bibliotek kaldet jQuery, der egentlig
et JavaScript bibliotek, som gør det meget let at manipulere JavaScript
indbygget, HTML og oprette websider, client-side logik og websider.
>> Så det, vi har her, er jQuery har en metode kaldet Get,
som i det væsentlige vil gå til en URL, som i dette tilfælde,
er dette velkendte leder webadresse.
Og vil så få indholdet fra at URL og derefter køre en funktion på den.
Så vi sagde gå til api.lib.harvard / edu.
Søg efter donuts.
Giv os 20 poster.
Og derefter køre denne funktion, som Jeg har valgt, passerer det dataene.
Og data er den JSON som fik tilbage fra API.
>> Og så er vi sige, inden for denne data der er et felt kaldet element.
Og hvis jeg gå tage et kig tilbage på en af ​​disse resultater, at der er her,
der er noget called--
>> Tja, det hedder element.
Så det kan være det.
Og hvad det gør, er det går gennem hvert element
og opfordrer derefter en anden funktionen på hvert punkt.
Og denne funktion dybest set tager værdien
af elementet, som er væsentlige de enkelte record
og giver os mulighed for at trække sig ud af titlen, dækningen og sproget.
>> Så vi kalder en funktion på hver element, vi fik tilbage fra API.
Og hvis du bare tage et kig på dette stykke lige her,
hvad vi laver, er Vi skaber en snor,
som i det væsentlige nogle HTML markup omkring et bord, med value.title,
som er titlen på objekt, value.coverage,
som er dækning -
>> Og vi laver en check her for at se, hvem der er udefineret
og skjule det, hvis det siger udefineret, fordi vi er ikke rigtig interesseret
i det.
>> DET-- derefter sproget.
Og hvad så vi er gør, er at tilføje, at
til bordet, der er identificeret ved denne streng her.
Og hvordan jQuery fungerer er, hvad denne siger
er se efter tabellen med idéen resultater og tilføje denne tekst til det.
Og dette er bordet med idé resultater.
Så hvad du ender med er denne side her.
Og for at se source--
Nå, kilden er faktisk ikke opdateres, når det skete.
Så du kan se de faktiske Resultaterne af tabellen her selv.
>> Så det er bare et simpelt eksempel på gør en meget grundlæggende forespørgsel mod API
og visning af information i en anden dannes, og ikke gør noget også dekorativ.
Nu, et andet eksempel er som en ansøgning skrevet af David Weinberger
som en demo af dette, som væsentlige viser dig
hvordan du kan mash op de resultater, du komme fra biblioteket sky API
med, siger, Google Bøger.
>> Og tankegangen er, at jeg kan kører en forespørgsel mod Google Bøger,
få en fuldtekstsøgning, få nogle resultater tilbage, finde ud af, hvilke af disse elementer
faktisk eksisterer i Hollis, bibliotekssystemet,
og derefter give mig links tilbage til disse poster.
Så hvis jeg søger efter, det var en mørk og stormfuld nat, jeg
komme tilbage en masse resultater fra Google, og derefter ét resultat
som er en rynke i tide.
Og disse er links til bøger, der findes inden Harvard Library system.
>> Så jeg gætte det punkt her er ikke så meget, at dette kan eller ikke
være den måde, du vil at søge i biblioteket,
men det er en helt anden måde, der ikke var til rådighed for dig
før, ligesom du havde ingen måde at gøre fuldtekst søger på bøger, der selv
var en del af Harvard Library system.
Så nu er det en måde at du kan gøre det.
Og du kan få dem vist i uanset format, du ønsker.
Så pointen her er, dybest set, vi åbner nye veje for mennesker
at arbejde med dataene.
>> Et andet stykke af biblioteket cloud er, at det hjælper afsløre nogle af dataforbrug
at biblioteket har.
Så hvis du gå på biblioteket, og du leder efter bøger,
Du behøver ikke nødvendigvis faktisk har en idé om,
for alle elementer i en bestemt emne, hvad
er folk i samfund, uanset om det er
defineret som Harvard eller land eller din klasse,
hvad har de fundet mest nyttige?
Og biblioteket har faktisk en ton af oplysninger om, hvad
er mest nyttigt, fordi hvis en masse af folk tjekker en bog,
der fortæller dig noget.
Der må have været en eller anden grund de ønsker at tjekke det ud.
En masse mennesker sætte det på reserven.
>> Hvis det er på reservelisten for en masse af klasser, der fortæller dig noget.
Hvis videnskabelige medarbejdere kontrollerer det ud en masse og bachelorer er ikke,
der fortæller mig noget.
Vice versa, der også fortæller dig noget.
Så det ville være virkelig interessant at sætte disse oplysninger derude og lad
folk bruger det til at hjælpe dem med at finde arbejder inden for bibliotekssystemet.
Bagsiden af ​​dette er der er nogle alvorlige personlige oplysninger
bekymringer, fordi en af centrale principper i biblioteket
er vi ikke kommer til at fortælle folk, hvad andre mennesker læser.
Og selvom du siger det bog blev tjekket ud fire gange
i en bestemt måned, der kan anvendes
at linke tilbage til en bestemt person ved de-anonymiserings- data
og finde ud af, hvem tjekket det ud.
Så den måde, vi kan avoid--
Den måde, at vi kan forsøge at udtrække nogle signal fra alle de oplysninger
uden at krænke nogens privatlivets fred
er i det væsentlige vi ser på 10 års brugsdata, -
>> Så det er over en lang periode.
>> DET-- sige, OK, lad os se, hvordan mange gange dette arbejde blev anvendt,
og af hvem i dette tidsrum af tid, og derefter dybest set
give tilbage et nummer, som vi kalder en stak score, som dybest set
angiver, hvor meget det er blevet brugt.
Og det number--
En masse forskellige beregninger gå i dette nummer.
--but det er en meget grov metrisk, der giver dig
en idé om, hvordan den samfund kan værdsætte dette arbejde.
>> Og så en anden slags selv mere konkretiseret ansøgning
der drager fordel dette er noget
kaldet Stacklife, som faktisk er tilgængelig gennem den vigtigste Harvard
Bibliotek portal.
Så du går til library.harvard.edu.
Du vil se en række forskellige måder at søge i biblioteket.
Og en af ​​dem kaldes Stacklife.
>> Og det er et program, gennemser indholdet af biblioteket,
men er helt bygget oven på disse API.
Så der er ingen særlige ting foregår bag kulisserne.
Der er ingen adgang til data, som du ikke har.
Det er ved hjælp af API'er til at give dig med en helt anden browsing
oplevelse.
>> Så hvis jeg søger efter Alice i Eventyrland i denne sag,
Jeg får et resultat, der ligner dette, som er temmelig much--
>> Det er meget lig en anden søgning du kan gøre, undtagen i dette tilfælde
vi rangordne de elementer ved stackscore, som giver dig
en idé om, hvor populære disse elementer var i samfundet.
Og så klart, Alice i Eventyrland af Walt Disney er meget populære.
Men du kan også se top fire Her er dem, du måske ikke actually--
>> Ting, der er meget anvendt, men du kan ikke umiddelbart
forbinde med Alice i Eventyrland.
Så vores gamle ven Kommenterede Alice er her.
Så jeg kan tage et kig på det.
Og nu hvad jeg søger på, er dybest set en indstillet of--
Jeg kan have den kommenterede Alice lige her.
Jeg har oplysninger om det.
Og jeg har også en stackscore af, i dette tilfælde 26.
Og det fortæller mig slags groft hvordan vi kom til denne stackscore,
ligesom der indskrev den ud, ligesom hvordan mange gange det blev tjekket ud,
ligesom fakultet eller undergrads, hvordan mange kopier har biblioteket,
og så videre og så videre.
>> Og du kan også, interessant nok her, gennemse stakkene virtuelt.
Så de data, her, det viser dig sortere
af en virtuel repræsentation hvad hylden might
se ud, hvis du skulle tage alle bibliotekets beholdning
og sætte dem sammen på en uendelig hylde.
Og det gode er, at vi can--
>> Først og fremmest metadata om disse bøger
ofte fortæller dig, når den blev offentliggjort.
Det fortæller dig, hvor mange sider den har.
Det kan fortælle dig dimensionerne.
Så du kan se, der er afspejlet her i form af størrelsen af ​​bøgerne.
>> Og så kan vi bruge stable score for at fremhæve
bøgerne, der har højere stak scoringer.
Så hvis det er mørkere, betyder det, at formentlig er det anvendes oftere.
Så i dette tilfælde, er jeg vil gætte på, at dette
er den version af Alice i Eventyrland der er meget almindeligt anvendte og mest
adgang, biblioteket har flest kopier af.
Så hvis du søger til Alice i Eventyrland,
dette kan være et godt sted at starte.
>> Og så her kan du også linke ud til, siger, at Amazon købe bogen,
og så videre og så videre.
Pointen her, igen, er ikke så meget, at denne
er den bedste måde at gennemse biblioteket eller det rigtige værktøj til enhver lejlighed.
Men det er en anden måde at gøre det.
Og ved at gøre data tilgængelige via et API, som
er lavet af meget simple byggeblokke, som giver dig mulighed for at søge i indholdet,
du kan bygge noget som denne, der kan
være overordentligt værdifuld for nogle mennesker.
>> Så det er lidt, så meget som jeg ønsker at sige virkelig om, hvad API er
og hvad det udsætter, er der en hel masse ting bag kulisserne, som
Jeg skal bare komme ind på kort bare fordi det slags kommer på denne
fra en helt anden vinkel i forhold til, hvordan gør noget som dette
få sat på plads?
>> Så en API er en standard interface til alt dette indhold.
Men for at få det der, første, vi havde at gøre
blev samle information af bøger og billeder
og konstateringen hjælpemidler, indsamling dokument fra forskellige Harvard-systemer.
Aleph, VIA, og OASIS er navnene på de systemer.
Og de væsentlige går ind i en rørledning, en behandling rørledning.
>> Så først og fremmest får vi eksport filer fra alle disse systemer.
Vi delt dem op i individuelle elementer.
Så vi har en fil, som er en gigabyte, som har en million poster i det.
Så vi delt det op i individuelle elementer.
Så for hver enkelt post, konverterer vi det i MODS, fordi nogle af disse
er indbygget MODS, nogle af dem er ikke.
Så vi får dem alle til være i samme format.
Så er der forskellige berigelse trin, hvor
vi tilføje flere oplysninger til data end var tilgængelige i biblioteket.
Så vi nødt til at tilføje, først og fremmest vi har hvad biblioteker holde den.
Vi går gennem et trin til beregning af stackscore.
Vi går igennem endnu et skridt på tilføje flere metadata i form
af, hvad kollektioner mennesker kunne have tilføjet denne--
>> Folk er ved at skabe samlinger af genstande.
Hvilke samlinger betyder det tilhører?
Hvordan har folk tagget dette indhold i fortiden?
Så du filtrere, og du begrænse posterne fordi, som jeg nævnte,
Der er nogle poster, som på grund af ophavsretlige årsager, kan vi ikke vise.
Og så skal vi indlæse dem i noget, der hedder
Solr, som ikke er en stavefejl, men er navnet på et stykke software
der gør søgning indeksering, som driver al søgningen bag API.
Og så bliver det til rådighed for API, og folk kan bruge det.
>> Så dette er ligesom en temmelig ligetil proces.
En af de interessante ting om det er
at vi har at gøre med 13 millioner plader
og vi kommer til at beskæftige eller mere.
Og vi ønsker at være i stand til at håndtere disse i en relativt hurtig måde.
Det tager lang tid at behandle 13 millioner plader.
>> Så hvordan denne rørledning er oprettet er, at du can--
Jeg gætter godt af rørledning, det problem, at vi er
forsøger at løse her, er, at alle de transformationer, alle
disse trin i denne rørledning kan adskilles.
Der er ingen afhængighed.
Hvis du behandler et referat af en bog,
der er ingen afhængighed i at mellem en anden bog.
>> Så det, vi kan gøre, er dybest set, på hvert trin på vej,
vi sætte det ind i en kø i skyen.
Jeg tilfældigvis på Amazon Web Services.
Så der er en liste over, sige, 10.000 genstande,
nødt til at være normaliseret, og konverteret til MODS format.
Og vi spinde så mange servere som vi ønsker, måske 10 servere.
Og hver af disse servere lige sidder der, ser i den kø,
ser, at der er én, der har brug for at forarbejdes, trækker det køen,
behandler det, og pinde det på den næste kø.
>> Og hvad så, der giver os at gøre, er anvendelse i det væsentlige,
så meget hardware som vi ønsker at dette problem for en meget kort periode
at behandle oplysningerne så hurtigt som muligt, hvilket er noget, som kun
nu i en verden af ​​cloud computing Vi kan bestemmelse servere væsentlige
går, at nyttigt.
Så vi behøver ikke at have en kæmpe server sidder omkring
hele tiden at gøre behandlingen der kan ske bare en gang om ugen.
>> Så det er for det meste.
Der er dokumentation til biblioteket Cloud Item API
på denne webadresse, som vil foreligge senere.
Og venligst gå tage et kig på den for at se om der er noget,
du har nogen ideer.
Spil med det.
Fjolle rundt.
Og forhåbentlig kan komme op med noget stort.
Tak.