JEFFREY LICHT: Ahoj.
Jsem Jeffrey Licht.
A já jsem tu s tebou mluvit o Harvard Library a budování zítřejší
dnes knihovna, myslím.
Takže pozadí tady, hřiště pro tuto relaci
je v podstatě, že je hodně bibliografických údajů
k dispozici v knihovnách Harvard.
A je tu příležitost, přes některé z nástrojů
a projekt, který je vyvíjen, získat přístup k informacím
a vzít ho do míst, která Harvard knihovna není právě teď dělá,
dělat nové věci s tím, experiment a hrát si s ním.
>> Takže vstupní bod do toho je API volal Harvard Library Cloud, který
je otevřený server, metadata, který budu mluvit teď.
Takže pozadí je, že je Spousta věcí v knihovně Harvard.
Máme více než 13 milionů bibliografických evidence, miliony obrázků,
a tisíce archivních pomůcek, které jsou v podstatě dokumenty popisující
sbírky, říkat, co je v nich, krabice papírů
a tak dále, které reprezentují více než milion jednotlivé dokumenty.
A je tu také hodně informace, které má knihovna
o tom, jak se používá, aby obsah by mohlo být zajímavé pro lidi
kdo by mohl chtít, aby s ním pracovat.
>> Takže všechny informace Knihovna má metadata.
Takže metadata jsou data o datech.
Takže když mluvíme o informace, které je
k dispozici přes knihovnu mrak, který je k dispozici,
to není nezbytně skutečné dokumenty
samy o sobě, nemusí být úplný Text knihy nebo plné obrazů,
i když ve skutečnosti, že může být v případě.
Ale je to opravdu informace o datech.
>> Takže si můžete myslet katalogizace informace, telefonní čísla, předměty,
kolik kopií kniha tam jsou, co
jsou vydání, jaké jsou formáty, autoři, a tak dále.
Takže tam je spousta informací o Informace v kolekci, která,
samo o sobě, je ve své podstatě druh užitečné.
A i když pokud jste dělá in-podrobný výzkum,
budete zřejmě chtít dostat do skutečné spokojit a podívat se na údaje,
metadat je užitečné, pokud jde o obě analýzy korpusu jako celek,
jako to, co věci jsou v kolekci.
Jak se týkají?
To vám pomůže opravdu najít jiné věci, což je opravdu hlavním účelem toho.
Bod metadata a katalog
je pomoci vám najít všechny informace, které je
k dispozici v rámci sbírek.
>> Tak tohle je příklad metadat pro knihu v knihovně Harvard.
Takže je to tam.
A můžete vidět, že je to ve skutečnosti mírně komplex.
A část hodnoty metadat v rámci systému Harvard knihovny
se, že to bylo nějak zastavěné by katalogizátory
a sestavila osob žádajících spousta odborných znalostí a dovedností
a myšlenka ní v průběhu času, který má spoustu hodnoty.
>> Takže pokud jste se podívat na tento záznam pro Anotoval Alice, můžete zjistit,
máte titul, který to napsal, autor, a všechny různé předměty
které lidé do katalogu do.
A můžete vidět, že je také v přídavek na hodně dobrých informací
tady, tam je nějaký opakování.
Je tu spousta složitosti, že je to projevuje prostřednictvím metadat
že máte.
>> Takže jeden titul z této knihy je Alenka v říši divů.
Tak tohle je poznámkami verze této knihy.
Ale je to také volal komentovaný Alice, Alenka
v říši divů, protože to je něco, co se
Martin Gardner napsal a komentovaný knihu.
A je tu spousta skvělé informace o logických hádanek a věci
v Alici, že vás asi nevěděl o.
Takže byste měli jít přečíst.
>> Ale můžete vidět, že je to spousta detailů zde,
včetně identifikátorů, když ji byl vytvořen, odkud pochází,
pokud jde o Harvard systém, a tak dále.
Tak to je ukázka typ metadat
které jste mohli vidět na knihu v kolekce Harvard knihovny.
>> To je něco úplně jiného.
Takže tam je systém nazvaný VIA Harvard, který v podstatě
je katalogizace obrazů a uměleckých předmětů a vizuální věci v celém Harvardu,
a doplnění některých metadata k nim, jejich třídění,
a, v některých případech, poskytující malé náhledy
které si můžete vzít podívejte se na pokud si to přejí.
>> Tak tohle je příklad metadata, že máte na talíři
z, pravděpodobně, Alenka v říši divů.
A můžete vidět, že je to méně metadata zde.
Je to jen jiný druh objektu.
A tak je tu méně informací.
>> Většinou musíte skutečnost, volání číslo, v podstatě, kdo ji vytvořil, -
>> Nevíme, kdy byl vytvořen.
>> --and titulu.
>> Dalším příkladem.
To je pomůcka.
Takže tam je sbírka Lewis Papíry Carroll je na Harvardu.
Tak to popisuje, co se je v této kolekci.
Takže někdo prošel a Podíval se přes všechny boxy
a katalogizovány to s ohledem na některé pozadí, písemný přehled o tom, co je to tady.
A pokud jste se podívat dále na to, to
jde na stránky a stránky a strany, ale řekne vám
co písmena a co pochází z toho, co boxů
existoval v celé sbírky.
Ale tohle je něco, co to, že pokud jste na Harvardu,
můžete jít a skutečně fyzicky vypadat up a, pravděpodobně, podívejte se na.
>> Tak to je všechno skvělé.
Tato metadata je užitečné.
Je to v systému, Harvard knihovny.
K dispozici jsou nástroje on-line, pokud vás může jít a podívat se na to,
a vidět to, a hledat to.
A můžete plátek a kostky se v mnoha různými způsoby.
>> Ale je to opravdu k dispozici pouze v případě, Jste člověk sedět
ve Vašem webovém prohlížeči, nebo tak něco, nebo telefon a navigaci přes to.
Není to opravdu k dispozici v jakékoliv využitelné módy
pro jiné systémy nebo ostatní počítače k ​​použití,
Není se systémy v rámci Harvard knihovny,
ale systémy ve vnějším světě, jen ostatní lidé obecně.
Otázkou tedy je, jak můžeme aby bylo k dispozici pro počítače
takže můžeme udělat zajímavější věci s ním, než jen
Procházení to sami?
>> Tak proč byste měli chtít, aby to udělat?
Existuje mnoho možností.
Jedním z nich je můžete vytvořit zcela odlišný způsob prohlížení
obsah, který je k dispozici přes Harvard knihovny.
Ukážu vám jednu později volal Stacklife,
který má zcela jiný vzít na hledání obsahu.
>> Dalo by se postavit doporučení motor.
Takže Harvard knihovna není v obchodní říct, líbí se vám tuto knihu.
Pak jděte se podívat na těchto 17 další knihy, které by vás mohly zajímat v
nebo těchto 18 dalších snímků.
Ale to jistě mohl být cenná vlastnost.
A vzhledem k tomu metadata, může to možné uvést, že dohromady.
Ty mohou mít různé potřeby v Podmínky vyhledávání obsahu,
Třeba i přes nástroje, které jsou k dispozici, že knihovna je
k dispozici, možná budete chtít hledat jiným způsobem
nebo optimalizovat pro konkrétní případ užití, což možná je to velmi specializované.
Možná, že existuje jen málo lidí na světě, kteří
chcete vyhledávat obsah tímto způsobem, ale
by bylo skvělé, kdybychom mohl nechat udělat.
Je tu spousta analytics V tom, jak lidé
použít obsah, který by bylo opravdu zajímavé vědět, zjistěte
jaké knihy se používají, co nejsou, a tak dále.
A pak je tu spousta možnost integrovat
s dalšími informacemi že je tam na webu.
Tak jsme have--
>> Například, má NPR Recenze knihy segmentu,
kde se rozhovor Autoři o knihách.
A tak to by bylo skvělé, kdyby jste byli vzhlédl knihu v Harvard
Knihovna, a vy říkáte, OK, je tu Byl rozhovor s autorem.
Pojďme se podívat na to.
Nebo je tu stránka Wikipedie, as autoritativní, vědecké reference
o této knize, která vás chtít, aby se podívat na.
>> K dispozici jsou tyto typy zdrojů rozptýlené po celém webu.
A je sbližovat by mohl být skvělý použití
na někoho při pohledu na obsah, hledá něco.
Ale to také není druh věc, kterou byste
Chcete-knihovna být zodpovědný pro přechod dolů a honit
Všechny tyto různé zdroje a ucpávání je spolu
protože se neustále mění.
A to, co si myslí, že je důležité, květen nebude to, co si myslíte, že je důležité.
>> A ještě více, v podstatě je tu Hodně věcí jsme se mysleli, přesto.
Takže pokud můžeme otevřít toto nahoru víc, Lidé kromě půl tuctu nebo tak,
kteří se při pohledu na to na pravidelně, může myslet nápadů
a masáž dat, a dělat, co chtějí s ním.
>> Proto chceme, aby to k dispozici do světa dat.
No, existuje pár komplikace.
Jedním z nich je, že tato metadata je v různých systémech.
Je to v různých formátech.
Takže tam je nějaký normalizace který se má stát,
který normalizace je proces přinášet věci z různých formátů
a jejich mapování na jednotném formátu takže pole budou shodovat.
>> Existují určitá omezení autorských práv.
Kupodivu, vstup katalog o kniha je odpovědný za autorská práva.
Takže i když je to jen informace získané z knihy,
to je copyrightable.
A podle toho, kdo vlastně vytvořil metadat,
může být omezení na to, kdo Můžete jej distribuovat, podobný to--
>> Nevím.
To může, ale nemusí být podobné situace písňových textů,
například.
Tak jsme se všichni víme, jak to pánve ven.
Takže je potřeba se dostat kolem této otázky.
>> A pak další kus že je tu spousta dat.
Takže pokud jsem někoho, kdo chce pracovat s údaji, nebo má skvělý nápad,
jednání s 14000000 záznamů na mém notebooku
by mohlo být problematické a obtížné.
Takže chceme snížit bariéry pro lidi
aby bylo možné pracovat s daty.
>> Takže přístup, který by snad adresy všechny tyto obavy jsou dvě části.
Jedním z nich je budování platformy, který trvá Data ze všech těchto různých zdrojů
a zhoršuje to, normalizuje, obohacuje, a značky
je k dispozici na jednom místě.
A to je to k dispozici prostřednictvím veřejné API, které mohou lidé volat.
>> Takže API je Application Programming Interface.
A to v podstatě odkazuje na Koncový bod, že systém nebo technologie
zavolat a získat data zpět do strukturovaný formát způsobem
která může být použita.
Takže to není závislý dál na webové stránky
a škrábání data z ní, např.
>> Tak to je domovská stránka Knihovna Cloud Item API,
který je v podstatě jeho verze dvě.
Takže je to druhá iterace se snaží, aby všechny tyto údaje
k dispozici na celém světě.
Tak to je http://api.lib.harvard.edu/v2/items.
A právě rozčlenit tento systém trochu, co to znamená
je to, že je to verze dvě API.
K dispozici je verze jedna, což Nebudu mluvit.
Ale je tu jedna verze.
>> A pokud voláte to API, jste získali položky.
A část myšlenky API je API je smlouva.
Je to něco, co je nebude měnit.
Tak například, -
>> A důvodem je, že když jsem vytvořit nějaký systém, který
bude používat knihovny cloud API Pro zobrazení knihy nebo pomoci lidem najít
Informace v jedinečným způsobem, to, co nechceme, aby se stalo
je pro nás jít změnit způsob, jakým že API funguje, a najednou
vše přestávky na koncové straně uživatele.
Takže část, pokud děláš API k dispozici na celém světě, je to
dobrým zvykem dát číslo verze v tom, aby lidé
vědí, jakou verzi jsou co do činění s.
>> Takže když jsme se rozhodli jsme najít lepší způsob, tvorby tyto informace k dispozici,
můžeme změnit na volat, že verze tři.
Takže každý, kdo je stále používá verze dvě, že bude i nadále fungovat.
Ale verze tři by mít všechny nové věci.
>> Tak tohle je API, ale to Opravdu vypadá jako URL.
A tak to, co to je Příkladem je to, co je
volal odpočinek API, který je k dispozici přes jen běžné webové připojení.
A můžete skutečně jít na to v prohlížeči.
>> Tak tady jsem se právě otevřela Firefox a šel do api.lib.harvard.edu/v2/items.
A tak to, co jsem se sem dostal, je v podstatě první stránka
výsledků z celé soubor předmětů, které jsme dostali.
A je to tady ve formátu XML.
A je to také přikrášlil Firefox.
To není ve skutečnosti mají všechny tyto málo rozšiřování a uzavírání smluv
doohickeys zde.
To je trochu hezčí verze způsob, jak se na to podívat.
>> Ale co je to nám říká, je Já jsem požádal všechny položky.
Takže tam jsou 13.289.475 položky.
A já jsem při pohledu na první 10, začíná v poloze nulové
protože v informatice začínáme vždy od nuly.
A to, co jsem tady, když jsem kolaps to, uvidíte já mám 10 položek.
>> A když jsem se podívat na položky, mohu vidět, že mám informace o něm.
A to je to, co se nazývá MODS formulář.
A tak budu přepínat zpět sem na chvíli.
OK.
>> Takže pojďme hledat něco v specifické tím, že jako první položku, která
se stane přijít, když se podíváte přes celou kolekci
je, podle definice, náhodný.
Tak se pojďme podívat na některé koblihy.
Oh.
>> OK.
Takže koblihy.
Tak jsme tam našli je 80 položky v Kolekce, která odkazují koblihy.
Díváme se na prvních 10 z nich.
Nyní můžete vidět zde způsob, jakým Řekl jsem, Hledám koblihy,
Jen jsem přidal něco řetězec dotazu URL.
Takže q se rovná koblihy, které si můžete viz trochu snadněji zde.
>> A to v podstatě znamená, že je spec pro API, které
definuje, co všechno Tyto parametry znamenají.
A to znamená, že budeme hledat vše, co pro koblihy.
>> Takže na první položku zde máme můžete vidět, titul je Donuts,
a tam je podtitul s názvem Americký Passion, což je, myslím,
vhodné.
Existuje mnoho different--
Jakmile se dostanete do bodu, o získání dat,
existuje mnoho různých formáty, které se můžete dostat do.
A tam jsou různé síly a slabé stránky pro všechny z nich.
Tak tohle, můžete vidět tady, tato forma je velmi bohatá.
A to je standardizován.
>> Takže je tu konkrétní titul pole, pole titulků.
K dispozici je alternativní titul, American Passion.
Tam je název s ním spojené.
Typ zdroje je textu.
Je tu spousta informací tady v tomto formátu.
>> Ale jsou tu parta z různých formátech.
Takže to, co jsme byli jen je při pohledu na formát
zvané MODS, což znamená Metadata Object Popis Service,
potenciálně.
Ve skutečnosti jsem si zcela jist, o S. Ale je to docela složitý formát.
To je výchozí formát.
>> Ale je to ten, který drží bohatost všech údajů
že knihovna má proto je to velmi blízko k tomu, co
Knihovna používá interně.
Je to standard, který je používá po celé zemi,
po celém světě, v akademických knihovnách.
A to je velmi interoperabilní.
Takže pokud máte dokument že je ve formátu MODS,
si můžete dát, že pro někoho jiného jejichž systémy pochopit mods,
a mohou jej importovat.
Takže je to standardní.
Je to velmi dobře definované, velmi specifické.
A to je to, co dělá to spolupracovat, protože pokud někdo říká,
To je alternativní název rekord, každý ví, co to znamená.
Na druhou stranu, je to velmi složité.
>> Takže pokud jste se podívat V tomto záznamu tady,
pokud chci jen, aby si název tohoto dokumentu,
z této knihy, která je pravděpodobně Donuts, Americký Passion, rozebrat ho
je trochu zapojit.
Vzhledem k tomu, že je jiný formát nazvaný Dublin Core,
což je mnohem, mnohem jednodušší formát.
>> A tak zde vidíte, není název, podtitul, alternativní název.
Je tu jen titul, Donuts, American Passion,
a další titul, American Passion.
Takže, když se díváte na to, jakou formu Chcete-li získat data z,
Hodně záleží na tom, jak budete používat.
Jste použitím interoperability nebo si
Chcete něco jednoduchého, že by mohlo být jednodušší pracovat?
>> Na druhou stranu, spousta Podrobnosti si trochu naskládal dolů.
Můžete přijít o nuance co určité oblasti prostředek
pokud máte co do činění s Dublin Core, které byste si s MODS.
To jsou dva formáty se můžete dostat ven z API.
A v podstatě, držíme to v zákulisí v MODS.
Ale můžeme dát ji do Mods a Dublin Core a něco i jinde.
Další plnění, pokud hledáte v datech
je můžete získat buď jako JSON, který je zkratka pro JavaScript Object Notation,
nebo XML, což je zkratka pro Extensible Markup Language.
A tyto datové reprezentace obou mají stejné údaje, přesně
stejných oblastech.
Ale jsou to jen syntakticky jinak.
>> Tak tohle je je--
No, tak to prostě přejít.
Tak tohle je náš dotaz pro koblihy ve formátu XML.
Když jsem se přejít to, že JSON, Vidím, že to vypadá jinak.
Takže teď je to stejný obsah, ale odlišná struktura.
Tam je méně lomené závorky.
Je tu méně upovídaný.
>> A to je formát, který, pokud máte pracují v prostředí webu,
jste se s největší pravděpodobností bude chtít použít, protože jeden
z pěkných věcí o JSON je je kompatibilní s JavaScriptem.
Takže když píšu webové aplikace, můžu vytáhnout JSON a právě s ním pracovat přímo.
Vzhledem k tomu, s XML, je to trochu složitější.
Takže znovu, to jsou oba použitelné.
Prostě jsou různé případy použití kde se lidé mohou chtít použít.
OK.
Takže zpět k API.
Takže můžeme hledat for--
>> Dám příklad vyhledávání koblihy.
Můžeme také hledat jen v Zejména oblast v sem.
Takže místo toho, hledání celý záznam,
Mohu jen hledat v názvu pole.
A tak teď tam jsou věci, které 25 mají koblihy v názvu, z nichž jedna
je o obnovení mokřady v oblasti řízení
z otvoru v koblihy Program, který je pravděpodobně
nemusí být nutně to, co hledáme , když jsme hledali koblihy.
>> Můžete také, když jste jednání s API--
>> Část má API dává lidé přístup k velkých datových souborů.
A existuje několik různých nástroje, které můžete použít k tomu, že.
Jedním z nich je, velmi jednoduše, vy lze procházet data.
Takže stejně, jako byste udělat dotaz přes webové rozhraní,
se můžete podívat na první straně, strana dva, strana tři.
Můžete udělat totéž to prostřednictvím rozhraní API.
Je pouze potřeba být Výslovně se v tom, jak to udělat.
>> Tak například, pokud se dívám na můj první dotaz zde,
kde dělám hledání věcí s koblihy v názvu, mohu říci,
a hranice se rovná 20, což znamená, dej mi prvních 20 záznamů, ne
prvních 10, což je výchozí nastavení, proto, že chci se podívat na 20 najednou.
Nebo mohu říci, nastavte začne ve výši 20 a limitu
rovná 20, která bude obsahovat me záznamy 21 až 40.
>> Takže myslím, že věc odnést zde
že jsme pomocí řetězce dotazu nastavit parametry na dotaz.
A to vám umožní kontrolu to, co dostanete zpátky.
>> Dalším nástrojem, který můžete použít, -
>> A to je opravdu užitečné Podmínky zkoumání dat.
>> --is něco jako faceting.
Takže termín faceting je ne nutně běžné.
Ale vy jste všichni viděli předtím.
Pokud jste se podívat na Amazon, například,
a vy hledání koblihy v knihách,
Tady mám sérii knih, a oni jsou seskupeny podle kategorií,
a dostanete různé kategorie, a kolik knih v každé kategorii
ukázat.
>> Tak to je v podstatě aspekt.
Budete mít všechny své knihy, 1800 knihy, které odpovídají koblihy na Amazon.
12 z nich je v snídaně kategorie.
21 v pečivu a pečení, a tak dále a tak dále.
>> Tak tohle je opravdu užitečný nástrojem pro zkoumání obsahu
v knihovně, jakož protože když se podíváte na fazety,
To vám dává představu o tom, co předměty existuje, jako to, co typy objektů
jsou nejoblíbenější přímo ve Vašem sadě dotazu.
A to vám pomůže odjet a prozkoumat.
Takže můžeme udělat totéž.
>> Pokud chceme použít API a podívat se na aspekty,
přidáme další parametr na náš přítel řetězec dotazu.
Takže aspektů rovná oddělených čárkou Seznam toho, co chceme, aby aspekt dál.
Takže jeden z aspektů by mohly být předmětem.
Dalším může být řeč.
A tak když narazíme tento dotaz, my get--
Vypadá to skoro tady stejný.
Ale jsme přidali na konec seznamu soubor aspekty.
Takže máme aspekt s názvem předmět.
Tak to nám říká, že když se podívám v mých 80 vyplývá z dotazu koblihy,
13 z nich podrobit Spojené státy.
Tři mají na něž koblihy.
Tři mají předmět mokřadních restaurování,
které mohou být naše díra v koblihy.
Dva z nich, Simpsons, a tak dále a tak dále.
>> Takže to může být užitečné, pokud Chcete zúžit vyhledávání.
To vám může pomoci udělat.
Zvlášť pokud máte více než, řekněme, 80 řádků.
>> Stejně tak, jsme se ptali pro aspekty na jazyk.
Takže pokud se podíváme na naše výsledky, vidíme 76 z nich jsou v angličtině, čtyři ve francouzštině,
dva ve španělštině, dva, myslím, že je to nedefinovaný nebo neznámé, holandský a latina.
Takže si myslím, latinu kobliha výsledek, opět,
nemá nic společného s pečiva.
Ale tam jdete.
>> Tak tohle je trochu ukáže vám, Jak si můžete stáhnout obsah zpět
z API právě prostřednictvím webový prohlížeč, což je skvělé.
Ale to není to, co byste za normálních okolností použití v API pro to.
Takže jeden z příkladů, jak se by se skutečně udělat, je jsem
napsal super malý program, který opět dělá můj koblihu vyhledávání
a vybere pár polí a zobrazí je v tabulce.
Tak to je velmi Stejný obsah, který jsme právě
pila s několika poli vytáhl ven.
Takže seznamu titulů, na místo toho, co knihy
je asi, jazyk, a tak dále a tak dále.
>> Tak, jak se to vlastně stalo, od té doby Myslím, že bychom se podívat na nějaký kód,
je--
>> To, co zde máme, je jednoduchý HTML strana, která zobrazuje text,
vítejte na knihovny cloudu a pak zobrazuje tabulku výsledků.
A tam se v zřejmě žádné výsledky stůl, když se stránka se nahraje.
Ale co děláme je v první řadě, jsme
vkládáte knihovny s názvem jQuery, což je v podstatě
knihovna JavaScript, což z něj činí velmi snadno manipulovat JavaScript
nativně, HTML, a vytvořit webové stránky, na straně klienta logika a webové stránky.
>> Takže to, co tu máme, je jQuery má metodu nazvanou Get,
který v podstatě půjde do URL, který v tomto případě,
Je to známý vypadající URL.
A pak si obsah z že URL a spustit funkci na to.
Tak jsme si řekli jít do api.lib.harvard / edu.
Hledat koblihy.
Dejte nám 20 záznamů.
A pak spustit tuto funkci, která Já jsem zvolen, předáte jí data.
A data JSON, že dostal se vrátil z API.
>> A pak říkáme, že v rámci Data tam je pole s názvem položky.
A když jdu se podívat zpět na jeden z těchto výsledků, které je tady,
je tu něco called--
>> No, je to jen bod.
Tak, že může být, že.
A to, co dělá, je to prochází každou položku
a pak volá další funkce na každé položce.
A že funkce v podstatě bere hodnotu
položky, která je v podstatě individuální rekord
a umožňuje nám vytáhnout titul, pokrytí a jazyk.
>> Tak jsme volání funkce na každý položka, která jsme se vrátili z API.
A pokud si stačí se podívat V tomto kousku tady,
to, co děláme, je jsme vytvořit řetězec,
což je v podstatě některé značky HTML kolem stolu, s value.title,
což je název objekt, value.coverage,
což je pokrytí, -
>> A děláme kontrolu zde vidět, kdo je definován
a skrývání, pokud říká, že nedefinované, proto, že jsme opravdu zájem
se tím, že.
>> --and pak jazyk.
A pak to, co jsme dělá, je, že připojením
do tabulky, která je identifikovat podle tohoto řetězce zde.
A jak jQuery funguje je to, co to říká
se podívat na tabulku s myšlenkou výsledky a přidejte tento text k tomu.
A to je tabulka s výsledky nápad.
Takže to, co jste skončili s je na tuto stránku zde.
A aby se mohli source--
No, zdroj není ve skutečnosti aktualizovat, když se to stalo.
Takže můžete vidět aktuální Výsledky v tabulce zde ačkoli.
>> Takže je to jen jednoduchý příklad dělá velmi jednoduchý dotaz na rozhraní API
a zobrazování informací v jiné tvoří, a nic nedělá moc fantazie.
A teď, další příklad je jako Aplikace napsal David Weinberger
jako demo tohoto, který v podstatě ukazuje,
jak si můžete zapařit na výsledky, kde jsi dostat z knihovny cloud API
s, řekněme, Knihy Google.
>> A myšlení je, že můžu Spuštění dotazu proti Google Books,
získat fulltextové vyhledávání, získat nějaké výsledky zpět, zjistit, který z těchto položek
skutečně existují v Hollis, knihovní systém,
a pak mi odkazy zpět do těchto položek.
Takže když jsem se hledat, to bylo temná a bouřlivá noc, já
dostat zpět spoustu výsledků od společnosti Google, a pak jeden výsledek
což je vyhlazení vrásek v čase.
A to jsou odkazy na knihy, které existují v rámci systému Harvard knihovny.
>> Takže myslím, že bod tady není tak moc, že ​​to může nebo nemusí
je způsob, jakým chcete hledat knihovnu,
ale to je úplně jiná způsob, který nebyl k dispozici pro vás
před, jako jste měli žádný způsob, jak dělat Plné znění hledá na knihy, které i
byly součástí systému Harvard knihovny.
Takže teď je to cesta které můžete udělat.
A můžete zobrazit v jakémkoli formátu, budete chtít.
Takže bod tady je, v podstatě, jsme otevírá nové možnosti pro lidi
pro práci s daty.
>> Další kus knihovny mraku je to, že to pomáhá vystavit některé údaje o použití
že knihovna má.
Takže pokud jdete do knihovny, a hledáte pro knihy,
nemusíte nutně ve skutečnosti mají představu,
pro všechny položky v zejména předmět, co
jsou lidé v komunity, ať už je to
definována jako Harvard, nebo země nebo vaše třída,
to, co se našli nejvhodnější?
A knihovna ve skutečnosti má ton informací o tom, co
je velmi užitečné, protože v případě, že mnoho lidí, kteří jsou mimo kontrolu knihu,
že vám řekne něco.
Tam musí být nějaký důvod chtějí podívat se na to.
Hodně lidí ji na rezervy.
>> Pokud je to na rezervní seznam pro mnoho tříd, které vám řekne něco.
Pokud se členové katedry jsou to kontroly out hodně a vysokoškoláci nejsou,
to mi říká něco.
Vice versa, že také říká vám něco.
Tak to by bylo opravdu zajímavé dal, že informace tam a nechat
lidé používají, aby jim pomohla najít práce v rámci knihovního systému.
Odvrácenou stranou je tam jsou některé vážné o ochraně osobních údajů
obavy, protože jeden z základní principy knihovny
se my nebudeme říkat Lidé, co ostatní lidé čtou.
A i když se říká, to Kniha byla odhlásil čtyřikrát
v určitém měsíci, který by mohl být použit
odkazují na konkrétní člověk by de-anonymizace údajů
a zjistit, kdo ji odhlásila.
Takže způsob, jak můžeme avoid--
Způsob, jakým se můžeme pokusit extrahovat nějaký signál od všech informací
bez porušení obavy někdo o ochraně osobních
Je v podstatě se podíváme na 10 let údaje o používání, -
>> Takže je to po dlouhou dobu.
>> --and říct, OK, pojďme se podívat, jak mnohokrát tato práce byla použita
a kdo v tomto období času, a pak se v podstatě
vrátit číslo, které nazýváme stack skóre, což v podstatě
představuje, jak moc to bylo použito.
A to number--
Mnoho různých výpočtů přejít na toto číslo.
--but, že je to velmi hrubý metrika, která vám dává
určitou představu o tom, jak obec může ocenit tuto práci.
>> A tak jiný druh i více konkretizovat přihlášku
že využívá to je něco
nazvaný Stacklife, což je ve skutečnosti k dispozici přes hlavní Harvard
Knihovna portál.
Takže jdete do library.harvard.edu.
Uvidíte více různých způsoby hledání knihovny.
A jeden z nich se jmenuje Stacklife.
>> A to je aplikace, která prochází obsah knihovny,
ale je zcela postaven v horní části těchto API.
Takže není žádný zvláštní věci děje v zákulisí.
Neexistuje žádný přístup k Údaje, které nemáte.
Je to pomocí rozhraní API poskytnout vám s úplně jiným prohlížení
zážitek.
>> Takže když jsem se hledat Alice v říši divů v tomto případě,
Mám výsledek, který vypadá jako to, což je docela much--
>> To je velmi podobné jiným vyhledávání můžete dělat, s výjimkou v tomto případě
jsme žebříčku položky by stackscore, který vám poskytne
nějakou představu o tom, jak populární těchto položky byly v rámci komunity.
A tak jasně, Alenka v říši divů Walt Disney je velmi populární.
Ale můžete také vidět horní čtyři Zde jsou ty, které nemusí actually--
>> Věci, které jsou vysoce použity, ale nemusí hned
spojte se s Alenka v říši divů.
Takže náš starý přítel Poznámkami Alice je tady.
Tak jsem si vzít na to podívat.
A teď to, co hledám v je v podstatě nastavena of--
Můžu mít komentovaný Alice tady.
Mám informace o tom.
A mám také stackscore o, v tomto případě 26.
A to mi říká, trochu hrubě Jak jsme se dostali k tomuto stackscore,
jako kdo ho odhlásil, jako jak mnohokrát bylo odhlášené,
jako fakulty nebo undergrads, jak mnoho kopií knihovna,
a tak dále a tak dále.
>> A můžete také dost zajímavý tady, procházet stohy virtuálně.
Tak tady jsou údaje, to ukazuje seřadit
virtuální reprezentace toho, co si police síly
vypadat, pokud jste byli, aby se všechny zemědělské podniky knihovny
a dát je dohromady na jedné nekonečné polici.
A pěkná věc je, že jsme can--
>> Za prvé, metadata o těchto knihách
Často vám řekne, kdy byla publikována.
To vám řekne, kolik stránek má.
Mohlo by ti rozměry.
Takže můžete vidět, že se tady projevuje z hlediska velikosti knih.
>> A pak můžeme použít stack skóre zvýraznit
knihy, které mají vyšší skóre zásobníku.
Takže pokud je to tmavší, to znamená, že, Lze předpokládat, že to je více často používané.
Takže v tomto případě, já jsem bude hádat, že tento
je verze Alenky v říši divů která je velmi běžně používaná a nejvíce
přístupné, knihovna má nejvíce kopie.
Takže pokud hledáte pro Alenka v říši divů,
to může být dobrým místem pro začátek.
>> A pak zde si můžete také spojit se na, řekněme, Amazon koupit knihu,
a tak dále a tak dále.
Pointa, znovu, není ani tak, že se
je nejlepší způsob, jak procházet knihovnu nebo správný nástroj pro každou příležitost.
Ale je to jiný způsob, jak to udělat.
A tím, že data k dispozici přes API, což
je vyrobena z velmi jednoduchých stavebních bloků, který umožňuje vyhledávat v obsahu,
můžete vytvořit něco takhle, že může
být mimořádně cenný pro některé lidi.
>> Tak to je druh, stejně jako já chci říci, opravdu o tom, co je API
a to, co odhaluje, je tu celá spoustu věcí, v zákulisí, což
Já jsem prostě jít na dotek krátce jen proto, že tak nějak přijde na to
z úplně jiného úhlu o tom, jak dělá něco takového
si dát na své místo?
>> Takže API je standardní rozhraní pro všechny tohoto obsahu.
Ale aby se to tam, První věc, kterou jsme museli udělat
se táhnout za jeden provaz informace knih a obrazů
a nález pomáhá, kolekce Dokument z různých systémů Harvard.
Aleph, VIA, a OASIS jsou názvy systémů.
A v podstatě jdou do potrubí, zpracování potrubí.
>> Takže v první řadě, dostaneme export soubory ze všech těchto systémů.
Rozdělili jsme je do jednotlivých položek.
Takže máme soubor, který je gigabyte, který má milion záznamů v něm.
Tak došlo k rozdělení na jednotlivé položky.
Poté, pro každou položku, jsme to konvertovat do MODS, protože některé z nich
nativně MODS, některé z nich nejsou.
Tak jsme si je všechny být ve stejném formátu.
Pak jsou tu různé obohacování kroky, kde
přidáme další informace k údajům než byl k dispozici v knihovně.
Proto musíme přidat, nejprve máme to, co knihovny držet.
Jdeme přes krokem výpočtu stackscore.
Procházíme další krok přidání dalších metadat, pokud jde
O tom, co sbírek lidí mohl přidal tohle--
>> Lidé se vytváří sbírky předmětů.
Co sbírky to patří?
Jak se lidé označili tento obsah v minulosti?
Pak jste odfiltrovat, a omezit záznamy, protože, jak jsem již zmínil,
tam je nějaké záznamy, že z důvodu důvodu ochrany autorských práv, nemůžeme zobrazit.
A pak jsme je nahrát do něčeho zvaného
Solr, což není chybně napsané, ale je název kus softwaru
že dělá vyhledávání indexování, což řídí veškeré vyhledávání za API.
A pak je k dispozici na API, a lidé mohou používat.
>> Takže to je jako docela přímočarý proces.
Jedním ze zajímavých věci, o to je
že máme co do činění s 13 miliónů desek
a my se bude jednání nebo více.
A my chceme být schopni zvládnout Tyto relativně rychlé způsobem.
Trvá dlouho, než se zpracovat 13 milionů záznamů.
>> Tak, jak to potrubí je nastavení je, že jste can--
Myslím, že tu výhodu, že potrubí, problém, že jsme
se snaží řešit tady, je to, že všechny transformace, vše
těchto kroků potrubí jsou oddělitelné.
Není závislost.
Pokud jste zpracování záznam o jedné knize,
není závislost na že mezi další knihu.
>> Takže to, co můžeme udělat, je v podstatě, na každém kroku v potrubí,
dáme do fronty v cloudu.
Náhodou jsem se být na Amazon Web Services.
Takže tam je seznam, říkají, 10,000 položky, které
musí být normalizované a převedeny do formátu MODS.
A my jsme točit jako mnoho serverů jak jsme chtěli, možná 10 serverů.
A každý z těchto serverů jen sedí tam vypadá v této frontě,
vidí, že je tu ještě jedna, která musí zpracovány, táhne ji pryč z fronty,
zpracuje ji a hole se na další fronty.
>> A tak, co to nám umožňuje udělat, je použít, v podstatě,
tolik hardware, jak bychom chtěli, aby to problém po velmi krátkou dobu
tak rychle, jak zpracovávat data je to možné, což je něco, co pouze,
nyní ve světě cloud computingu Můžeme se poskytování servery v zásadě
okamžitě, že je užitečný.
Takže jsme nemuseli mít Obří serveru sedět
po celou dobu dělat zpracování že by se mohlo stát jen jednou za týden.
>> Takže to je většinou to.
K dispozici je dokumentace k dispozici Pro knihovny Cloud položky API
na této adrese URL, bude což bude k dispozici později.
A prosím, jděte se podívat na je vidět, jestli tam je něco,
Máte nějaké nápady.
Hrajte si s ním.
Hlouposti.
A doufejme, že můžete přijít s něčím velkým.
Děkuju.