JEFFREY Licht: Hi there.
Estou Jeffrey Licht.
E eu estou aquí para falar con vostede sobre o Harvard Biblioteca e construción de mañá
biblioteca hoxe, eu creo.
Así, o fondo aquí, o terreo de xogo para esta sesión
é que non hai esencialmente unha morea de datos bibliográficos
dispoñible en bibliotecas de Harvard.
E hai unha oportunidade, a través dalgunhas das ferramentas
e un proxecto que está a ser desenvolvido, para obter o acceso á información
e levalo a lugares que o Biblioteca de Harvard non está facendo agora,
facer cousas novas con el, experimento e xogar con el.
>> Así, o punto de entrada para esta é unha API chamado de Harvard Biblioteca Nube, que
é un servidor de metadatos aberto, que eu vou falar agora.
Así, o fondo é de que hai un chea de cousas na biblioteca de Harvard.
Temos máis de 13 millóns de bibliográfica rexistros, millóns de imaxes,
e miles de instrumentos de descrición, que son esencialmente documentos que describen
coleccións, dicindo que hai neles, caixas de papeis
etc., que representan máis de un millón de documentos individuais.
E hai tamén unha chea de información que a biblioteca ten
sobre a forma como o contido se usa que podería ser de interese para as persoas
que pode querer traballar con el.
>> Así, toda a información a biblioteca ten metadatos.
Entón metadatos son datos sobre datos.
Así, cando falamos de a información que é
dispoñible na biblioteca nube que está dispoñible,
non é necesariamente os documentos reais
eles mesmos, non necesariamente a total texto de libros ou as imaxes completas,
con todo, que, de feito, pode ser o caso.
Pero é realmente información sobre os datos.
>> Entón pode pensar de catalogación información, números de teléfono, temas,
cantas copias do libro hai, o que
son as edicións, cales son os formatos, os autores, e así por diante.
Polo tanto, hai unha morea de información sobre a información contida na colección que,
en si mesmo, é unha especie de inherentemente útil.
E, aínda que se é facer investigación en profundidade,
obviamente quere chegar ao real contentar-se e ollar os datos,
os metadatos é útil en termos de tanto na análise o corpo como un todo,
como o que as cousas son na colección.
Como se relacionan?
El axuda realmente atopar outras cousas, o que é realmente a principal finalidade do mesmo.
O punto de partida da metadatos e do catálogo
é axudar a atopar todos a información que é
dispoñible dentro das coleccións.
>> Polo tanto, este é un exemplo de metadatos para un libro na Biblioteca de Harvard.
Entón, el está aí.
E podes ver que é en realidade, moderadamente complexa.
E parte do valor dos metadatos dentro do sistema de biblioteca de Harvard
é que foi sorte de construído por catalogadores
e montada por persoas que solicitan moita destreza e habilidade
e pensado para que ao longo do tempo, que ten unha morea de valor.
>> Entón, se der un ollo neste rexistro para The Annotated Alicia, pode descubrir
ten o título, que o escribiu, o autor, e todos os distintos temas
cal as persoas teñen catalogado-lo en.
E podes ver que hai tamén, en Ademais de unha chea de boas información
aquí, hai algunha duplicación.
Hai unha morea de complexidade que é reflectida a través dos metadatos
que ten.
>> Así, un título deste libro é As aventuras de Alicia no país das marabillas.
Polo tanto, esta é unha anotada versión dese libro.
Pero tamén é chamado de The Annotated Alicia, de Alicia Adventures
no país das marabillas, porque é algo que
Martin Gardner escribiu e anotada do libro.
E hai un gran lote de información sobre enigmas de lóxica e cousas
dentro de Alicia que probablemente non sabía.
Entón ten que ir lelo.
>> Pero podes ver que non hai unha morea de detalles aquí,
incluíndo identificadores, cando foi creado, de onde veu,
en termos de Harvard sistema, e así por diante.
Polo tanto, esta é unha mostra de o tipo de metadatos
que se pode ver nun libro en da colección da Biblioteca Harvard.
>> Isto é algo completamente diferente.
Polo tanto, hai un sistema chamado VIA Harvard, que basicamente
está catalogando imaxes e obxectos de arte e as cousas visuais en todo Harvard,
e engadindo algúns metadatos para eles, clasificándose os,
e, nalgúns casos, proporcionando pequenas imaxes en miniatura
que pode tomar un vexa se así o desexa.
>> Polo tanto, este é un exemplo do metadatos que ten para unha tarxeta
de, presuntamente, Alicia no país das marabillas.
E podes ver que non hai menos metadatos aquí.
É só un tipo de obxecto.
E por iso hai menos información.
>> Está na súa maioría teñen o feito de que, unha chamada número, esencialmente, que o creou, -
>> Non sabemos cando foi creado.
>> -E un título.
>> Outro exemplo.
Este é un instrumento de investigación.
Polo tanto, hai unha colección de Lewis Fondos de Carroll en Harvard.
Entón, iso describe o que é nesa colección.
Entón, alguén pasou por e mirou a través de todas as caixas
e catalogado-lo, dado algún fondo, escribiu un resumo do que está aquí.
E se estaba a ollar adicionalmente polo presente, este
prolóngase por páxinas e páxinas e páxinas, pero dir-lhe-
que letras e cales datas dende o que caixas
existiron ao longo da colección.
Pero iso é algo que, se está en Harvard,
pode ir e realmente ollar fisicamente -Se e, presumiblemente, bótalle un ollo.
>> Entón, todo isto é óptimo.
Deste útil de metadatos.
É no sistema Biblioteca Harvard.
Existen ferramentas en liña onde pode ir e dar un ollo no que fai,
e velo, e busca-lo.
E pode corte-lo e dice que, de moitos xeitos diferentes.
>> Pero é realmente só está dispoñible se é un ser humano de sentir
no seu navegador ou algo ou teléfono e navegar a través del.
Non é realmente dispoñible en calquera tipo de forma utilizable
ou a outros sistemas outros ordenadores de usar,
non con sistemas dentro Biblioteca de Harvard,
pero os sistemas do mundo exterior, só a outras persoas en xeral.
Entón a pregunta é, como podemos facelo dispoñible para os ordenadores
para que poidamos facer máis interesante cousas con el que
browsing-lo nós mesmos?
>> Entón, por que ía querer facelo?
Hai unha serie de posibilidades.
Unha delas é que podería construír un completo forma diferente de navegación
o contido que está dispoñible a través das bibliotecas de Harvard.
Eu vou te amosar unha máis tarde chamado Stacklife,
que ten unha forma completamente diferente asumir buscar contido.
>> Vostede podería construír un mecanismo de recomendación.
Así Biblioteca de Harvard non é o negocio de dicir, che gusta deste libro.
Entón vai dar un ollo nestes 17 outros libros que pode estar interesado en
ou estes 18 outras imaxes.
Pero iso seguramente podería ser un recurso valioso.
E dada a metadatos, pode ser posible poñer isto en conxunto.
Pode ter diferentes necesidades en termos de busca de contidos,
como quizais, a pesar das ferramentas que que están dispoñibles a biblioteca fai
dispoñible, pode querer de investigación dun xeito diferente
ou optimizar a un caso de uso particular, que quizais sexa moi especializado.
Quizais existan só algúns persoas no mundo que
quere buscar o contido deste xeito, pero
Sería óptimo se nós podería deixalos facelo.
Hai unha morea de Analytics en só como a xente
usar o contido que sería moi interesante coñecer, descubrir
o que os libros están a ser empregados, o que non é, e así por diante.
E entón hai unha morea de oportunidade de integrar
con outras informacións que está aí fóra na web.
Entón, nós have--
>> Por exemplo, ten NPR un segmento crítica do libro,
onde entrevistan autores sobre libros.
E por iso sería óptimo se fose buscar un libro na Harvard
Biblioteca, e dis, OK, non hai foi unha entrevista co autor.
Imos dar un ollo niso.
Ou hai unha páxina de Wikipedia, como unha autoritaria, referencia académica
sobre este libro que Pode querer dar un ollo.
>> Existen destes tipos de fontes espalladas por toda a web.
E trae-los xuntos Pode ser un gran uso
para alguén mirando para o contido, buscando algo.
Pero tampouco é o tipo de cousas que
quere a biblioteca a ser responsable para baixar e cazar
todas estas fontes diferentes e poñer-los xuntos
porque están cambiando continuamente.
E o que eles cren que é importante maio non ser o que pensas que é importante.
>> E máis aínda, basicamente, hai unha morea de cousas que nós non teña pensado aínda.
Entón, se podemos abrir este up, máis persoas ademais dunha media ducia ou así,
que están mirando para iso nun base regular pode pensar en ideas
e Masaxes os datos, e facer o que quere con el.
>> Entón, nós queremos facer este datos dispoñibles para o mundo.
Así, hai algunhas complicacións.
Unha delas é que estes metadatos é en sistemas diferentes.
É en diferentes formatos.
Polo tanto, hai algunha normalización que ten que ocorrer,
que a normalización é o proceso de traendo as cousas de diferentes formatos
e mapea-los para un único formato para que os campos ha igualar-se.
>> Existen algunhas restricións de copyright.
Curiosamente, a entrada do catálogo sobre un libro é responsable de copyright.
Así, aínda que sexa só información obtida a partir do libro,
está protexido por dereitos de autor.
E dependendo de quen, por certo, creado que os metadatos,
pode haber restricións sobre quen pode distribuí-lo, a-- semellante
>> Eu non sei.
Pode ou non ser similar á a situación das letras de música,
por exemplo.
Entón, todos sabemos como que garimpa para fóra.
Entón, ten que desplazarse esta cuestión.
>> E, a continuación, outra parte é que hai unha gran cantidade de datos.
Entón, se eu son alguén que quere traballar cos datos ou ten unha idea legal,
xestionar 14 millóns rexistros no meu portátil
podería ser problemático e difícil de xestionar.
Por iso, queremos reducir as barreiras para as persoas
para poder traballar cos datos.
>> Polo tanto, o enfoque que esperamos que os enderezos todas estas preocupacións é dúas partes.
Un deles é a construción dunha plataforma que leva datos de todas estas fontes diferentes
e agrava-lo, normaliza, enriquece-lo, e marcas
Lo dispoñible nun único lugar.
E fai-se dispoñible a través unha API pública que a xente pode conectar.
>> Así, unha API é unha aplicación Interface de programación.
E, basicamente, refírese a un punto de extrema que un sistema ou tecnoloxía
pode conectar e obter datos de volta un formato estructurado de forma
que pode ser usado.
Polo tanto, non é dependente en ir a un sitio web
e rascado de datos off del, por exemplo.
>> Polo tanto, esta é a páxina de inicio do a API elemento Biblioteca Nube,
que é esencialmente a versión dous.
Polo tanto, é a segunda iteración do tentando facer que todos estes datos
dispoñible para o mundo.
Polo tanto, é http://api.lib.harvard.edu/v2/items.
E só para decompô-lo un pouco, o que iso significa
é que esta versión é de dous a API.
Hai unha versión dun, o que Eu non vou falar.
Pero hai unha versión un.
>> E se está chamando este API, está a recibir elementos.
E parte da idea dun API é unha API é un contrato.
É algo que é non vai cambiar.
Así, por exemplo, -
>> E a razón é que, se eu construír algún tipo de sistema que
vai usar unha API biblioteca nube para amosar libros ou axudar a xente a atopar
información de forma única, o que nós non queremos que aconteza
é para nós a ir cambiar o xeito no que API que funciona, e de súpeto
todo queda ao lado do usuario final.
Así, parte se está facendo API dispoñible para o mundo, é
boas prácticas para poñer un número de versión nel para que a xente
saber que a versión que están lidando.
>> Entón, se decide que atopar un xeito mellor a facer estas informacións dispoñibles,
podemos cambiar isto para chamar esa versión tres.
Entón todo o mundo que aínda está a usar versión dous, que aínda vai traballar.
Pero a versión de tres faría ten todo o material novo.
>> Polo tanto, esta é unha API, pero este realmente parece unha URL.
E entón o que se trata dun exemplo de iso é o que é
chamado dunha API de descanso, que se atopa dispoñible en só unha conexión web estándar.
E realmente pode acceder a ela nun navegador.
>> Entón aquí eu acaba de abrir o Firefox e ir para api.lib.harvard.edu/v2/items.
E así que eu chegar aquí é basicamente, a primeira páxina
dos resultados da totalidade conxunto de elementos que temos.
E é aquí, en formato XML.
E ten tamén foi adornada pola Firefox.
En realidade, non teño todo isto pouco mellore e contraendo
doohickeys aquí.
Esta é unha especie de un Buscamos versión maneira de ollar para el.
>> Pero o que iso está nos dicindo é Eu xa solicitou a todos os elementos.
Polo tanto, hai 13.289.475 elementos.
E eu estou ollando para o primeiro 10, comezando na posición cero
porque en ciencia da computación sempre comezan en cero.
E o que eu teño aquí, se eu entrar en colapso iso, vai ver que eu teño 10 elementos.
>> E se eu dar un ollo a un elemento, podo ver que eu teño información sobre el.
E iso é o que se chama en forma mods.
E así eu vou cambiar volver aquí por un momento.
Aceptar.
>> Entón, imos buscar algo en específico, xa que o primeiro elemento que
pasa a vir cara arriba cando mira por toda a colección
é, por definición, aleatoria.
Entón, imos ollar para algúns Donuts.
Oh.
>> Aceptar.
Así Donuts.
Entón, atopamos hai 80 elementos en a colección que referenciar Donuts.
Estamos mirando para os primeiros 10 deles.
Agora, podes ver aquí o camiño que Eu dixen que eu estou buscando aneis de escuma,
Acaba de engadir algo a a cadea de consulta da URL.
Así q é igual a rosquinhas, que pode ver un pouco máis facilmente aquí.
>> E iso basicamente significa que hai unha especificación para a API, que
define o que todos estes parámetros dicir.
E isto significa que imos buscar todo para Donuts.
>> Así, o primeiro elemento aquí temos podes ver o título é Donuts,
e hai unha chamada Unha lenda Paixón americana, que é, eu creo,
axeitado.
Hai unha morea de diferente--
Unha vez que chegar ao punto de obter os datos,
hai un gran número de diferentes formatos que pode obterse en.
E hai diferentes forzas e débiles para todos eles.
Entón este, podes ver aquí, esa forma é moi rica.
E é estándar.
>> Polo tanto, hai un título específico campo, un campo de subtítulos.
Hai un suplente Título, An American Passion.
Non é o nome asociado a el.
Tipo do recurso é o texto.
Hai unha morea de información aquí neste formato.
>> Pero hai un grupo de diferentes formatos.
Entón, o que nós eramos só mirando é un formato
chamados mods, que significa Metadata Object Description Service,
potencialmente.
Realmente non estou moi seguro sobre o S. Pero é un formato moi complexo.
É o formato estándar.
>> Pero é o único que mantén a riqueza de todos os datos
que a biblioteca ten porque é moi próximo ao que
usa a biblioteca internamente.
É un estándar que é utilizado en todo o país,
en todo o mundo en bibliotecas universitarias.
E é moi interoperables.
Entón, se ten un documento que está no formato mods,
pode dar isto para outra persoa cuxos sistemas entender mods,
e poden Import-lo.
Polo tanto, é un estándar.
É moi ben definida, moi específico.
E iso é o que fai que sexa interoperable, porque se alguén di:
este é o título dun suplente rexistro, todo o mundo sabe o que iso significa.
Por outra banda, é moi complicado.
>> Entón, se der un ollo neste rexistro aquí,
se eu só quero incorporarse o título deste documento,
deste libro, que é probablemente Donuts, An American Passion, analiza-lo para fóra
é un pouco implicado.
Tendo en conta que hai outra formato chamado Dublin Core,
que é un formato moito máis simple.
>> E así que ve aquí, non hai ningunha título, subtítulo, título alternativo.
Hai só título, Donuts, An American Passion,
e outro título, Paixón americano.
Entón, cando está mirando para o que forma quere obter os datos de,
moi depende de como vai usalo.
Está a utilizar para interoperabilidade ou
quere algo simple que pode ser máis fácil de traballar?
>> Por outra banda, unha gran parte do detalles se especie de esmagado baixo.
Pode perder as pasaxes de o que supón un campo particular
se está lidando con Dublin Core, que non ía estar con mods.
Entón eses son dous dos formatos pode saír da API.
E, basicamente, estamos mantendo el nos bastidores de mods.
Pero podemos darlle-lo en mods e Dublin Core e algo tamén.
A outra consideración cando estás buscando nos datos
é que pode obterse tanto como JSON, que significa JavaScript Object Notation,
ou XML, o que significa Extensible Markup Language.
E esas representacións de datos tanto teñen exactamente os mesmos datos, exactamente
os mesmos campos.
Pero son só sintacticamente diferente.
>> Polo tanto, este é a--
Ben, imos só cambiar.
Entón esta é a nosa consulta para Donuts en formato XML.
Se eu cambiar isto sexa JSON, Podo ver iso parece diferente.
Entón, agora que é o mesmo contido, pero unha estrutura diferente.
Hai menos corchetes.
Hai menos detallado.
>> E este é un formato que, se están a traballar no ámbito web,
está moi probablemente vai querer usar porque un
das cousas agradables sobre JSON é é compatible con JavaScript.
Entón, se eu estou escribindo app web, podo tirar en JSON e só traballar con el directamente.
Considerando con XML, é unha pouco máis complicado.
Entón, de novo, estes son útiles.
Eles só son diferentes casos de uso onde as persoas poden querer usalos.
Aceptar.
Entón, de volta ao API.
Así, podemos buscar for--
>> Dou un exemplo de busca de Donuts.
Tamén pode buscar só nun campo específico dentro aquí.
Entón, en vez de buscar todo o rexistro,
Podo só buscar o campo de título.
E agora hai 25 cousas que ten rosquinhas no título, un dos cales
é sobre a restauración Wetlands na xestión
do rombo programa, o cal pode ser
non necesariamente o que estamos a buscar para cando estamos buscando Donuts.
>> Tamén pode, cando está lidando con un API--
>> Parte de ter unha API é dando persoas o acceso a grandes conxuntos de datos.
E hai un par diferente ferramentas que pode usar para facer iso.
Unha delas é, moi simplemente, vostede pode navegar os datos.
Así como se fai unha consulta a través dunha interface web,
pode ollar para a primeira páxina, páxina dous, páxina tres.
Podes facer o mesmo cousa a través da API.
Só ten que ser explícita en como facelo.
>> Así, por exemplo, se eu estou buscando na miña primeira consulta aquí,
onde eu estou facendo unha investigación de cousas con aneis de escuma no título, o que podo dicir,
e límite é igual a 20, o que significa déame os primeiros 20 rexistros, non
os 10 primeiros, que é o estándar, porque quero ollar para 20 de cada vez.
Ou podo dicir, establecer o iniciar igual a 20 e de espera
igual a 20, o que dará me rexistra 21 a 40.
>> Entón eu creo que a cousa para sacar aquí é
que estamos a usar cadeas de consulta para definir parámetros sobre a consulta.
E el permite que control o que recibe de volta.
>> Outra ferramenta que pode usar, -
>> E iso é realmente útil en termos de explotar os datos.
>> -É algo chamado faceting.
Así, o termo é facetamento non necesariamente común.
Pero xa todos vimos isto antes.
Se der un ollo Amazon, por exemplo,
e se fai unha busca para rosquinhas nos libros,
aquí teñen unha serie de libros, e eles están agrupados por categoría,
e comeza as distintas categorías, e cantos libros en cada categoría
aparecer.
>> Polo tanto, este é basicamente unha faceta.
Se toma todos os seus libros, a 1.800 os libros que correspondan rosquinhas en Amazon.
12 deles están no categoría almorzo.
21 en pastelería e panadería, e así por diante e así por diante.
>> Polo tanto, este é realmente un útil ferramenta para explorar o contido
dentro da biblioteca ben porque cando mira para unha faceta,
que lle dá unha idea do que somete existe, que tipo de asuntos
son máis populares dentro do seu conxunto consulta.
E iso axuda a expulsar e explorar.
Así, podemos facer o mesmo.
>> Se quer usar o API e mirar para as facetas,
engadimos outro parámetro para o noso amigo a cadea de consulta.
Entón facetas é igual a unha lista separada por comas lista do que queremos faceta diante.
Polo tanto, unha das facetas pode estar suxeito.
Outro pode ser a linguaxe.
E por iso, se corremos esta consulta, nós get--
Parece case o mesmo aquí.
Pero temos engadido ao final da lista un conxunto de actividades.
Polo tanto, temos unha faceta chamado asunto.
Entón, iso está nos dicindo que se eu ollar nos meus 80 resultados da consulta filloas,
13 deles teñen o suxeitar Estados Unidos.
Tres teñen os Donuts suxeitos.
Tres teñen o suxeito de restauración de zonas húmidas,
o que pode ser o noso buraco no donut.
Dous deles, os Simpsons, e así por diante e así por diante.
>> Polo tanto, este pode ser útil se quere afinar a súa investigación.
El pode axudar a facelo.
Especialmente se ten máis que, digamos, 80 resultados.
>> Do mesmo xeito, tamén se require para facetas sobre a linguaxe.
Polo tanto, se miramos para os nosos resultados, vemos 76 deles son en inglés, catro en francés,
dous en español, dous, eu creo que é indefinidos ou descoñecidos, holandés e latín.
Entón eu creo que o Latin resultado de rosca, de novo,
non ten nada que ver con produtos de panadaría.
Pero aí vai.
>> Polo tanto, esta é unha especie de mostrarlle como pode tirar o contido de volta
a partir da API só a través navegador web, o que é óptimo.
Pero non é realmente o que faría normalmente usando en API para iso.
Entón, un exemplo de como podería realmente facer iso é que eu teño
escrito un super pequeno programa, que, unha vez máis, que a miña procura rosquinhas
e selecciona algúns campos e as exhibe nunha mesa.
Entón iso é moito o mesmo contido que acabamos
serra con algúns campos levado cara fóra.
Entón lista de títulos, os localización do que o libro
é de preto de, a lingua, e así por diante e así por diante.
>> Entón, como iso realmente aconteceu, xa que Creo que temos que mirar para un código,
é--
>> O que temos aquí é un HTML simple páxina, que exhibe o texto,
Benvido á nube biblioteca e logo exhibe unha táboa de resultados.
E obviamente non hai resultados en a mesa cando a páxina é cargada.
Pero o que estamos facendo é, en primeiro lugar, nós
está a poñer unha biblioteca chamada jQuery, que é basicamente
unha biblioteca JavaScript, o que fai moi fácil de manipular JavaScript
nativamente, HTML, e crear páxinas web, lóxica de cliente e páxinas web.
>> Entón o que temos aquí é jQuery ten un método chamado Get,
que esencialmente vai para un URL, o cal, neste caso,
é este URL ollar familiar.
E, a continuación, obter o contido de que dirección e, a continuación, realizar unha función nel.
Entón nós dixemos ir api.lib.harvard / edu.
Busca Donuts.
Dános a 20 rexistros.
E a continuación, realizar esta función, o que Eu seleccionei, pasando-os datos.
E os datos é o JSON que foi retornado do API.
>> E entón nós estamos dicindo, dentro dese datos hai un campo chamado elemento.
E se eu for un ollo cara atrás en un deses resultados que están aquí,
hai algo called--
>> Ben, é chamado elemento.
De xeito que pode ser que.
E o que fai é pasa por cada elemento
e, a continuación, chama outro función de cada elemento.
E esa función, basicamente, está tomando o valor
do elemento, o que é esencialmente o rexistro individual
e permítenos sacar o título, a cobertura e o idioma.
>> Por iso, chamar a unha función en cada elemento que temos de volta a partir da API.
E se só dar un ollo para este anaco aquí,
o que estamos facendo é estamos creando unha corda,
que é esencialmente un pouco de reserva HTML en torno a unha mesa, con value.title,
que é o título do obxecto, value.coverage,
que é a cobertura, -
>> E nós estamos facendo unha comprobación aquí para ver quen é indefinido
e esconde-lo se di indefinido, porque non estamos realmente interesados
en que.
>> -E entón a linguaxe.
E entón o que somos facendo é engadindo que
para a táboa que se identificado por esta cadea aquí.
E como funciona jQuery é o que se di
é ollar para a táboa coa idea resultados e engade-lle o texto.
E esta é a táboa cos resultados idea.
Entón, o que acaba con é esta páxina aquí.
E, a fin de ver source--
Ben, a fonte non é realmente actualizados cando isto aconteceu.
Así pode ver o real resultados da táboa aquí aínda.
>> Entón, iso é só un exemplo sinxelo de facendo unha consulta moi básico contra a API
e visualización de información nalgún outro formar, e non facer nada moi extravagante.
Agora, outro exemplo é como un solicitude escrita por David Weinberger
como unha demo deste, que esencialmente mostra
como pode mesturar-se os resultados que está a recibindo a partir da API biblioteca nube
con, digamos, Google Books.
>> E o pensamento aquí é que podo realizar unha consulta contra Google Books,
obter unha investigación de texto completo, obter uns resultados volta, descubrir cal destes elementos
realmente existen en Hollis, o sistema de biblioteca,
e, a continuación, dar-me as ligazóns de volta a eses elementos.
Entón, se eu buscar, era unha noite escura e tempestuosa, I
volver unha morea de resultados de Google, e, a continuación, un resultado
que é Unha Dobra o Tempo.
E estes son os enlaces para os libros que existen dentro do sistema de biblioteca de Harvard.
>> Entón eu creo que a cuestión aquí non é tanto que este pode ou non
ser do xeito que quere para buscar a biblioteca,
pero é completamente diferente forma que non estaba dispoñible para ti
antes, como non tiña como facer texto completo busca en libros que, mesmo
eran parte do sistema Biblioteca Harvard.
Entón, agora esta é unha forma que pode facelo.
E pode amosar-los en calquera formato que sexa.
Entón, a cuestión aquí é, basicamente, estamos abrindo novas formas para as persoas
traballando cos datos.
>> Outra peza de cloud biblioteca é que el axuda a expoñer algúns dos datos de uso
que ten a biblioteca.
Entón, se vai á biblioteca, e está á procura de libros,
Non precisa necesariamente realmente ter unha idea de,
para todos os elementos dunha determinado asunto, o que
son persoas na comunidade, se é
definido como Harvard ou o país ou da súa clase,
o que teñen eles atoparon máis útil?
E a biblioteca, en realidade, ten un tonelada de información sobre o que
é máis útil porque se un lote de persoas a visitar a un libro,
que lle di algo.
Debe haber algunha razón queren dar un ollo.
Unha morea de xente poñelas na reserva.
>> Se é na lista de reserva para unha morea das clases, que lle di algo.
Se os membros do corpo docente están verificando- fóra moito e alumnos de graduación non son,
que me di algo.
Viceversa, que tamén dille algo.
Polo tanto, sería moi interesante para poñer esta información alí fóra e deixar
persoas usalo para axudalos a atopar funciona dentro do sistema de biblioteca.
O outro lado diso é hai un pouco de privacidade grave
preocupacións porque un dos principios fundamentais da biblioteca
é que non imos estar a dicir persoas que as outras persoas están lendo.
E aínda que está dicindo iso libro foi comprobado catro veces
nun determinado mes, que podería ser utilizada
para conectar de volta a un determinado persoa por datos de-anonimato
e descubrir o que fixo o check-out.
Así, a forma que podemos avoid--
O xeito que podemos tentar extraer algúns sinais de toda a información
sen infrinxir problemas coa privacidade de ninguén
é, esencialmente, nos miramos 10 anos de datos de uso, -
>> Entón, é por un longo período de tempo.
>> -E dicir, OK, imos ver como moitas veces este traballo foi usado,
e por que ao longo deste período de tempo, e, a continuación, basicamente
devolver un número, que chamamos unha puntuación de pila, que, basicamente,
representa o que el foi usado.
E iso number--
Unha morea de diferentes cálculos ir a ese número.
-Mais é un moi áspera métrica que lle dá
algunha idea de como o comunidade poden valorar ese traballo.
>> E así máis dun tipo de mesmo máis afondados aplicación
que aproveita isto é algo
chamado Stacklife, que é, en realidade, dispoñible a través do principal Harvard
Portal da Biblioteca.
Entón vai para library.harvard.edu.
Verá unha serie de distinta formas de buscar a biblioteca.
E un deles é chamado Stacklife.
>> E este é unha aplicación que navega o contido da biblioteca,
pero é totalmente construído enriba destas APIs.
Polo tanto, non hai material especial pasando nos bastidores.
Non hai acceso a datos que non ten.
Está a usar as APIs para fornecer-lle cunha navegación completamente diferente
experiencia.
>> Entón, se eu buscar Alicia no País das Marabillas, neste caso,
I obter un resultado que parece este, que é moi much--
>> É moi semellante a calquera outra investigación que pode facer, agás, neste caso,
estamos clasificando os elementos por stackscore, que lle dá
algunha idea de quão popular estes elementos estaban dentro da comunidade.
E de forma tan clara, Alicia no país das marabillas por Walt Disney é altamente popular.
Pero tamén se pode ver os catro primeiros aquí son os que pode non actually--
>> Cousas que son moi utilizados, Pero pode non inmediatamente
enlazar co Alicia no país das marabillas.
Así, o noso vello amigo, o Annotated Alice está aquí.
Para que eu poida dar un ollo niso.
E agora o que estou buscando en é basicamente un conxunto de--
Podo ter The Annotated Alicia aquí.
Eu teño información sobre el.
E eu tamén teño un stackscore de, neste caso, 26.
E iso me di que tipo de aproximadamente como chegamos a este stackscore,
como que o check-out, como o xeito no que moitas veces se fixo check-out,
como facultade ou graduandos, como moitas copias a biblioteca ten,
e así por diante e así por diante.
>> E tamén pode, interesante o suficiente aquí, ver as pilas virtualmente.
Así, os datos aquí, este está mostrándolle sorte
dunha representación virtual que o poder de andel
mira como se tivese que tomar todas as explotacións da biblioteca
e poñer-los xuntos sobre unha andel infinito.
E o bo é que nos can--
>> En primeiro lugar, o metadatos sobre estes libros
moitas veces dille cando se publicou.
Dille cantas páxinas ten.
Pode dicir-lle as dimensións.
Así, podes ver que se reflicte aquí en termos de dimensión dos libros.
>> E entón podemos utilizar o empilhar puntuación para destacar
os libros que teñen puntuacións máis altas pila.
Entón, se é máis escura, isto significa que, Presuntamente, é usado con máis frecuencia.
Polo tanto, neste caso, eu son indo para adiviñar que este
é a versión de Alicia no país das marabillas que é moi usado e máis
accedeuse, a biblioteca ten o maior número de copias.
Entón, se está a buscar para Alicia no País das Marabillas,
este pode ser un bo lugar para comezar.
>> E, a continuación, aquí tamén se pode conectar a fóra para, digamos, Amazon para mercar o libro,
e así por diante e así por diante.
O punto aquí, unha vez máis, Non é tanto que este
é a mellor forma de navegar na biblioteca ou a ferramenta correcta para cada ocasión.
Pero é outra forma de facelo.
E facendo a datos dispoñible a través dunha API, que
está feita de bloques de construción moi simple, que permite que buscar o contido,
pode construír algo como esta que poden
ser extraordinariamente valioso para algunhas persoas.
>> Entón, iso é unha especie de, tanto como eu quero a dicir verdade sobre o que a API é
eo que expón, non hai un todo chea de cousas nos bastidores, que
Eu só vou tocar en breve só porque é unha especie de chega a este
desde un ángulo diferente en termos de como é que algo así
se pór en práctica?
>> Así, unha API é un estándar interface con todo ese contido.
Pero para chegar alí, o primeiro que tiña que facer
foi reunir información de libros e imaxes
e os instrumentos de descrición, a colección documento a partir de diversos sistemas de Harvard.
Aleph, VIA, e OASIS son os nomes dos sistemas.
E esencialmente entrar nun tubería, unha tubería de procesamento.
>> Entón, primeiro de todo, temos de exportación ficheiros de todos estes sistemas.
Nós dividídelos en elementos individuais.
Polo tanto, temos un arquivo, que é un gigabyte, que ten un millón de discos na mesma.
Por iso, división la en elementos individuais.
Entón, para cada elemento, imos convertelo lo en mods, porque algunhas delas
son mods nativamente, algúns deles non son.
Entón, nós levalos todos para estar no mesmo formato.
Despois, hai varios etapas de enriquecemento, onde
sumamos máis información para os datos que estaba dispoñible na biblioteca.
Entón, necesitamos engadir, en primeiro lugar temos o que bibliotecas seguro-la.
Pasamos por unha etapa de cálculo da stackscore.
Pasamos por unha etapa engadindo máis de metadatos en termos
que coleccións persoas podería ter engadido isto--
>> A xente está creando coleccións de elementos.
Que coleccións pertence?
Como é que a xente con etiquetas este contido en pasado?
Entón filtrar, e restrinxir os rexistros, porque, como xa referín,
hai algúns rexistros que, por mor da razóns de dereitos de autor, non podemos amosar.
E, despois, cargalos en algo chamado
Solr, que non é un erro de ortografía, pero é o nome dun anaco de software
que fai a indexación de busca, que impulsa toda a busca por tras da API.
E entón el se fai dispoñible para API, e as persoas poden usalo.
>> Entón, iso é como unha forma xusta proceso simple.
Un dos interesante cousas sobre el é
que estamos lidando con 13 millóns de rexistros
e nós imos estar lidando ou máis.
E nós queremos ser capaces de xestionar estes de forma relativamente rápida.
Leva moito tempo para procesar 13 millóns de rexistros.
>> Entón, como este gasoduto é establecer é que can--
Eu creo que a vantaxe do Segmentación, o problema que estamos
intentando resolver aquí, é que todas as transformacións, todo
estes pasos nesta gasoduto son separáveis.
Non hai ningunha dependencia.
Se está a procesar un rexistro de un libro,
non hai ningunha dependencia en que entre outro libro.
>> Entón o que podemos facer é, basicamente, en cada paso na cadra,
imos poñer-la nunha cola na nube.
Pasou de eu estar en Amazon Web Services.
Polo tanto, hai unha lista de, dicir, 10.000 elementos que
necesita ser normalizado e convertidos a formato de mods.
E nós xirar tantos servidores como queremos, quizais 10 servidores.
E cada un destes servidores só senta alí, mira en fila,
vese que hai un que precisa ser procesado, tira-lo da cola,
procesa e sticks que na próxima cola.
>> E así o que nos permite que facer é aplicar, no esencial,
tanto hardware como queremos este problema para un período moi curto de tempo
para procesar os datos tan axiña como posible, o que é algo que só,
agora no mundo da computación en nube Podemos provisionar servidores esencialmente
instantáneamente, que é útil.
Entón, non debemos ter un servidor xigante sentado arredor
o tempo para facer o procesamento que pode ocorrer só unha vez por semana.
>> De xeito que é na maior parte dela.
Non hai documentación dispoñible para a API elemento Biblioteca Nube
neste URL, que será estar dispoñible máis tarde.
E por favor, vai dar un ollo Lo para ver se hai algo,
Ten algunha idea.
Xogar con el.
Xogar.
E espero que pode vir con algo grande.
Grazas.