>> LUCAS Freitas: Ei.
Sveiki visi.
Mano vardas Lukas Freitas.
Aš ne [nesigirdi] jaunesnysis studijuoti kompiuterių mokslas daugiau dėmesio skirti
Kompiuterinė lingvistika.
Taigi, mano vidurinė yra kalba ir kalbų teorija.
Aš tikrai džiaugiamės, kad išmokyti jus vaikinai Šiek tiek apie srityje.
Tai labai įdomi sritis, mokytis.
Taip pat su daug potencialo ateityje.
Taigi, aš tikrai džiaugiamės, kad jūs vaikinai svarsto projektus
Kompiuterinė lingvistika.
Ir aš būsiu daugiau nei laimingi galėdami patarti bet jei jūs nuspręsite
verstis bent viena iš jų.
>> Taigi, visų pirma, kas yra kompiuterinė lingvistika?
Taigi, kompiuterinė lingvistika yra sankirta tarp lingvistikos ir
kompiuterių mokslas.
Taigi, kas yra kalbotyra?
Kas yra informatika?
Na iš lingvistikos, ką mes tai kalbos.
Taigi lingvistika yra iš tikrųjų tyrimas natūralios kalbos apskritai.
Taigi natūralios kalbos - mes kalbame apie kalba, kad mes iš tikrųjų naudoti
bendrauti tarpusavyje.
Taigi mes ne tiksliai kalbėti apie C arba Java.
Mes kalbame daugiau apie anglų kalbos ir Kinijos ir kitų kalbų, kad mes
naudoti bendrauti tarpusavyje.
>> Sudėtingas dalykas, apie tai, kad dabar mes turime beveik 7000
pasaulio kalbų.
Taigi yra gana didelė įvairovė kalbų, kad mes galime mokytis.
Ir tada jūs manote, kad tai tikriausiai labai sunku padaryti, pavyzdžiui,
vertimas iš vienos kalbos į kita vertus, turint omenyje, kad jūs turite
beveik 7000 iš jų.
Taigi, jei manote, kad daryti vertimą iš vienos kalbos į kitą jums
turi beveik daugiau nei milijonas skirtingų kombinacijų, kad jūs galite
turi iš kalbos kalba.
Taigi, tai tikrai nelengva padaryti kai rūšies pavyzdys vertimo sistemos
kiekvienas kalba.
>> Taigi, lingvistika elgiasi su sintakse, semantika, pragmatika.
Vaikinai ne tiksliai reikia žinoti, ką jie yra.
Bet labai įdomus dalykas yra tai, kad kaip gimtoji, kai jūs išmoksite
kalba kaip vaikas, jūs iš tikrųjų mokytis visi iš tų dalykų - sintaksės semantikos
ir pragmatika -
patys.
Ir niekas išmokyti jus, sintaksė jums suprasti, kaip sakiniai
struktūra.
Taigi, tai tikrai įdomu, nes tai kažkas, kad ateina labai
intuityviai.
>> Ir ką jūs vartojate nuo kompiuterių mokslas?
Na, svarbiausia, kad mes turėti informatikos pirma yra
visi, dirbtinis intelektas ir mašina mokymo.
Taigi, ką mes bandome daryti Kompiuterinė lingvistika yra mokyti
kompiuteris kaip ką nors padaryti su kalba.
>> Taigi, pavyzdžiui, mašiną vertimas.
Bandau mokyti savo kompiuterio Kaip sužinoti, kaip pereiti iš vieno
kalbos į kitą.
Taigi, iš esmės patinka mokymą kompiuterių dvi kalbas.
Jeigu aš natūralios kalbos apdorojimo, kuris yra pvz konkrečiais
"Facebook" grafikas Paieška, mokyti kompiuteris kaip suprasti
užklausos gerai.
>> Taigi, jei jums pasakyti "apie nuotraukų Mano draugai. "Facebook" nelaiko, kad
kaip visą eilutę, kuri turi tik žodžių krūva.
Jis tikrai supranta ryšį tarp "Nuotraukos" ir "mano draugai" ir
supranta, kad "nuotraukos" yra nuosavybė "draugais".
>> Taigi, tai yra dalis, pavyzdžiui, natūralios kalbos apdorojimas.
Jis bando suprasti, kas yra tarp ryšys
tariamosios sakinyje žodžiai.
Ir didelis klausimas, ar galite išmokyti kompiuterį, kaip kalbėti
apskritai kalba?
Kuris yra labai įdomus klausimas galvoti, nes jei gal ateityje,
jūs ketinate turėti galimybę kreipkitės į savo mobilųjį telefoną.
Tipo kaip, ką mes darome su "Siri", bet kažkas nutiko, jūs iš tikrųjų galite
sakyti, ką nori, ir telefonas ketina viską suprantu.
O tai gali turėti tolesnių klausimų ir nuolat kalbėti.
Tai kažkas tikrai įdomu, mano nuomone.
>> Taigi, kažkas apie natūraliųjų kalbų.
Kažkas tikrai įdomaus natūralios kalbos yra tai, kad, ir tai yra
kreditas mano lingvistikos profesorius, Maria Polinsky.
Ji suteikia pavyzdį ir manau, tai tikrai įdomu.
Kadangi mes išmokti kalbą nuo tada, kai mes gimę ir tada mūsų gimtoji
kalba rūšies auga ant mūsų.
>> Ir iš esmės jūs išmoksite kalbą nuo minimalaus indėlio, tiesa?
Jūs tik gauti informacijos iš savo tėvai, ką jūsų kalba skamba
patinka, ir jūs tiesiog išmokti.
Taigi, tai įdomu, nes jei peržvelgsite tuose sakiniuose, pvz.
Jums atrodo, "Marija užsideda kailio kiekvieną kartą, kai ji palieka namus. "
>> Šiuo atveju, tai galima turėti žodis "ji" reiškia Marijos, tiesa?
Galite pasakyti: "Marija užsideda kailio kiekvieną kartą, kai Marija palieka
namas. ", kad viskas gerai.
Bet tada jei peržvelgsite sakinio "Ji užsideda kailio kaskart Marija
palieka namus. "Jūs žinote, tai Neįmanoma pasakyti, kad "ji" yra
nuoroda į Marijos.
>> Nėra sakydamas, kad "Marija kelia būdas ant palto kiekvieną kartą Marija palieka
namas. "Taigi, tai įdomu, nes tai yra intuicija natūra
kad kiekvienas gimtoji yra.
Ir niekas mokė, kad tai yra taip, kad sintaksė veikia.
Ir kad jūs galite turėti tik šį "Ji" nuoroda į Marijos šiame Pirmuoju atveju
ir faktiškai tai kita taip pat, bet ne šį vieną.
Bet kiekvienas natūra gauna į tą patį atsakymą.
Visi sutinka, kad.
Taigi, tai tikrai įdomu, kaip nors jūs neturite žinoti visas taisykles
savo kalba, rūšies suprasti kaip kalba veikia.
>> Taigi, įdomus dalykas, apie gamtos kalba yra tai, kad jūs neturite
žinoti, bet sintaksė žinoti, jei sakinys yra gramatinė ar gramatikos ir
daugeliu atvejų.
Todėl jūs manote, kad gal kas atsitinka taip, kad per savo gyvenimą, jūs
tiesiog laikyti vis labiau ir labiau sakiniai papasakojo jums.
Ir tada jūs nuolat įsiminimo visi sakiniai.
Ir tada, kai kas nors jums pasakys kažkas, išgirsite, kad sakinys ir
pažvelgti į savo žodyną sakinių ir pamatyti, jei
kad sakinys yra.
Ir jei tai ten sako, kad gramatinė.
Jei tai nėra jums pasakyti, kad tai gramatikos.
>> Taigi, tuo atveju, galėtumėte pasakyti, oh, todėl jūs turite milžinišką sąrašą visų
galimi sakiniai.
Ir tada, kai išgirsite sakinį, jūs žinote, jei tai gramatinė ar
nėra pagrįsta, kad.
Dalykas yra tai, kad jei peržvelgsite sakinys, pavyzdžiui, "
penkių vadovauja CS50 TFS virti aklas aštuonkojai naudojant DAPA puodelis. "Tai
tikrai ne sakinys kad jūs girdėjote anksčiau.
Bet tuo pačiu metu, jūs žinote, tai gana daug gramatinių, tiesa?
Nėra gramatinių klaidų ir jūs galite pasakyti, kad
tai įmanoma sakinys.
>> Taigi tai verčia manyti, kad iš tikrųjų Taip, kad mes mokomės kalbą yra ne tik
turėdami milžinišką duomenų bazę galima žodžiai ar sakiniai, bet daugiau
supratimą tarp santykį žodžiai tų sakinių.
Ar tai prasminga?
Taip, tada klausimas, gali kompiuteriai mokytis kalbų?
Ar mes mokome kalbą kompiuteriuose?
>> Taigi, pagalvokime skirtumo tarp gimtoji kalba
ir kompiuteris.
Taigi, kas atsitinka su garsiakalbiu?
Na, gimtoji mokosi kalba sąlyčio su juo.
Paprastai jos ankstyvosios vaikystės metai.
Taigi, iš esmės, jūs tiesiog turėti kūdikį, ir jūs nuolat kalbėti su juo, ir jis
tik mokosi, kaip kalbėti kalba, tiesa?
Taigi, jūs iš esmės suteikia indėlis į kūdikį.
Taigi, tada galima teigti, kad kompiuteris gali daryti tą patį, tiesa?
Jūs galite tiesiog suteikti kalbai kaip įvestį į kompiuterį.
>> Kaip, pavyzdžiui, failų krūva kad turi knygų anglų kalba.
Gal tai vienas iš būdų, kad jums galėtų mokyti
kompiuteris Anglų, tiesa?
Ir iš tiesų, jei jūs manote apie tai, pateksite gal pora
dienas skaityti knygą.
Už kompiuterį užtrunka sekundę pažvelgti į visus knygos žodžių.
Taigi, jūs galite galvoti, kad gali būti tik tai argumentas indėliu aplink jus,
kad neužtenka pasakyti, kad tai kažkas, kad tik žmonės gali padaryti.
Jūs galite galvoti kompiuteriai Taip pat galite gauti informacijos.
>> Antras dalykas yra tai, kad gimtoji kalba taip pat turime smegenis, kad turi
kalbų mokymosi galimybė.
Bet jei jūs manote apie tai, Smegenys yra kietas dalykas.
Kai gimsta, jis jau nustatytas -
tai yra jūsų smegenys.
Ir kaip jums augti, jūs tiesiog gaunate daugiau įvesties kalbos, o gal ir maistinių medžiagų
ir kitų dalykų.
Tačiau gana daug jūsų smegenys yra kietas dalykas.
>> Taigi galima pasakyti, gerai, gal galite statyti kompiuterį, kuriame yra krūva
funkcijos ir metodai, kad tik imituoja kalbų mokymosi galimybė.
Taigi šia prasme, galima sakyti, gerai, aš gali turėti kompiuterį, kuriame yra visi
ką man reikia išmokti kalbą.
Ir paskutinis dalykas yra tai, kad gimtoji garsiakalbis mokosi iš bandymų ir klaidų.
Taigi, iš esmės dar vienas svarbus dalykas, kalbos mokymasis yra tai, kad jūs tipo
iš mokytis dalykų, darant apibendrinimai, ką išgirsite.
>> Taigi, kaip jūs auga jūs sužinosite, kad kai kurie žodžiai yra daugiau kaip daiktavardžiai,
kai kurie kiti jų yra būdvardžiai.
Ir jums nereikia turėti bet žinių lingvistikos
suprasti, kad.
Bet jūs tiesiog žinau, ten kai kurie žodžiai yra išdėstyti tam tikra dalis
sakinys ir kai kurie kiti kiti dalys sakinyje.
>> Ir tai, kai jūs darote kažką, kad yra kaip sakinio, kad nėra teisinga -
gal, nes yra per apibendrinimas pavyzdžiui.
Gal kai jūs augau, jūs pastebėsite, kad daugiskaita paprastai
suformuotas išleidimą S ne Žodžio pabaiga.
Ir tada jums pabandyti padaryti, kad daugiskaitą "elnias", kaip "elnių" arba "dantis" kaip
"tooths." Taigi jūsų tėvai arba kas taiso jums ir sako, ne,
daugiskaita apie "elnias" yra "elnias", ir daugiskaitos iš "dantis" yra "dantis". Ir
Jums išmokti tuos dalykus.
Taigi, jūs išmoksite iš bandymų ir klaidų.
>> Bet jūs taip pat gali tai padaryti su kompiuteriu.
Jūs galite turėti kažką vadinama stiprinimas mokymasis.
Kuris iš esmės yra tarsi suteikiant kompiuteris atlygis, kai ji
kažkas teisingai.
Ir suteikiant jam atlygį priešingai ir kai ji ką nors blogo.
Jūs iš tikrųjų galite pamatyti, kad jei jūs einate į Google Translate ir bandysite
išversti sakinį, jis prašo jums už atsiliepimus.
Taigi, jei jūs sakote, oi, ten geriau vertimas šio sakinio.
Jūs galite įvesti jį ir tada, jei iš daug žmonės nuolat sako, kad yra geriau
vertimas, tai tik sužino, kad ji vietoj turėtų naudoti tą vertimą
vienas buvo duoti.
>> Taigi, tai labai filosofinis klausimas pamatyti, jei kompiuteriai bus
galėsite kalbėtis ar ne ateityje.
Bet aš turiu daug vilčių, kad jie gali tik remiantis šiais argumentais.
Bet tai tik daugiau filosofinė klausimas.
>> Taigi, nors kompiuteriai dar negali kalbėti, kas yra tai, ką mes galime padaryti?
Kai kurie tikrai cool viskas yra duomenų klasifikacija.
Taigi, pavyzdžiui, vaikinai žinoti kad pašto paslaugos dabar daryti
Pavyzdžiui, šiukšlių.
Taigi, kai gaunate šlamštas, tai bando filtruoti į kitą dėžutę.
Taigi, kaip tai padaryti?
Tai nėra, kaip kompiuteris tiesiog žino Kokią pašto adresai siuntimo paštu.
Taigi jis daugiau grindžiamas turinio pranešimą, o gal pavadinimas, arba
gal kai modelis, kad jūs turite.
>> Taigi, iš esmės, ką jūs galite padaryti, tai gauti daug duomenų laiškų, kurie šlamštas,
laiškus, kurie yra ne šlamštas, ir sužinoti, kas rūšies raštų turite
tie, kurie yra šlamštas.
Ir tai yra dalis Skaičiuojamasis lingvistika.
Ji vadinama duomenų klasifikacija.
Ir mes iš tikrųjų ketiname pamatyti pavyzdys, kad per ateinančius skaidres.
>> Antras dalykas yra natūralios kalbos perdirbimą, kuris yra dalykas, kad
Grafikas Paieška daro nuomos jums parašyti sakinį.
Ir jis tiki, jūs suprantate, ką yra prasmė ir suteikia
jums geresnis rezultatas.
Tiesą sakant, jei jūs einate į "Google" ar Bing ir ieškoti kažką panašaus Lady
Gaga aukštis, jūs iš tikrųjų vyksta gauti 5 '1 ", o ne informacijos
iš jos, nes ji iš tikrųjų supranta ką jūs kalbate apie.
Štai dalis gamtos kalbos apdorojimas.
>> Ar taip pat, kai jūs naudojate Siri pirmas turite algoritmą, kuris bando
išversti tai, ką jūs sakote, į žodžius, į tekstą.
Ir tada jis bando išversti kad į prasmę.
Taigi, kad viskas priklauso gamtos kalbos apdorojimas.
>> Tada jūs turite automatinį vertimą -
kuris iš tikrųjų yra vienas iš mano mėgstamiausių -
kuris yra tiesiog versti iš kalbos į kitą.
Taigi, jūs galite galvoti, kad kai darai mašininis vertimas, turite
begalinės galimybės sakinių.
Taigi, čia yra ne tiesiog laikyti būdas kiekvienas vertimas.
Taigi jūs turite sugalvoti įdomu algoritmų, kad būtų galima
išversti kiekvieną sakinys tam tikru būdu.
>> Vaikinai turite kokių nors klausimų iki šiol?
Ar ne?
Gerai.
>> Taigi, ką mes ketiname pamatyti šiandien?
Pirmiausia, aš norėčiau pakalbėti apie klasifikavimo problema.
Taigi, vienas, kad aš buvau sako apie šlamštas.
Ką aš ruošiuosi padaryti, tai, atsižvelgiant Siūlyti dainą, galite pabandyti išsiaiškinti,
su didele tikimybe kas yra dainininkas?
Tarkime, kad turiu dainas iš Motinos Gaga ir Katy Perry, jei aš jums
nauja daina, galite išsiaiškinti, ar tai Katy Perry ar Lady Gaga?
>> Antrasis, aš tiesiog norėčiau pakalbėti apie segmentacijos problemą.
Taigi, aš nežinau, jei jus vaikinai žino, bet Kinų, japonų, kitų Rytų Azijos
kalbos ir kitų kalbų apskritai, neturi
tarpų tarp žodžių.
Ir tada, jei jūs manote apie tai, kaip šios kompiuteris rūšies mėgina
suprasti, natūralios kalbos apdorojimo, atrodo ne žodžiais ir
bando suprasti santykius tarp jų, tiesa?
Bet tada jei turite Kinija, ir jūs turi nulines erdves, tai tikrai sunku
sužinoti, kas yra tarp ryšys žodžiai, nes jie neturi bet
žodžiai pirmas.
Taigi, ką jums reikia padaryti kažką vadinama segmentavimas, kuris tiesiog reiškia išleidimą
tarpai tarp to, ką mes norime skambinti žodžiai tų kalbų.
Prasmės?
>> Ir tada mes ketiname kalbėti apie sintaksę.
Taigi tik šiek tiek apie gamtos kalbos apdorojimas.
Tai bus tiesiog apžvalga.
Taigi, šiandien, iš esmės tai, ką noriu daryti yra suteikti jums vaikinai šiek tiek
viduje kokios yra galimybės kad jūs galite padaryti su skaičiuojamosios
lingvistika.
Ir tada jūs galite pamatyti, ką jūs manote yra kietas tarp šių dalykų.
O gal jūs galite galvoti apie projekto ir ateiti pasikalbėti su manimi.
Ir galiu jums patarti apie tai, kaip jį įgyvendinti.
>> Taigi sintaksė bus šiek tiek apie grafikas Paieška ir mašinos
vertimas.
Aš tiesiog ketina duoti kaip pavyzdį galite, pavyzdžiui, išversti
kažkas iš portugalų į anglų.
Skamba gerai?
>> Taigi, pirmiausia, klasifikavimo problema.
Aš pasakyti, kad tai seminaro dalis bus sunkiausia
tik vienas, nes vyksta turi būti tam tikras kodavimo.
Bet tai bus Python.
Aš žinau, vaikinai nežino, Python, todėl Aš tik ketina paaiškintų, aukštos
lygį, ką aš darau.
Ir jūs neturite really care per daug apie sintaksę, nes tai
ką jūs vaikinai gali mokytis.
Gerai?
Skamba gerai.
>> Taigi, kas yra klasifikavimo problema?
Taigi jums suteikta keletą dainos žodžius daina, ir norite atspėti
kas dainuoja jį.
Ir tai gali būti bet kokios rūšies kitų problemų.
Taigi tai gali būti, pavyzdžiui, jūs turite prezidento rinkimų kampaniją, ir jūs turite
kalba, o jūs norite rasti , jei jis buvo, pavyzdžiui,
B. Obama ar Mitt Romney.
Arba jūs galite turėti laiškų krūva ir norite išsiaiškinti, ar jie yra
šlamštą, ar ne.
Taigi, tai tik klasifikuojant kai grindžiami duomenys žodžiai
, kad turite ten.
>> Taigi, norint tai padaryti, jūs turite padaryti keletą prielaidų.
Taigi apie kompiuterinės lingvistikos daug daro prielaidas,
paprastai smart prielaidos, kad galite gauti gerų rezultatų.
Bandymas sukurti jam modelį.
Ir tada jį išbandyti ir pamatyti, jei ji veikia, jei ji suteikia jums gerą tikslumo.
Ir jei taip, tuomet jūs pabandyti jį patobulinti.
Jei ne, jūs kaip, gerai, gal aš turėtų kitą prielaidą.
>> Taigi prielaida, kad mes ketiname padaryti, kad menininkas paprastai dainuoja
apie temą kelis kartus, o gal naudoja žodžius kelis kartus tiesiog
nes jie įpratę prie jo.
Jūs galite tiesiog galvoti apie savo draugus.
Aš tikiu, kad jus vaikinai visi turime draugų kad pasakyti savo parašo frazę,
pažodžiui kiekvieną sakinį -
kaip kai konkretaus žodžio ar tam tikram frazė, kad jie pasakyti
kiekvienas sakinys.
>> Ir ką jūs galite pasakyti, kad, jei matote sakinys, kuris turi parašo
frazė, galima spėti, kad greičiausiai Jūsų draugas
viena sakau, tiesa?
Taigi, jūs padaryti šią prielaidą ir tada tai kaip jums sukurti modelį.
>> Pavyzdys, kad aš ruošiuosi duoti yra kaip Lady Gaga, pavyzdžiui, žmonės
pasakyti, kad ji naudoja "Baby" už visi jos numeris vienas dainas.
Ir iš tikrųjų tai yra vaizdo, kad rodo jai sakydamas žodį "kūdikio" už
skirtingos dainos.
>> [VIDEO PLAYBACK]
>> - (SINGING) kūdikiui.
Kūdikių.
Babe.
Kūdikių.
>> [PABAIGA VIDEO PLAYBACK-
>> LUCAS Freitas: Taigi yra, manau, 40 dainos čia, kuriame ji sako
Žodis "kūdikis". Taigi jūs galite iš esmės manau, kad jei matote dainą, kuri turi
Žodis "kūdikis", yra keletas aukštos tikimybė, kad jis Lady Gaga.
Bet pabandykime plėtoti šią dar daugiau formaliai.
>> Taigi šie žodžiai dainų pagal Lady Gaga ir Katy Perry.
Taigi, jums pažvelgti į Lady Gaga, pamatysite jos turi įvykių daug "kūdikis"
daug pasikartojimų "taip". Ir Katy Perry turi pasikartojimų daug
"," Pasikartojimų daug "ugnies".
>> Taigi, iš esmės tai, ką mes norime padaryti, tai jums lyrikos.
Tarkime, kad jūs gaunate už lyric daina, kuri yra "kūdikis", tiesiog "kūdikis". Jei
jūs tiesiog gaunate žodį "kūdikio", ir tai yra visi duomenys, kad jūs turite iš
Lady Gaga ir Katy Perry, kuris būtų galite atspėti, yra asmuo,
kas dainuoja daina?
Lady Gaga ir Katy Perry?
Lady Gaga, tiesa?
Nes ji vienintelė, kuri sako "Kūdikis". Tai skamba kvailai, ar ne?
Gerai, tai yra tikrai paprasta.
Aš tiesiog žiūri į dviejų dainų ir Žinoma, ji tik tas, kuris turi
"Kūdikis".
>> Bet kas, jei turite žodžių krūva?
Jei faktinė lyrikos, nors pavyzdžiui, "kūdikis, aš tiesiog
nuvyko į [? CFT?]
paskaita "ar kažkas panašaus, ir tada jūs iš tikrųjų turite išsiaiškinti -
remiantis visais šiais žodžiais -
kas yra menininkas, kuris tikriausiai dainavo šią dainą?
Taigi pabandykime sukurti tai šiek tiek toliau.
>> Gerai, kad grindžiamas tik duomenų, kad mes turiu, atrodo, kad Gaga yra tikriausiai
dainininkė.
Bet kaip mes galime rašyti tai daugiau oficialiai?
Ir ten bus mažai šiek tiek statistikos.
Taigi, jei jūs prarasti, tiesiog pabandyti suprasti sąvoka.
Tai neturi reikšmės, jei jūs suprantate lygtys puikiai.
Visa tai bus internete.
>> Taigi, iš esmės, ką aš apskaičiuoti, Tikimybė, kad ši daina yra iš
Lady Gaga turint omenyje, kad -
todėl ši juosta reiškia, turint omenyje, kad -
Pamačiau žodį "kūdikis". Ar tai prasminga?
Taigi, aš bandau apskaičiuoti kad tikimybė.
>> Taigi tai teorema vadinama Bajeso teorema, kuri teigia, kad
tikimybė tam tikrą B yra tikimybė B suteiktas A, datos
tikimybė, nei tikimybe iš B. Tai ilgas lygtis.
Bet ką jūs turite suprasti, iš tai, kad tai, ką aš noriu
apskaičiuoti, tiesa?
Taigi tikimybė, kad ta daina yra iš Lady GaGa nes pamačiau žodį
"Kūdikis".
>> O dabar ką aš gaunu yra Tikimybė, žodis "baby" atsižvelgiant į
kad turiu Lady Gaga.
Ir kas tai yra iš esmės?
Ką tai reiškia, tai, kas tikimybė pamatyti žodį "baby"
per Gaga dainos?
Jei aš noriu apskaičiuoti, kad labai paprastas būdas, tai tik iš skaičių
kartų matau "Baby", palyginti su bendru iš žodžių Gaga dainų, tiesa?
Kas yra dažnis, kad matau kad žodis Gaga darbe?
Prasmės?
>> Antrasis trimestras tikimybė Gaga.
Ką tai reiškia?
Tai iš esmės reiškia, kad tai, kas tikimybė klasifikuoti
kai žodžiai kaip Gaga?
Ir tai yra tipo keista, bet tegul galvoja pavyzdys.
Taigi galime sakyti, kad tikimybė turintys "Baby" daina yra pati
už Gaga ir Britney Spears.
Tačiau Britney Spears turi du kartus daugiau dainų nei Lady Gaga.
Taigi, jei kažkas tiesiog atsitiktinai suteikia jums lyrika "kūdikis", pirmas dalykas, kurį
pažvelgti į tai, kas yra tikimybė, turintys "Baby" į Gaga dainą "Baby"
į Britney daina?
Ir tai tas pats.
>> Taigi antras dalykas, kad jūs matote, yra tai, gerai, kas yra tikimybė,
pati tai lyrikos yra Gaga lyrikos, ir kas yra tikimybė,
yra Britney lyrinis?
Taigi nuo Britney turi tiek daug daugiau dainų kaip Gaga, jūs tikriausiai
tarkim, gerai, tai tikriausiai Britney lyrikos.
Štai kodėl mes turime tai vadiname čia.
Tikimybė Gaga.
Prasminga?
Ar tai?
Gerai.
>> Ir naujausia yra tik tikimybė iš "Baby", kuri nėra
tikrai nesvarbu, kad daug.
Bet tai tikimybe matyti "Baby" anglų kalba.
Mes paprastai nerūpi, kad daug apie šio termino.
Ar tai prasminga?
Taigi Gaga tikimybė yra vadinamas prieš tikimybė
iš klasės Gaga.
Nes tai tiesiog reiškia, kad tai, kas Tikimybė turėti šią klasę -
kuris Gaga -
tiesiog apskritai, tiesiog be sąlygų.
>> Ir tada, kai turiu tikimybę Gaga suteiktas "kūdikis", mes jį vadiname plius
verkiantis tikimybę, nes tai turintys tikimybė
Gaga davė keletą įrodymų.
Taigi, aš suteikti Jums įrodymus kad aš pamačiau žodį kūdikį ir
daina prasminga?
Gerai.
>> Taigi, jei aš apskaičiavo, kad už kiekvieną iš Lady Gaga dainų,
kas tai būtų -
matyt, aš negaliu perkelti jį.
Iš Gaga tikimybė bus kažkas panašaus, 2 per 24 kartų 1/2,
per 2 per 53.
Tai neturi reikšmės, jei jūs žinote, ką šie skaičiai iš.
Bet tai tik skaičius, kad ketina būti daugiau nei 0, tiesa?
>> Ir tada, kai aš Katy Perry tikimybė "Baby" suteikta Katy yra
jau 0, tiesa?
Nes nėra "kūdikis" Katy Perry.
Taigi tai tampa 0, o Gaga laimi, o tai reiškia, kad Gaga yra
tikriausiai dainininkė.
Ar tai prasminga?
Gerai.
>> Taigi, jei aš noriu, kad tai daugiau pareigūną, Aš iš tikrųjų gali padaryti modelį
kelis žodžius.
Taigi galime sakyti, kad turiu kažką pavyzdžiui, "kūdikis, aš esu
ant ugnies ", ar kažką.
Taigi ji turi kelis žodžius.
Ir šiuo atveju, jūs galite pamatyti kad "kūdikis" yra Gaga,
bet tai nėra Katy.
Ir "ugnis" yra Katy, bet tai ne Gaga, tiesa?
Taigi jis vis sudėtingiau, tiesa?
Nes atrodo, kad jūs beveik yra tarp dviejų lygų rezultatą.
>> Taigi, ką jūs turite padaryti, tai prisiimti nepriklausomumas tarp žodžių.
Taigi, iš esmės, ką tai reiškia, kad Aš tiesiog apskaičiuoti, kas yra
tikimybė pamatyti "kūdikį", kas yra matyti tikimybė "aš" ir
"Esu", ir "ant" ir "ugnis" visos atskirai.
Tada aš dauginant juos visus.
Ir aš matau, kas yra tikimybė, pamatyti visą sakinį.
Prasmės?
>> Taigi, iš esmės, jei turiu tik vieną žodį, ką aš noriu rasti yra arg max
o tai reiškia, kas yra grupė, kuri yra suteikia man didžiausią tikimybę?
Taigi, kas yra klasė, suteikia man didžiausia tikimybė
Tikimybė klasės suteikta žodį.
Taigi šiuo atveju Gaga suteiktas "kūdikį". Arba Katy suteiktas "kūdikį". Prasmės?
>> Ir tik nuo Bayes, kad lygtis, kad aš parodė,
mes sukurti šią frakciją.
Vienintelis dalykas, kad jūs matote, kad žodžio tikimybė suteikta
klasė keičiasi priklausomai nuo nuo klasės, tiesa?
Iš "Baby" s, kad aš skaičius per Gaga skiriasi nuo Katy.
Klasės tikimybė taip pat pokyčius, nes tai tiesiog numeris
dainų kiekvienas iš jų turi.
>> Tačiau pats žodis tikimybė bus tas pats visiems
menininkai, tiesa?
Taigi žodžio tikimybė yra tiesiog, kas yra tikimybė,
matome, kad žodis Anglų kalba?
Todėl visus juos pats.
Taigi, kadangi tai yra nuolatinis, mes galime tiesiog lašas tai ir negalvoja apie tai.
Taigi, tai bus iš tikrųjų lygtis mes ieškome.
>> Ir jei turiu kelis žodžius, aš dar teks iki
tikimybė čia.
Vienintelis dalykas yra tai, kad aš dauginant Tikimybių
visi kiti žodžiai.
Taigi, aš dauginant juos visus.
Prasmės?
Atrodo keistai, bet iš esmės reiškia, apskaičiuoti iki šios klasės, ir
tada padauginti iš kiekvieno tikimybe žodžiai neliečia tos klasės.
>> Ir jūs žinote, kad tikimybė Žodis suteiktas klasė bus
skaičių kartų matote šį žodį kad klasės, padalintas iš skaičiaus
žodžiai turite, kad klasė apskritai.
Prasmės?
Tai tiesiog kaip "kūdikis" buvo 2 per žodžių skaičius, kad
Turėjau dainų.
Taigi tik dažnis.
>> Bet yra vienas dalykas.
Prisiminkite, kaip aš rodžiau, kad tikimybė "kūdikių" Būti žodžiai
iš Katy Perry buvo 0 tik todėl, kad Katy Perry neturėjo "Baby" ne visi?
Bet tai skamba šiek tiek šiurkštus tik tiesiog pasakyti, kad žodžiai gali būti ne iš
menininkas tik todėl, kad jie neturi kad žodis ypač bet kuriuo metu.
>> Taigi, galite tiesiog pasakyti, gerai, jei neturi šį žodį, aš ruošiuosi
Jums skirti mažesnę tikimybę, bet aš tik nesiruošia
Jums 0 karto.
Nes gal tai buvo kažkas panašaus, "Gaisro, gaisro, ugnies, ugnis", kuris yra
visiškai Katy Perry.
Ir tada "kūdikis", ir jis tiesiog eina į 0 iš karto, nes ten buvo vienas
"Kūdikis".
>> Taigi, iš esmės tai, ką mes darome, yra kažkas vadinamas Laplaso išlyginimo.
Ir tai tiesiog reiškia, kad aš padovanosiu kai tikimybė, net žodžių
kad nėra.
Taigi, ką aš galiu padaryti, kad kai aš Apskaičiuojant tai, aš visada pridėti 1 kaip
skaitiklis.
Taigi, net jei žodis neegzistuoja, ir Tokiu atveju, jei tai yra 0, aš vis dar
Apskaičiuojant tai, kaip 1 per bendras žodžių skaičius.
Priešingu atveju, aš gauti kiek žodžių Turiu ir aš pridėti 1.
Taigi, aš skaičiuoti abiem atvejais.
Prasmės?
>> Taigi dabar galime padaryti kai kodavimas.
Aš ruošiuosi tai padaryti gana greitai, bet tai tik svarbu, kad jums
vaikinai suprasti sąvokas.
Taigi, ką mes bandome padaryti yra tiksliai įgyvendinti šį
dalykas, kad aš ką tik pasakė -
Noriu, kad jūs įdėti žodžiai iš Lady Gaga ir Katy Perry.
Ir programa bus suteikta galimybė pasakyti, ar šie nauji žodžiai yra iš Gaga
ar Katy Perry.
Prasmės?
Gerai.
>> Taigi turiu šią programą aš ruošiuosi skambinti classify.py.
Taigi tai yra Python.
Tai nauja programavimo kalba.
Jis yra labai panašus į kai būdų, C ir PHP.
Tai panašu, nes, jei norite išmokti Python po žinant C, tai
tikrai ne tai, kad daug iššūkis tik todėl, kad Pitonas yra daug lengviau
nei C, visų pirma.
Ir daug dalykų jau įgyvendinama už jus.
Taigi, tiesiog, kaip pavyzdžiui, PHP turi funkcijas, kad rūšiuoti sąrašą, arba pridėti kažką
į masyvą, ar bla, bla, bla.
Python yra visi tie taip pat.
>> Taigi, aš tik ketina greitai paaiškinti kaip mes galime padaryti klasifikacija
problema čia.
Taigi galime sakyti, kad šiuo atveju, turiu lyrics Gaga ir Katy Perry.
Būdas, kad aš turiu tuos žodžiai yra tai, kad pirmasis žodis iš dainos yra
menininko vardas, o likusi dalis yra lyrika.
Taigi galime sakyti, kad turiu šį sąrašą kuris pirmasis yra žodžiai Gaga.
Taigi, čia aš esu teisingame kelyje.
Ir šalia vienas Katy ir jis taip pat dainų.
>> Taigi, tai, kaip jūs deklaruoti Python kintamasis.
Jūs neturite duoti duomenų tipą.
Jūs tiesiog parašyti "žodžiai" kokios patinka PHP.
Prasmės?
>> Taigi, kas yra tai, kad turiu apskaičiuoti, kad būtų galima apskaičiuoti
tikimybės?
Turiu apskaičiuoti "priors" kiekvieno skirtingi
klasės, kad aš.
Turiu apskaičiuoti "posteriors", ar gana daug tikimybes
Kiekvieno iš skirtingų žodžių, Galiu turėti kiekvienam menininkui.
Taigi per Gaga, pavyzdžiui, aš ruošiuosi turėti kiek kartų matau sąrašą
kiekvienas iš žodžių.
Prasmės?
>> Ir pagaliau, aš tiesiog teks sąrašas vadinamas "žodžiai", kuri yra tik ketina
turėti kiek žodžių aš turėti kiekvienam menininkui.
Taigi Gaga, pavyzdžiui, kai aš žiūriu su tekstais, aš manau, 24
žodžiai iš viso.
Taigi šis sąrašas yra tik teks Gaga 24 ir Katy kitas numeris.
Prasmės?
Gerai.
>> Taigi dabar, iš tikrųjų, tegul eiti į kodavimas.
Taigi, Python, jūs iš tikrųjų galite grįžti yra skirtingi krūva
viskas iš funkcijos.
Taigi, aš ruošiuosi sukurti šią funkciją vadinamas "sąlyginis", kuris vyksta
grąžinti visus iš tų dalykų, "nenuosavas", kad "tikimybės", ir
"žodžiai". Taigi "Sąlyginai", ir tai bus skambinama į "žodžiai".
>> Taigi, dabar noriu jums iš tikrųjų rašyti šią funkciją.
Taigi, taip, kad aš galiu tai parašyti funkcija aš tiesiog tai apibrėžta
veikti su "Def. Taigi aš "Def sąlyga ", o tai, atsižvelgiant
"Žodžiai". O kas tai darys yra, visų pirma, turiu priors
kad aš noriu apskaičiuoti.
>> Taigi, taip, kad aš tai galiu padaryti, tai sukurti Python, kalbų žodynas
yra beveik tas pats dalykas kaip maišos stalo, ar tai kaip iteracinis
masyvas PHP.
Tai kaip man deklaruoti žodyną.
Ir iš esmės, ką tai reiškia, kad nenuosavas iš Gaga yra 0,5, jei, pavyzdžiui,
50% dainų yra iš Gaga, 50% yra Katy.
Prasmės?
Taigi turiu išsiaiškinti, kaip apskaičiuoti priors.
>> Artimiausius tie, kad aš turi daryti, taip pat, yra tikimybės ir žodžiai.
Taigi iš Gaga tikimybės yra sąrašas visų tikimybių, kad aš
turėti atskiruose Gaga žodžių.
Taigi, jei aš einu į tikimybių Gaga "Kūdikis", pavyzdžiui, tai bus man
kažkas panašaus į 2 per 24 šiuo atveju.
Prasmės?
Taigi aš einu į "tikimybės", eikite į "Gaga" bucket, kad turi visą sąrašą
kad Gaga žodžiai, tada aš einu į "kūdikis" ir matau tikimybę.
>> Ir pagaliau turiu tai "Žodžiai" žodynas.
Taigi čia ", tikimybės." Ir "žodžiai". Taigi, jei aš "žodžiai", "Gaga"
kas nutiks yra tai, kad ketina suteikti man 24, sakydamas, kad aš
turi 24 žodžius per žodžiai iš Gaga.
Prasminga?
Taigi čia "žodžiai" yra lygu DAH-Dah-Dah.
Gerai
>> Taigi, ką aš ruošiuosi padaryti tai aš ruošiuosi kartoti per kiekvieną iš žodžių, todėl
kiekvienas stygos kad Turiu sąraše.
Ir aš ruošiuosi apskaičiuoti tuos dalykus už kiekvieną kandidatų.
Prasminga?
Taigi aš turiu padaryti už kilpą.
>> Taigi, Python, ką aš galiu padaryti, tai "už linijos iš dainų. "tas pats, kaip
"Už kiekvieną" pareiškimą PHP.
Prisiminkite, kaip aš, jei ji buvo PHP galėtų sako: "kiekvienos dainos kaip
linija. "Prasminga?
Taigi, aš imtis kiekvienas iš šių linijų, šiuo atveju, šios eilutės ir kitą
string taip kiekvienai iš linijų, ką aš ruošiuosi padaryti tai pirma, aš ruošiuosi
padalyti šią eilutę į sąrašo žodžiai, atskirti tarpais.
>> Taigi cool dalykas apie Python yra tai, kad galima tiesiog "Google", pavyzdžiui, "kaip aš galiu
padalinti eilutę į žodžius? "Ir tai ketina papasakoti, kaip tai padaryti.
Ir kaip tai padaryti, tai tik "linija = Line.split () "ir tai iš esmės
ketina suteikti jums sąrašą kiekvienas čia žodžių.
Prasminga?
Taigi dabar, kad aš padariau, kad aš noriu žinoti kas yra tos dainos dainininkas.
Ir tai, kad aš tiesiog gauti Pirmasis elementas masyvo, tiesa?
Taigi, galiu tik pasakyti, kad aš "dainininkas = Linija (0) "Prasminga?
>> Ir tada ką reikia padaryti, tai, pirmiausia Apskritai, aš ruošiuosi atnaujinti kiek
žodžiai Turiu pagal "Gaga". todėl aš tiesiog ketina apskaičiuoti, kiek žodžių aš
turėti šiame sąraše, tiesa?
Kadangi tai yra kiek žodžių Turiu į dainų ir aš tik ketina
įtraukti jį į "Gaga" masyvo.
Ar tai prasminga?
Negalima per daug dėmesio sintaksę.
Daugiau galvoti apie sąvokas.
Tai svarbiausia dalis.
Gerai.
>> Taigi, ką aš galiu padaryti tai, jei "Gaga" yra jau į tą sąrašą, todėl "jei dainininkas
žodžiai ", o tai reiškia, kad aš jau turi žodžius Gaga.
Aš tik noriu pridėti papildomą žodžiai, kad.
Taigi, ką aš padaryti, tai "žodžiai (singer) + = Len (linija) - 1 ".
Ir tada aš galiu tik daryti linijos ilgis.
Taigi, kaip daug elementų I turi masyve.
Ir aš turiu daryti atėmus 1 tik todėl, Pirmasis elementas masyve yra tik
dainininkė ir tie, kurie ne žodžiai.
Prasminga?
Gerai.
>> "Kitas", tai reiškia, kad aš noriu, kad iš tikrųjų įterpti Gaga į sąrašą.
Taigi aš tiesiog padaryti "žodžiai (atlikėjas) = Len (linija) - 1, "atsiprašau.
Taigi, vienintelis skirtumas tarp dviejų linijos yra tai, kad tai viena, tai nėra
egzistuoja dar, kad aš tiesiog Inicijuojama jį.
Tai vienas aš iš tikrųjų pridėti.
Gerai.
Taigi tai buvo pridedant prie žodžių.
>> Dabar aš noriu pridėti į Priors.
Taigi, kaip man apskaičiuoti priors?
Į nenuosavas gali būti apskaičiuojamas pagal tai, kiek kartų.
Taigi, kiek kartų jūs pamatysite, kad dainininkas tarp visų dainininkų, kad jūs
turi, tiesa?
Taigi Gaga ir Katy Perry, šiuo atveju, matau Gaga
vieną kartą, Katy Perry kartą.
>> Taigi, iš esmės yra skirtos Gaga nenuosavas ir Katy Perry būtų
tik vienas, tiesa?
Jūs tiesiog kiek kartų Matau menininkas.
Taigi tai yra labai lengva apskaičiuoti.
Galiu tik kažką panašaus, kaip, pavyzdžiui, "jei dainininkas Priors, "Aš tik ketina
pridėti 1 jų nenuosavas dėžutę.
Taigi, "nenuosavas (dainuoti)" + = 1 ", tada" kita " Aš ruošiuosi padaryti "priors (dainininkas)
= 1. "Prasminga?
>> Taigi, jei ji neegzistuoja aš tiesiog kaip 1, kitaip aš tiesiog pridėkite 1.
Gerai, kad dabar visi, kad man liko daryti taip pat pridėti kiekvieno iš žodžių
tikimybės.
Taigi turiu suskaičiuoti, kiek kartų Matau kiekvienas iš žodžių.
Taigi, aš tiesiog padaryti kitą už linijos į liniją.
>> Taigi pirmas dalykas, kad aš ruošiuosi padaryti tai patikrinti, ar dainininkė jau turi
tikimybių matrica.
Taigi, aš patikrinti, jei atlikėjas nėra turi tikimybių matrica, aš tiesiog
ketina inicijuoti vieną jų.
Tai net ne masyvas, atsiprašau, tai žodyną.
Taigi dainininkas tikimybės vyksta būti atvira žodynas, todėl aš
tik inicijuojant už jį žodyną.
Gerai?
>> Ir dabar aš iš tikrųjų gali padaryti už linijos apskaičiuoti kiekvieno iš žodžių '
tikimybės.
Gerai.
Taigi, ką aš galiu padaryti, tai už linijos.
Taigi, aš tik ketina pakartoti per masyvo.
Taigi būdas, kad aš galiu padaryti, kad Python yra "for i in asortimentą." Nuo 1
nes noriu pradėti antrąjį elementas, nes pirmasis yra
dainininkas pavadinimas.
Taigi iš vienos iki linijos ilgis.
Ir kai aš svyruoti ji iš tikrųjų pereiti nuo kaip čia nuo 1 iki len iš
linijos minus 1.
Taigi ji jau daro, kad daro ką n minus 1 už masyvų, kuris yra labai
patogu.
Prasminga?
>> Taigi, kiekvienas iš jų, ką aš ruošiuosi padaryti, tai, kaip ir kitas,
Aš ruošiuosi patikrinti, ar šioje žodis pozicija eilutėje jau
tikimybės.
Ir tada, kaip sakiau čia tikimybės žodžiai, kaip ir aš
"tikimybes (dainininkų)".
Taigi dainininkės vardas.
Taigi, jei jis jau "Probabilit (atlikėjas)", tai reiškia, kad aš
norite pridėti 1 į jį, todėl aš ruošiuosi padaryti "tikimybes (dainininkas)" ir
žodis yra vadinamas "linija (i).
Aš ruošiuosi įdėti 1 ir "kitas" aš tiesiog ketina inicijuoti jį 1.
"Linija (i).
Prasminga?
>> Taigi, aš skaičiuojami visi matricos.
Taigi, dabar visi, kad aš turiu padaryti tai vienas yra tiesiog "grįžti priors,
tikimybės ir žodžiai ". tegul pamatyti, jei yra kokių nors, Gerai.
Atrodo viskas veikia iki šiol.
Taigi, tai turi prasmę?
Tam tikru būdu?
Gerai.
Taigi, dabar turiu visas tikimybes.
Taigi, dabar vienintelis dalykas, kas man liko yra tiesiog turėti tą daiktą, kad
apskaičiuoja visas produktą tikimybės, kai gausiu dainų.
>> Taigi galime sakyti, kad aš noriu dabar vadiname ši funkcija "klasifikuoti ()" ir
dalykas, kad funkcija trunka yra tiesiog argumentas.
Tarkime, "Baby, aš esu ant ugnies", o tai ketina išsiaiškinti, kas yra
Tikimybė, kad tai Gaga?
Kokia yra tikimybė, kad tai yra Katie?
Skamba gerai?
Taigi aš tiesiog teks sukurti nauja funkcija vadinama "klasifikuoti ()" ir
ji ketina imtis tam tikrų žodžiai taip pat.
Ir be žodžių aš taip pat turi siųsti priors,
tikimybės ir žodžiai.
Taigi, aš ruošiuosi siųsti Lyrics, priors, tikimybės, žodžiai.
>> Taigi tai yra atsižvelgiant Lyrics, priors, tikimybės, žodžiai.
Taigi, ką daryti?
Ji iš esmės ketina eiti per visus galimi kandidatai, kad jūs
turėti kaip dainininkė.
Ir kur tie kandidatai?
Jie Per Priors, tiesa?
Taigi turiu visus tuos ten.
Taigi, aš ruošiuosi žodyną visų galimų kandidatų.
Ir tada kiekvieno kandidato nenuosavas, taigi tai reiškia, kad jis ketina
būti Gaga, Katie, jei aš turėjo daugiau būtų daugiau.
Aš ruošiuosi pradėti skaičiuoti ši tikimybė.
Tikimybė, kaip matėme PowerPoint išankstiniai kartų
produkto kiekvienos kitos tikimybės.
>> Taigi aš galiu padaryti pats čia.
Aš galiu tik daryti tikimybė yra Iš pradžių tik prieš.
Taigi nenuosavas Kandidato.
Teisė?
Ir dabar turiu kartotis per visus Žodžiai, kuriuos aš turiu dainų būtų
galima pridėti tikimybę kiekvienam iš jų, gerai?
Taigi, "už žodžio žodžiai" ką aš ruošiuosi reikia padaryti, tai, jei žodis yra
"tikimybes (kandidatas)", kuris reiškia, kad tai žodis, kuris
Kandidatas turi savo dainų -
Pavyzdžiui, "kūdikis" ir Gaga -
ką aš ruošiuosi padaryti, tai, kad tikimybė ketina dauginamas
iki 1 plius tikimybės už šio žodžio kandidatas.
Ir tai vadinama "žodis".
Tai padalintas iš žodžių skaičiaus kad turiu už tą kandidatą.
Bendras žodžių skaičius, kad turiu dainininkas, kad aš žiūri.
>> "Kitas". tai reiškia, kad jis naujas žodis todėl būčiau kaip pavyzdžiui,
"Ugnis" Lady Gaga.
Taigi aš tiesiog noriu padaryti 1 per "Žodis (kandidatas).
Taigi aš nenoriu įdėti šią sąvoką čia.
>> Taigi, tai bus iš esmės kopijavimo ir įdėjimo tai.
Bet aš ištrinti šią dalį.
Taigi, tai tik bus 1 per tai.
Skamba gerai?
Ir dabar pabaigoje, aš tik ketina spausdinti kandidato vardas, pavardė ir
tikimybė, kad jūs turite iš turintys "S savo dainų.
Prasminga?
Ir aš iš tikrųjų net reikia šį žodyną.
Prasminga?
>> Taigi, pažiūrėkime, jei tai iš tiesų veikia.
Taigi, jei aš paleisti tai, ji neveikia.
Palaukti vieną sekundę.
"Žodžiai (kandidatas)", "žodžiai (kandidatas)", tai
masyvo pavadinimas.
Gerai Taigi, ji sako, yra keletas klaidų dėl kandidato Priors.
Leiskite man tiesiog chill truputį.
Gerai.
Pabandykime.
Gerai.
>> Taigi ji suteikia Katy Perry turi tai Tikimybė šio karto 10 iki
atėmus 7, o Gaga turi tai kartus nuo 10 iki minus 6.
Taigi matote, tai rodo, kad Gaga turi didesnę tikimybę.
Taigi "Baby, aš on Fire" yra tikriausiai GaGa daina.
Prasminga?
Taigi tai, ką mes padarėme.
>> Šis kodas bus paskelbtas internete, Taigi jūs vaikinai gali jį patikrinti.
Gal naudoti kai jį, jei norite daryti projektą ar kažką panašaus.
Gerai.
Tai buvo tiesiog parodyti kas skaičiuojamoji
lingvistika kodas atrodo.
Bet dabar eikime daugiau aukšto lygio dalykų.
Gerai.
>> Taigi kitų problemų aš kalbu apie -
segmentacijos problemą yra pirmoji iš jų.
Taigi jūs turite čia japonų.
Ir tada pamatysite, kad yra be tarpų.
Taigi tai iš esmės reiškia, kad jis kėdės viršaus, tiesa?
Jūs kalbate japonų kalbos?
Tai kėdės viršaus, tiesa?
>> STUDENTAS: aš nežinau, ką kandži ten yra.
>> LUCAS Freitas: Jis [PASISAKYMAS Japonų]
Gerai.
Taigi tai iš esmės reiškia, kėdė viršuje.
Taigi, jei jums teko padėkite tarpą būtų čia.
Ir tada jūs turite [? Ueda-san. ?]
Kuris iš esmės reiškia Mr Ueda.
Ir pamatysite, kad "Ueda" ir jūs turite vietos ir tada "san". Taigi matote, kad
čia "UE" yra tarsi savaime.
Ir čia jis turi charakterį šalia jos.
>> Taigi, tai ne kaip tose kalbose ženklai reiškia žodį, nes tai
tiesiog įdėti erdves daug.
Veikėjai yra susiję tarpusavyje.
Ir jie gali būti kartu kaip du, trys, vienas.
Taigi, jūs iš tikrųjų turite sukurti kokio nors iš būdų išleisti tuos tarpus.
>> Ir tai yra tai, kad kiekvieną kartą, kai jūs gaunate duomenys iš šių Azijos kalbomis,
viskas ateina unsegmented.
Kadangi niekas, kas rašo japonų ar kinų rašo su tarpais.
Kai rašote Kinija, Japonijos jūs tiesiog parašyti viską
be tarpų.
Ji nėra net prasmės įdėti erdvėse.
Taigi, kai jūs gaunate duomenis, kai Rytų Azijos kalba, jei norite
iš tikrųjų ką nors daryti su tuo jūs turite segmente pirmas.
>> Pagalvokite apie tai darome dėl pavyzdį kad be tarpų žodžiai.
Taigi vieninteliai žodžiai, kad jūs turite bus sakiniai, tiesa?
Atskirti laikotarpius.
Bet tada turinti tik nuosprendis tikrai ne padėti duoti informaciją
kas tie žodžiai yra iš.
Teisė?
Taigi turėtumėte kelia tarpai pirmas.
Taigi, kaip jūs galite padaryti, kad?
>> Taigi kalbama apie kalbos idėja modelis, kuris yra kažkas tikrai
svarbu Skaičiuojamasis lingvistika.
Taigi kalbos modelis yra iš esmės lentelėje tikimybes, kad rodo
visų pirma, kas yra tikimybė, turintys žodį kalba?
Taigi rodo, kaip dažnai žodis.
Ir tada taip pat rodo, kad ryšio tarp sakinyje žodžių.
>> Taigi, pagrindinė idėja yra, jei nepažįstamasis atėjo jums ir sakė sakinys
jums, kas yra tikimybė, kad, Pavyzdžiui, "tai yra mano sesuo [? GTF?]
buvo sakinys, kad asmuo sakė?
Taigi akivaizdu, kai kurie sakiniai dažniau nei kiti.
Pavyzdžiui, "labas rytas" arba "geras naktį "arba" Ei ten, "kur kas daugiau
bendro, nei dauguma sakinių kad mes turime angliškai.
Taigi, kodėl šie sakiniai dažniau?
>> Visų pirma, tai yra todėl, kad jūs turite žodžiai, kurie dažniau.
Taigi, pavyzdžiui, jei jūs sakote, šuo didelis, ir šuo yra milžiniška, jūs
paprastai tikriausiai išgirsti šuo yra didelis dažniau, nes "didelis" yra daugiau
dažnai anglų kalba ne "milžiniška". Taigi, vienas iš
viskas yra žodis dažnis.
>> Antras dalykas, kuris yra tikrai Svarbu yra tik
Kad žodžių.
Taigi, tai įprasta sakyti "katė Dėžės viduje. ", tačiau jūs neturite paprastai
pamatyti "Dėžės vidus yra katė." taip matote, kad yra tam tikrų svarba
į žodžių tvarka.
Jūs galite ne tik pasakyti, kad tie du sakiniai turi tokią pačią tikimybę
tik todėl, kad jie turi tuos pačius žodžius.
Jūs iš tikrųjų turite rūpintis apie tvarka, kaip gerai.
Prasmės?
>> Taigi, ką mes galime padaryti?
Taigi, ką aš galėtų pabandyti jums?
Bandau jums tai, ką mes skambinti n-gramų modelius.
Taigi n-gramų modeliai iš esmės prisiima kad už kiekvieną žodį,
turite sakinyje.
Tai turintys tikimybė, kad Žodis čia priklauso ne tik nuo
dažnis šio žodžio ta kalba, bet ir žodžių,
yra aplink jį.
>> Taigi, pavyzdžiui, paprastai, kai matai kažkas panašaus ar ne jūs
tikriausiai pamatyti daiktavardis po jo, tiesa?
Nes kai turite prielinksnį paprastai užtrunka daiktavardį po jo.
Arba, jei turite veiksmažodis, kuris yra pereinamas jūs paprastai ketinate
turi daiktavardžio frazę.
Taigi jis ketina turėti daiktavardžio kažkur aplink jį.
>> Taigi, iš esmės, ką ji daro, yra tai, kad mano, kad svarbu turėti tikimybę
žodžiai vienas šalia kito, kai jūs apskaičiuoti
tikimybė sakinyje.
Ir tai, ką kalba modelis iš esmės.
Tiesiog sakydamas kas tikimybė turėti tam tikrą
sakinys kalba?
Taigi, kodėl tai, kad naudinga, iš esmės?
Ir visų pirma, kas yra n-gramas modelis, tada?
>> Taigi n-gramas modelis reiškia, kad kiekvienas žodis, priklauso nuo
kitas N atėmus 1 žodžiai.
Taigi, iš esmės, tai reiškia, kad jei man atrodo, Pavyzdžiui, tuo CS50 TF kai
Aš apskaičiuoti tikimybę sakinys, jūs būsite kaip "
tikimybė turintys žodį "" kartų turintys tikimybė "
CS50 "Times turintys tikimybė "CS50 TF." Taigi, iš esmės, tikiuosi
visos įmanomos galimybės jį tempiant.
>> Ir tada paprastai, kai jūs darote tai, kaip projekte, jūs įtraukėte N turi būti
mažos vertės.
Taigi, paprastai turi bigrams ar trigrams.
Taigi, kad jūs tiesiog suskaičiuoti du tariant, grupė iš dviejų žodžių ar trijų žodžių,
tik veiklos klausimais.
O taip pat, nes gal jei turite kažką panašaus į "The CS50 TF." Jei
turi "TF", tai labai svarbu, kad "CS50" yra šalia jo, tiesa?
Šie du dalykai yra paprastai šalia vienas kito.
>> Jei manote, kad "TF", tai tikriausiai teks ko
klasė tai TF'ing už.
Taip pat "" yra tikrai svarbus už CS50 TF.
Bet jei jūs turite ką nors panašaus į "The CS50 TF nuėjo į klasę ir davė savo
studentai kai saldainiai. "Candy" ir "" neturi nieko bendra su tikrai, tiesa?
Jie taip toli viena nuo kitos, kad tai tikrai ne klausimas, ką
žodžiai turite.
>> Taigi atlikdami Bigramų arba trigram, jis tiesiog reiškia, kad jūs apriboti
sau kai kurių žodžių kurios yra aplink.
Prasmės?
Taigi, kai jūs norite daryti segmentaciją, Iš esmės, ką norite padaryti, tai pamatyti
kokie yra visi galimi būdai, galite segmentas bausmę.
>> Toks, kad jums pamatyti, kas yra Tikimybė, kad kiekvienos iš šių sakinių
esama kalba?
Taigi, ką jūs darote, yra kaip, gerai, tegul man pabandyti įdėti erdvę čia.
Taigi, jūs padėkite tarpą ten ir jums pamatyti, kas yra
Tikimybė šio sakinio?
Tada esate kaip, gerai, gal tai buvo ne tai, kad gerai.
Taigi aš padėkite tarpą ten ir erdvė ten, ir jums apskaičiuoti
tikimybė dabar, ir pamatysite, kad tai didesnė tikimybė.
>> Taigi tai yra algoritmas vadinamas tango segmentavimo algoritmas, kuris yra
iš tikrųjų kažkas, kad būtų tikrai cool projektą, kuris
iš esmės trunka unsegmented tekstą, kuris gali būti japonų ar kinų, o gal
Lietuvių be tarpų ir bando įdėti tarpai tarp žodžių ir ji
kad naudojant kalbos modelį ir bando pamatyti, kas yra didžiausias
Tikimybė, galite gauti.
Gerai.
Taigi tai yra segmentacija.
>> Dabar sintaksė.
Taigi, sintaksė yra naudojama tiek daug dalykų dabar.
Taigi, grafikas Paieška, už Siri gana daug bet natūrali
kalbos apdorojimas turite.
Taigi, kas yra svarbu, viskas apie sintaksę?
Taigi, sakiniai paprastai turi ką mes vadiname sudedamąsias dalis.
Kuris yra lyg žodžių grupė kad turime į sakinio funkciją.
Ir jie tikrai negali būti vienas nuo kito.
>> Taigi, jei aš sakau, pavyzdžiui, "Laura myli Milo. "Žinau, kad" Laura "yra
sudedamoji ir tada "myli Milo ", taip pat dar vienas.
Kadangi jūs negalite pasakyti, kaip "Lauren Milo myli "turi tą pačią reikšmę.
Jis nesiruošia turėti pačią reikšmę.
Arba aš negaliu pasakyti, pavyzdžiui, "Milo Lauren myli. "Ne viskas yra tas pats
reiškia tai, kad.
>> Jiedu daugiau svarbių dalykų, apie sintaksė yra leksikos tipų, kurie yra
iš esmės funkcija, kad jūs turi žodžių patys.
Taigi, jūs turite žinoti, kad "Laura" Milo "yra daiktavardžiai.
"Meilė" yra veiksmažodis.
Ir antras svarbus dalykas yra tai, kad jie Frazės tipai.
Taigi jūs žinote, kad "myli Milo" iš tikrųjų žodinis frazė.
Taigi, kai aš sakau "Lauren", "Aš žinau, kad Lauren daro kažką.
Ką ji daro?
Ji myli Milo.
Todėl visa tai.
Tačiau jos sudedamosios dalys yra daiktavardis ir veiksmažodis.
Tačiau kartu jie sudaro veiksmažodis frazę.
>> Taigi, ką mes galime iš tikrųjų su Kompiuterinė lingvistika?
Taigi, jei aš turiu kažką, pavyzdžiui "draugai Allison". Aš pamatyti, jei aš tiesiog
nebuvo sintaksės medis norėčiau žinoti, kad "Draugai" yra daiktavardis frazė yra
daiktavardžio ir tada "iš Allison" yra Esperanto frazę, kuri "iš" yra
pasiūlymas ir "Allison" yra daiktavardis.
Ką galėčiau padaryti, tai išmokyti savo kompiuterį kad kai turiu daiktavardžio frazę vieną ir
tada Esperanto frazė.
Taigi, šiuo atveju, "draugai", tada "iš Milo "Žinau, kad tai reiškia, kad
NP2, antrasis valdo Np1.
>> Taigi aš galiu sukurti tam tikrą susijusių natūra, kai funkcija natūra už jį.
Taigi, kai aš matau šią struktūrą, kuri tiksliai atitinka su "draugais
Allison "Aš žinau, kad Allison valdo draugų.
Taigi, draugai yra kažkas kad Allison turi.
Prasminga?
Taigi tai iš esmės yra kas Grafikas Paieška daro.
Jis tiesiog sukuria taisykles dėl daugelio dalykų.
Taigi "draugai Allison", "my friends kurie gyvena Kembridže "," mano draugai
kurie eina į Harvardo. "Jis sukuria taisykles dėl visų šių dalykų.
>> Dabar mašininis vertimas.
Taigi, mašininio vertimo, taip pat kažkas statistikos.
Ir iš tikrųjų, jei jūs gaunate dalyvauti Kompiuterinė lingvistika, iš daug
jūsų stuff bus statistika.
Taigi, kaip darau pavyzdį Tikimybių daug, kad buvau
apskaičiuoti, ir tada jums tai labai mažas skaičius, kad tai galutinis
tikimybė, ir kad tai, ką suteikia jums atsakymą.
Mašininis vertimas taip pat naudoja statistinis modelis.
Ir jei jūs norite galvoti apie mašiną vertimas paprasčiausias
Beje, tai, ką jūs galite galvoti tik išversti pažodžiui, tiesa?
>> Kai jūs mokotės kalbą pirmą kartą, tai paprastai kas
jūs, tiesa?
Jei norite, galite išversti sakinį Jūsų kalbos į kalbą
jūs mokotės, paprastai pirmiausia, jūs išversti kiekvienas iš žodžių
individualiai, ir tada bandyti įdėti žodžius į vietą.
>> Taigi, jei aš norėjau išversti tai, [PASISAKYMAS PORTUGALIJOS]
kuris reiškia "balta katė pabėgo." Jei aš norėjau jį išversti iš
Iš portugalų į anglų, ką aš gali padaryti, tai, pirma, aš tiesiog
išversti pažodžiui.
Taigi, "o" yra "," gato "," katė " "Branco", "balta", o tada "fugio" yra
"Pabėgo".
>> Taigi turiu visus žodžius čia bet jie ne tam.
Tai kaip "katė balta pabėgo" kuris yra gramatikos.
Taigi, tada aš gali turėti antrąjį žingsnį, kuris bus rasti idealą
pozicija kiekvienai iš žodžių.
Taigi aš žinau, kad aš iš tikrųjų noriu turėti "Balta katė", o ne "katė balta." Taip
ką aš galiu padaryti, tai, labiausiai naivus metodą būtų sukurti visi
galimų kombinacijų žodžiai, pozicijų.
Ir tada pamatysite, kurie iš jų turi didžiausia tikimybė pagal
mano kalbos modelį.
Ir tada, kai aš rasti vieną, kuri turi didžiausia tikimybė tai, kuri yra
tikriausiai "balta katė pabėgo" tai mano vertimas.
>> Ir tai yra paprastas būdas paaiškinti kaip apie mašininį vertimą daug
algoritmai dirbti.
Ar tai prasminga?
Tai taip pat yra kažkas tikrai įdomu kad vaikinai gali gal tyrinėti
galutinis projektas, taip?
>> STUDENTAS: Na, sakė, kad tai buvo naivus būdas, todėl tai, kas
ne naivus būdas?
>> LUCAS Freitas: ne naivus būdas?
Gerai.
Taigi pirmas dalykas, kad yra blogai šis metodas yra tai, kad aš tiesiog išversti
žodžiai, žodis po žodžio.
Bet kartais turite žodžius, gali turėti kelis vertimus.
Aš einu bandyti galvoti kažką.
Pavyzdžiui, "Manga" Portugalijos skardinę būti arba "išdarkyti" arba "rankovės". Taip
kai bandote išversti žodį žodžiu, ji gali būti suteikti jums
kažkas, kad nėra jokios prasmės.
>> Taigi jūs tikrai norite pažvelgti visi galimi vertimai
žodžiai ir pamatyti, visų pirma, kas yra tvarka.
Mes kalbame apie permutating ką?
Norėdami pamatyti visus galimus užsakymus ir pasirinkti vieną su didžiausia
tikimybė?
Taip pat galite pasirinkti visas įmanomas vertimai kiekvienas
Žodis ir tada pamatyti, -
kartu su kombinacijomis -
kurių vienas turi didžiausią tikimybę.
>> Be to, jūs taip pat galite peržvelgti ne tik žodžiai, bet frazės.
todėl galite analizuoti ryšius tarp santykių žodžiai ir tada gauti
geriau vertimo.
Taip pat kažkas, todėl šį semestrą Aš iš tikrųjų daro tyrimus
Kinų-anglų kalbų mašininio vertimo, taip verčiant iš
Kinų į anglų kalbą.
>> Ir ką mes darome, yra, be to, naudojant statistinis modelis, kuris yra tik
matome mato tikimybes kai sakinyje pozicija, aš
iš tikrųjų taip pat pridedant keletą sintaksę mano modelis, sakydamas: oh, jei matau, tokio pobūdžio
statybos, tai yra tai, ką noriu jį pakeisti, kai aš išversti.
Taigi, jūs taip pat galite pridėti šiek tiek natūra elementas sintaksė padaryti
vertimas efektyviau ir tikslesnis.
Gerai.
>> Taigi, kaip jūs galite pradėti, jei norite daryti kažką Skaičiuojamasis
lingvistika?
>> Pirma, pasirinkti projektą kuris apima kalbas.
Taigi, yra tiek daug ten.
Yra tiek daug dalykų, kuriuos galite padaryti.
Ir tada gali galvoti apie modelio kad jūs galite naudoti.
Paprastai tai reiškia, kad mąstymas prielaidos, kaip, pavyzdžiui, oi, kai buvau
kaip mąstymo dainų.
Aš, pavyzdžiui, gerai, jei noriu suprasti iš rašęs tai, aš tikriausiai norite
ieškoti žodžiai asmuo naudojami ir matyti, kas naudoja šį žodį labai dažnai.
Taigi pabandykite daryti prielaidas ir pabandykite galvoti apie modelius.
Ir tada jūs taip pat galite ieškoti internete tokios problemos, kad jūs turite,
ir jis ketina pasiūlyti jums modelių, kurie gal
modeliuojama, kad dalykas gerai.
>> Ir taip pat visada galite rašyti man.
me@lfreitas.com.
Ir aš galiu tik atsakyti į jūsų klausimus.
Mes galime net gali susitikti, kad galiu pateikti pasiūlymus, kaip būtų galima
įgyvendindami projektą.
Aš turiu galvoje, jei jūs įsitraukti Kompiuterinė lingvistika, jis ketina
būti didelis.
Jūs einate pamatyti ten Yra tiek daug galimybių.
Ir pramonė nori samdyti jums taip blogai dėl to.
Taigi, aš tikiuosi jus vaikinai patiko tai.
Jei vaikinai turite kokių nors klausimų, galite paklausti manęs po to.
Bet ačiū.