>> LUCAS FREITAS: Hej.
Witam wszystkich.
Nazywam się Lucas Freitas.
Jestem młodszy w [niesłyszalne] studia informatyka z naciskiem na
lingwistyki komputerowej.
Tak jest w moim języku wtórny i teorii lingwistycznej.
Jestem bardzo podekscytowany, aby uczyć chłopaki trochę o tej dziedzinie.
To bardzo ekscytujące obszar do zbadania.
Również z dużym potencjałem przyszłości.
Tak, jestem bardzo podekscytowany, że chłopaki rozważają projekty w
lingwistyki komputerowej.
I będę bardziej niż szczęśliwy, aby doradzać każdy z was, jeśli zdecydujesz się
realizować jeden z nich.
>> Więc przede wszystkim, jakie są obliczeniowa językoznawstwo?
Językoznawstwo obliczeniowe jest tak skrzyżowanie między językoznawstwa i
informatyka.
Więc, co jest językoznawstwo?
Co to jest ekonomia?
Cóż z językoznawstwa, co bierzemy to języki.
Tak faktycznie jest lingwistyka nauka języka naturalnego w ogóle.
Język tak naturalne - mówimy o język, który rzeczywiście używamy do
komunikować się ze sobą.
Więc nie będziemy dokładnie mówić o C lub Java.
Mówimy więcej o języku angielskim i Języki chińskie i inne, które
wykorzystania do komunikowania się ze sobą.
>> Trudne rzeczą, że jest to, że teraz mamy prawie 7000
języki świata.
Więc są dość wysokie odmiany języków, które możemy badać.
A następnie, że jest to prawdopodobnie Bardzo trudne do wykonania, na przykład
tłumaczenie z jednego języka na innych, biorąc pod uwagę, że masz
Prawie 7000 z nich.
Tak więc, jeśli myślisz, że robi tłumaczenie z jednego języka na inny jesteś
ma prawie ponad milion różne kombinacje, które można
mają z języka na język.
Więc jest to naprawdę trudne do zrobienia niektóre rodzaj systemu tłumaczeń na przykład
każdy język.
>> Tak, językoznawstwo traktuje z składni, semantyka, pragmatyka.
Chłopaki nie muszą dokładnie wiedzieć, co oni są.
Ale bardzo ciekawe jest to, że jako native speaker, gdy nauczysz się
język jako dziecko, to rzeczywiście nauczyć wszystkie z tych rzeczy - semantyka składni
i pragmatyka -
samodzielnie.
I nikt nie ma nauczyć się składni zrozumieć, jak zdania są
zorganizowany.
Tak, to bardzo ciekawe, ponieważ to jest coś, co przychodzi bardzo
intuicyjnie.
>> A co zabierasz ze informatyka?
Cóż, najważniejsze, że my mają w informatyce jest przede
wszystko, sztuczna inteligencja i uczenie maszynowe.
Więc, co staramy się robić lingwistyki jest uczyć
komputer jak coś zrobić z językiem.
>> Tak więc, na przykład, w maszynie tłumaczenie.
Staram się uczyć moje komputera how wiedzieć, jak przejście z jednego
Język do drugiej.
Tak więc, w zasadzie jak nauczanie Komputer dwóch językach.
Jeśli zrobić przetwarzania języka naturalnego, który jest na przykład przypadek
Facebook w Graph Search, uczysz komputer jak zrozumieć
Zapytania dobrze.
>> Więc, jeśli powiesz "zdjęcia z moich przyjaciele. "Facebook, że nie traktuje
jako cały ciąg, który ma tylko kilka słów.
To rzeczywiście rozumie zależność między "Zdjęcia" i "znajomych" i
rozumie, że "zdjęcia" są własnością "moich przyjaciół."
>> Tak więc, jest to część, na przykład przetwarzanie języka naturalnego.
Próbuje zrozumieć, co jest relacja między
słowa w zdaniu.
I pytanie brzmi, można nauczyć komputer, jak mówić
język w ogóle?
Co jest bardzo ciekawe pytanie że, jak może w przyszłości
będziesz w stanie rozmowy na telefon komórkowy.
Coś jak to, co robimy z Siri, ale coś więcej jak możesz rzeczywiście
powiedzieć, co chcesz, a telefon będzie zrozumieć wszystko.
I może mieć dodatkowe pytania i rozmawiać.
To jest coś naprawdę ekscytujące, w mojej opinii.
>> Tak, coś w językach naturalnych.
Coś naprawdę ciekawego Języki naturalne jest to, że i to jest
językoznawstwo kredyt do mojego profesora, Maria Polinsky.
Ona daje przykład i myślę, to jest naprawdę interesujące.
Ponieważ uczymy się języka od kiedy my urodził, a następnie nasz rodzimy
język rodzaj rośnie na nas.
>> I w zasadzie można nauczyć się języka z minimalnym nakładzie, prawda?
Jesteś po prostu coraz sygnału wejściowego z Rodzice, co brzmi język
jak i po prostu się go nauczyć.
Tak, to ciekawe, bo jeśli spojrzeć w tych zdaniach, na przykład.
Wyglądasz, "Mary wkłada płaszcz każdego razem, kiedy wychodzi z domu. "
>> W tym przypadku, to jest możliwe, aby słowo "ona" odnoszą się do Maryi, prawda?
Możesz powiedzieć: "Maryja stawia na płaszczu za każdym razem, Mary pozostawia
dom. "tak, że jest w porządku.
Ale jeśli spojrzeć na zdanie "Ona wkłada płaszcz każdym Maryja
wychodzi z domu. "wiesz, że to można powiedzieć, że "ona" jest
odwołując się do Maryi.
>> Nie ma sposobu na powiedzenie, że "Maryja kładzie na każdym płaszczem liści Maryja
dom. "Więc to jest interesujące, ponieważ jest to rodzaj intuicji
że każdy native speaker ma.
I nikt nie uczył, że jest to sposób, w jaki działa składnia.
I że można mieć tylko to "ona" odwołując się do Maryi w tym pierwszym przypadku,
i faktycznie w tym inne również, ale nie jest to.
Ale każdy rodzaj pobiera do tej samej odpowiedzi.
Wszyscy zgadzają się na to.
Więc jest to naprawdę ciekawe, jak chociaż nie znasz wszystkie zasady
w języku, którego rodzaj zrozumieć jak działa język.
>> Tak ciekawe o naturalne języka jest to, że nie masz do
znam żadnej składni wiedzieć, czy zdanie jest gramatyczna lub ungrammatical dla
większości przypadków.
Co sprawia, że ​​może być to, co zdarza się, że przez całe swoje życie, jesteś
po prostu zachować się coraz bardziej zdania powiedział do ciebie.
A następnie zachować zapamiętywanie wszystkich zdań.
I wtedy, gdy ktoś mówi, coś, słyszysz to zdanie i
obejrzysz słownika zdań i sprawdzić, czy
to zdanie jest.
A jeśli jest tam jesteś powiedzieć, że jest gramatyczna.
Jeśli to nie można powiedzieć, że to ungrammatical.
>> Tak więc, w tym przypadku, można by powiedzieć, oh, więc masz ogromną listę wszystkich
ewentualne zdania.
A następnie po usłyszeniu wyroku, wiesz, czy to gramatyczne lub
nie opiera się na tym.
Chodzi o to, że jeśli spojrzeć na zdanie, na przykład "
pięć-headed CS50 TF gotowane niewidomych ośmiornice wykorzystujące kubek DAPA. "To
na pewno nie zdanie że słyszał.
Ale jednocześnie wiesz, że to prawie gramatyczna, prawda?
Nie ma żadnych błędów gramatycznych i można powiedzieć, że
to jest możliwe zdanie.
>> Więc to każe nam myśleć, że rzeczywiście sposób, w jaki uczymy się języka jest nie tylko
poprzez ogromną bazę można słowa lub zdania, ale więcej
zrozumienia zależność pomiędzy słów w tych zdaniach.
Czy to ma sens?
Tak, to pytanie jest, może komputery uczyć się języków?
Możemy nauczyć języka na komputerach?
>> Więc pomyślmy różnicy między native speaker języka
i komputer.
Więc, co się dzieje, do głośnika?
Cóż, native speaker uczy język z narażenia na nią.
Wysyłka wczesnych latach dzieciństwa.
Tak więc, w zasadzie, po prostu mieć dziecko, i rozmawiać z nim, i to
po prostu uczy się mówić język, prawda?
Tak, jesteś w zasadzie daje Wejście do dziecka.
Tak więc, można argumentować, że komputer może zrobić to samo, prawda?
Możesz po prostu dać jezyk jako wejście do komputera.
>> Jak na przykład kilka plików że mają książki w języku angielskim.
Być może to jest jeden sposób, który mógłby uczyć
Komputer angielski, prawda?
I rzeczywiście, jeśli myślisz o tym, to ma być może kilka
dni czytać książki.
Dla komputera zajmuje chwilę, aby patrzeć na wszystkich słów w książce.
Więc można pomyśleć, że to może być tylko Argument wkład wokół ciebie,
to nie wystarczy, aby powiedzieć, że jest to coś, że tylko ludzie mogą zrobić.
Możesz myśleć komputerów Można również uzyskać wejście.
>> Drugą rzeczą jest to, że native speakerzy również mózg, który ma
możliwość nauki języka.
Ale jeśli myślisz o tym, Mózg jest solidny rzeczą.
Kiedy urodził się, to już zestaw -
to jest twój mózg.
A jak dorośniesz, to po prostu więcej Wejście od języka, a może odżywcze
i inne rzeczy.
Ale dość dużo mózg jest solidny rzeczą.
>> Więc można powiedzieć, no, może można zbudować komputer, który ma kilka
funkcje i metody, które po prostu naśladują możliwość nauki języka.
Więc w tym sensie, że można powiedzieć, dobrze, może mieć komputer, który ma wszystko
rzeczy potrzebne do nauki języka.
I ostatnia rzecz to, że rodzimy głośnik uczy się od prób i błędów.
Więc w zasadzie kolejna ważna rzecz w nauka języka jest to, że rodzaj
z dowiedzieć się rzeczy, przez co uogólnienia, co słyszysz.
>> Tak jak rosną Ci się, że Niektóre słowa są jak rzeczowniki,
niektóre z nich są inne przymiotniki.
I nie trzeba mieć dowolny wiedza z językoznawstwa
to zrozumieć.
Ale po prostu wiem, że jest kilka słów są umieszczone w pewnej części
zdanie i inni w innych części zdania.
>> I że kiedy robisz coś, co jest jak wyrok, który nie jest prawidłowy -
być może z powodu uogólnienia na na przykład.
Może kiedy dorasta, można zauważyć, że liczba mnoga jest zazwyczaj
utworzone poprzez umieszczenie s przy koniec słowa.
, A następnie spróbować zrobić liczbę mnogą "Jeleń" AS "jeleni" lub "ząb" jak
"Tooths". Więc twoi rodzice lub ktoś koryguje cię i mówi: nie,
liczba mnoga od "jeleni" jest "Jeleń", a liczba mnoga od "zęba" to "zęby". A następnie
dowiedzieć się tych rzeczy.
Więc dowiedzieć się z prób i błędów.
>> Ale można też zrobić z komputerem.
Możesz mieć coś, co nazywa nauka zbrojenia.
Która jest w zasadzie jak daje komputer, gdy to nie nagroda
coś poprawnie.
I nadanie jej przeciwieństwo nagrodę i kiedy to robi coś złego.
Rzeczywiście można zobaczyć, że jeśli się do Google Translate i próby
przetłumaczyć zdanie, że prosi o opinie.
Więc jeśli mówisz, oh, jest lepiej Tłumaczenie do tego zdania.
Możesz wpisać go, a następnie, jeśli dużo ludzie ciągle mówią, że jest lepiej
Tłumaczenie, że to właśnie dowiaduje się, że należy użyć zamiast tego tłumaczenia
jeden to dawał.
>> Tak, to jest pytanie bardzo filozoficzne aby sprawdzić, czy komputery będą w
w stanie rozmowy, czy też nie w przyszłości.
Ale mam nadzieje, że się da tylko na podstawie tych argumentów.
Ale to jest po prostu bardziej filozoficzny pytanie.
>> Tak więc, podczas gdy komputery wciąż nie może mówić, jakie są rzeczy, które możemy zrobić?
Niektóre rzeczy są naprawdę fajne Klasyfikacja danych.
Tak więc, na przykład, wiecie że usługi e-mail nie, dla
przykład, filtrowanie spamu.
Więc gdy otrzymasz spam, to stara się filtrować na innym polu.
Więc jak to zrobić?
To nie jest tak, że komputer po prostu wie Adresy e-mail są co wysyłać spam.
Więc jest to bardziej na podstawie treści wiadomość, a może tytuł lub
może jakiś wzór, który masz.
>> Tak więc, w zasadzie, co możesz zrobić, to Wiele danych z e-maili, które są spamem,
e-maile, które nie są spamem i dowiedz się, co rodzaju wzorców masz w
te, które są spamem.
I to jest część obliczeniowa językoznawstwo.
To się nazywa klasyfikacja danych.
A my rzeczywiście zobaczymy Przykład że w kolejnych slajdów.
>> Drugą rzeczą jest to język naturalny przetwarzania, które jest rzeczą, że
Wykres Szukaj robi z najmu piszesz zdanie.
I ufa Ci zrozumieć, co jest sens i daje
jesteś lepszy wynik.
Właściwie, jeśli pójdziesz do Google lub Bing i wyszukać coś Bożej
Wysokość Gaga, jesteś rzeczywiście dzieje dostać 5 '1 "zamiast informacji
od niej, bo to faktycznie rozumie to, co mówisz.
Więc to jest częścią naturalnego przetwarzania języka.
>> Lub też, gdy używasz Siri, pierwszy masz algorytm, który próbuje
tłumaczyć, co mówisz słowami, w tekście.
, A następnie stara się tłumaczyć że w ten sposób.
Tak, że wszystko jest częścią naturalnego przetwarzania języka.
>> Wtedy masz tłumaczenia maszynowego -
co jest rzeczywiście jednym z moich ulubionych -
który jest tylko tłumaczeniem z Język do drugiego.
Więc można pomyśleć, że kiedy robisz tłumaczenie maszynowe, masz
nieskończone możliwości zdań.
Tak więc nie ma mowy, po prostu przechowywanie każdego tłumaczenia.
Więc trzeba wymyślić ciekawy Algorytmy móc
tłumaczyć każdy zdanie w jakiś sposób.
>> Macie jakieś pytania do tej pory?
Nie?
OK.
>> Tak więc to, co mamy zamiar zobaczyć dziś?
Przede wszystkim mam zamiar mówić o Problem klasyfikacji.
Tak, że byłem jednym mówiąc o spam.
Podane informacje Tekst i słowa piosenki, co mam zamiar zrobić, to, do piosenki, możesz spróbować dowiedzieć się,
z wysokim prawdopodobieństwem kto jest piosenkarką?
Powiedzmy, że mam piosenki z Lady Gaga i Katy Perry, jeśli dam ci
nowa piosenka, można dowiedzieć się, czy to Katy Perry czy Lady Gaga?
>> Drugi, mam zamiar porozmawiać o problem segmentacji.
Więc nie wiem, czy wiecie, ale Chiński, japoński, innych wschodnioazjatyckich
Języki i inne języki na ogół nie ma
Przestrzenie między słowami.
A jeśli myślisz o tym, jak to Twój rodzaj komputera z prób do
zrozumieć przetwarzania języka naturalnego, wygląda na słowa i
stara się zrozumieć relacje między nimi, prawda?
Ale jeśli masz chiński, a ty mają zero miejsca, jest to naprawdę trudne do
dowiedzieć się, jaka jest relacja między słowa, bo nie ma żadnych
słowa na początku.
Więc trzeba zrobić coś, co nazywa segmentacji, które oznacza po prostu oddanie
przestrzenie między co my nazywamy słowa w tych językach.
Ma sens?
>> A następnie jedziemy do mówić o składni.
Więc trochę o naturalne przetwarzania języka.
To będzie po prostu przegląd.
Więc dzisiaj, w zasadzie to, co chcę zrobić jest dać wam trochę
wewnątrz, jakie są możliwości , które można zrobić z obliczeniowych
językoznawstwo.
A następnie można zobaczyć, co myślisz jest cool wśród tych rzeczy.
A może myślisz o projekcie i pochodzą ze mną rozmawiać.
I mogę dać rady , w jaki sposób jego realizacji.
>> Więc składnia będzie trochę o Graph Search i maszyny
tłumaczenie.
Mam zamiar dać przykład, jak Możesz, na przykład, w tłumaczeniu
coś z portugalskiego na angielski.
Brzmi dobrze?
>> Więc po pierwsze, problem klasyfikacji.
Powiem, że ta część seminarium będzie największym wyzwaniem
jeden tylko dlatego, że się dzieje być niektóre kodowania.
Ale to będzie Python.
Wiem, że chłopaki nie wiem Pythona, więc Ja tylko wyjaśnię na wysoki
poziom, co robię.
I nie trzeba się naprawdę dbają zbyt wiele o składni, ponieważ jest to
coś wam może się nauczyć.
OK?
Brzmi dobrze.
>> Więc jaki jest problem klasyfikacji?
Więc biorąc pod uwagę pewne słowa do piosenki i chcesz się domyślić
kto śpiewa go.
I może być w jakiejkolwiek innych problemów.
Tak więc może on być, na przykład, mieć kampania prezydencka i masz
mowy, a chcesz znaleźć czy był, na przykład,
Obama i Mitt Romney.
Czy można mieć kilka e-maili i Aby dowiedzieć się, czy są one
spam czy nie.
Więc to jest po prostu klasyfikacji niektórych Dane oparte na słowa
że masz tam.
>> Tak, aby to zrobić, trzeba poczynić pewne założenia.
Tak wiele o lingwistyce obliczeniowej robi założenia,
zazwyczaj inteligentne założenia, tak aby można uzyskać dobre rezultaty.
Stara się stworzyć model dla niego.
A następnie go wypróbować i zobaczyć, czy to działa, jeśli to daje dobrą dokładność.
A jeśli tak, to spróbuj to poprawić.
Jeśli nie, jesteś jak, OK, może powinien dokonać innego założenia.
>> Tak więc założenie, że będziemy sprawiają, że artysta zazwyczaj śpiewa
na dany temat wiele razy, a może używa słowa tak wiele razy
bo są do tego przyzwyczajeni.
Możesz tylko myśleć o swoim przyjacielem.
Jestem pewien, że wy wszyscy mają przyjaciół które mówią, że ich zdanie podpisu,
dosłownie na każdym jednym zdaniu -
jak jakiś określony wyraz lub niektórych szczególnych zdanie, które mówią o
każdy zdanie.
>> A co można powiedzieć, to to, że jeśli widzisz Zdanie, które ma podpisu
zdanie, można się domyślać, że prawdopodobnie Twój przyjaciel jest
jeden mówi, prawda?
Więc przyjąć takie założenie, a następnie To, w jaki sposób stworzyć model.
>> Przykład, że mam zamiar dać to na jak Lady Gaga, na przykład, ludzie
powiedzieć, że używa "dziecko" dla wszystkie jej piosenki. numer jeden
I rzeczywiście jest to film, który pokazuje, jej mówiąc słowo "dziecko" dla
różne utwory.
>> [ODTWARZANIE]
>> - (Śpiewa) Dziecko.
Dziecko.
Lasek.
Dziecko.
>> [KONIEC ODTWARZANIE-
>> LUCAS FREITAS: Tak jest, jak sądzę, 40 utworów, w których tutaj mówi
Słowo "dziecko". Tak więc można w zasadzie odgadnąć że jeśli widzisz utwór, do którego
Słowo "dziecko", jest trochę wysoka Prawdopodobieństwo, że to Lady Gaga.
Ale spróbujmy rozwinąć ten jeszcze bardziej formalnie.
>> To są słowa do piosenek Lady Gaga i Katy Perry.
Więc spójrz na Lady Gaga, widać, że mają wiele zdarzeń z "dzieckiem"
Wiele wystąpień "sposób." A następnie Katy Perry ma wiele wystąpień
"," Wiele wystąpień "ognia".
>> Więc w zasadzie to, co chcemy zrobić to, masz liryczny.
Powiedzmy, że masz tekst utworu na Piosenka to "dziecko", tylko "dziecko". Jeśli
jesteś po prostu słowo "dziecko", a to to wszystkie dane, które masz od
Lady Gaga i Katy Perry, który by się domyślić jest osoba
kto śpiewa piosenkę?
Lady Gaga i Katy Perry?
Lady Gaga, prawda?
Dlatego, że jest jedynym, który mówi "Dziecko". To brzmi głupio, prawda?
OK, to jest bardzo proste.
Po prostu patrząc na dwóch piosenek i Oczywiście, że jest jedynym, który ma
"Dziecko".
>> Ale co, jeśli masz kilka słów?
Jeśli masz coś rzeczywistego liryczny, jak: "dziecko, po prostu
poszliśmy zobaczyć [? CFT?]
Wykład "lub coś w tym stylu, a wtedy trzeba rzeczywiście dowiedzieć się -
na podstawie wszystkich tych słów -
kto jest artystą, który prawdopodobnie śpiewał tę piosenkę?
Więc staram się rozwijać to trochę dalej.
>> OK, więc oparte tylko na danych, które ma, wydaje się, że Gaga jest prawdopodobnie
piosenkarka.
Ale jak możemy napisać to bardziej formalnie?
I tam będzie trochę Trochę statystyk.
Więc jeśli się zgubisz, po prostu spróbuj zrozumieć pojęcie.
Nie ma znaczenia, czy rozumiesz równania doskonale.
To wszystko dzieje się w Internecie.
>> Więc w zasadzie, co mam obliczania jest prawdopodobieństwo, że ta piosenka jest przez
Lady Gaga jako że -
więc ten pasek oznacza, że ​​podano -
Widziałem słowo "dziecko". Czy to ma sens?
Więc staram się obliczyć że prawdopodobieństwo.
>> Więc nie jest to twierdzenie nazywane Twierdzenie Bayesa, który mówi, że
prawdopodobieństwo danej B, jest prawdopodobieństwo B otrzymał, czasy
Prawdopodobieństwo, ponad prawdopodobieństwa B. Jest to długi równanie.
Ale to, co trzeba zrozumieć, z to jest, że to jest to, co chcę
obliczyć, prawda?
Tak więc prawdopodobieństwo, że ta piosenka jest przez Lady Gaga jako że widziałem słowo
"Dziecko".
>> A teraz o co mi chodzi to prawdopodobieństwo słowo "dziecko" podano
że mam Lady Gaga.
A co to jest w zasadzie?
Co to znaczy to, co jest prawdopodobieństwo widząc słowo "dziecko"
Teksty piosenek Gaga w?
Jeśli chcę, aby obliczyć, że w bardzo Prosty sposób, to tylko liczba
razy widzę "dziecko" na ogólnej liczby słów piosenki Gaga, prawda?
Co to jest częstotliwość, że widzę to słowo w pracy Gagi?
Ma sens?
>> Drugi termin jest prawdopodobieństwo Gaga.
Co to znaczy?
Że w zasadzie oznacza, to, co jest prawdopodobieństwo klasyfikacji
niektóre teksty jak Gaga?
I to jest trochę dziwne, ale pomyślmy o przykład.
Więc powiedzmy, że prawdopodobieństwo konieczności "dziecko" w piosence jest taki sam
dla Gagi i Britney Spears.
Ale Britney Spears ma dwa razy więcej utworów niż Lady Gaga.
Więc jeśli ktoś po prostu losowo daje teksty piosenek z "dzieckiem", pierwszą rzeczą, którą
spojrzeć na to, jakie jest prawdopodobieństwo konieczności "dziecko" w piosence Gaga, "dziecko"
w piosence Britney?
I to samo.
>> Więc druga rzecz, że zobaczysz to, dobrze, co to jest prawdopodobieństwo
ten sam liryczny jest liryczny Gaga, i jakie jest prawdopodobieństwo
jest liryczny Britney?
Więc od Britney ma tak wiele więcej tekstów niż Gaga, prawdopodobnie
powiedzmy, dobrze, że jest to prawdopodobnie liryczny Britney.
Więc dlatego mamy to nazwać tutaj.
Prawdopodobieństwo Gaga.
Ma sens?
Nie?
OK.
>> I ostatnia jest tylko prawdopodobieństwo z "dzieckiem", która nie
ma znaczenia, że ​​dużo.
Ale to prawdopodobieństwo widząc "dziecko" w języku angielskim.
Zwykle nie obchodzi, że wiele o tym okresie.
Czy to ma sens?
Tak więc prawdopodobieństwo Gaga zwany przed prawdopodobieństwo
z Gaga klasy.
Bo to po prostu oznacza, że ​​to, co jest prawdopodobieństwo posiadania tej klasy -
który jest Gaga -
tak na ogół, wystarczy bez warunków.
>> I wtedy, gdy mam prawdopodobieństwo Gaga dane "dziecko", my nazywamy to Plus
łzami prawdopodobieństwo, ponieważ jest prawdopodobieństwo konieczności
Gaga podane jakieś dowody.
Więc daję ci dowody Widziałem, że słowa i dziecka
Piosenka ma sens?
OK.
>> Jeśli więc obliczyć, że dla każdego utwory dla Lady Gaga,
co byłoby -
najwyraźniej, że nie można przenieść tego.
Prawdopodobieństwo Gaga będzie coś, 2 na 24 razy 1/2,
ponad 2 na 53.
Nie ma znaczenia, jeśli wiesz, co liczby te pochodzą.
Ale to tylko numer, który będzie być więcej niż 0, prawda?
>> A kiedy ja Katy Perry, prawdopodobieństwo "baby" Katy jest podane
już 0, prawda?
Bo nie ma "dziecko" w Katy Perry.
Tak więc staje się 0, a Gaga zwycięstw, co oznacza, że ​​Gaga jest
Prawdopodobnie piosenkarka.
Czy to ma sens?
OK.
>> Więc jeśli chcesz, aby ten bardziej oficjalny, Mogę właściwie zrobić model
dla wielu słów.
Więc powiedzmy, że mam coś jak, "kochanie, jestem
w ogniu ", czy coś takiego.
Więc to ma wiele słów.
I w tym przypadku, można zobaczyć że "dzieci" jest Gaga,
ale to nie jest w Katy.
I "ogień" jest w Katy, ale to nie jest w Gaga, prawda?
Więc to coraz trudniejsze, prawda?
Ponieważ wydaje się, że prawie mieć krawat między nimi.
>> Więc co trzeba zrobić, to założyć, niezależność między słowami.
Więc w zasadzie, co to oznacza to, że Ja tylko obliczenia, co jest
prawdopodobieństwo zobaczenia "dziecko", co jest prawdopodobieństwo zobaczenia "ja", a
"Jestem" i "na" i "ogień" wszystko oddzielnie.
Wtedy ja mnożąc je wszystkie.
I widzę, jakie jest prawdopodobieństwo, widząc całe zdanie.
Ma sens?
>> Więc w zasadzie, jeśli mam tylko jedno słowo, co chcę znaleźć jest arg max,
co oznacza, to, co jest, że jest klasa daje mi największe prawdopodobieństwo?
Więc co jest klasa, która daje mnie najwyższy prawdopodobieństwo
prawdopodobieństwo klasy danego słowa.
Więc w tym przypadku, Gaga dane "dziecko". Lub Katy dane "dziecko". Ma sens?
>> I właśnie z Bayesa, że Równanie, które pokazałem,
tworzymy tę frakcję.
Jedyną rzeczą jest to, że widać, że Prawdopodobieństwo słowa podane
zmienia się w zależności od klasy od klasy, prawda?
Liczba "dziecko" s, które mam w Gaga różni się od Katy.
Prawdopodobieństwa klasy również zmiany, bo to po prostu numer
pieśni każdy z nich ma.
>> Jednakże prawdopodobieństwo tego słowa będzie taka sama dla wszystkich
artyści, prawda?
Tak więc prawdopodobieństwo tego słowa jest tylko to, co jest prawdopodobieństwo
widząc to słowo w Język angielski?
Więc to jest taki sam dla wszystkich.
Tak, ponieważ jest to stała, możemy po prostu spadek ten i nie dbam o to.
Tak więc będzie to rzeczywiście Równanie szukamy.
>> A jeśli mam wiele słów, jestem nadal będziemy mieć przed
prawdopodobieństwo tutaj.
Jedyną rzeczą jest to, że ja, mnożąc prawdopodobieństwo
wszystkie inne słowa.
Więc jestem mnożąc je wszystkie.
Ma sens?
Wygląda to dziwnie, ale w zasadzie oznacza, obliczyć przed klasy, i
następnie pomnożyć przez prawdopodobieństwo każdego słów znajdujących się w tej klasie.
>> I wiesz, że prawdopodobieństwo Słowo podana klasa będzie
ile razy można zauważyć, że słowo klasa ta podzielona przez liczbę
słowa, które masz w Klasa w ogóle.
Ma sens?
To jest po prostu jak "dziecko" było 2 nad liczba słów, które
Miałem w tekstach.
Tak właśnie częstotliwość.
>> Ale jest jedna rzecz.
Pamiętam, jak byłem pokazując, że prawdopodobieństwo będących piosenki "Baby" z
z Katy Perry był tylko dlatego, że Katy 0 Perry nie ma "dziecko" w ogóle?
Ale brzmi to trochę trudne do zaledwie po prostu powiedzieć, że teksty nie mogą być z
Artysta po prostu dlatego, że nie ma słowo w szczególności w dowolnym czasie.
>> Więc może po prostu powiedzieć, dobrze, jeśli nie ma tego słowa, mam zamiar
daje mniejsze prawdopodobieństwo, ale ja po prostu nie będzie
daje 0 od razu.
Ponieważ może to było coś w stylu: "Ogień, ogień, ogień, ogień", który jest
całkowicie Katy Perry.
A następnie "dziecko" i to tylko po to, aby 0 od razu, bo był jeden
"Dziecko".
>> Więc w zasadzie to, co robimy, jest czymś nazywa Laplace wygładzanie.
A to po prostu oznacza, że ​​daję pewne prawdopodobieństwo nawet do słów
że nie istnieją.
Więc co zrobić, jest to, że kiedy jestem obliczania tego, zawsze dodać 1 do
licznik.
Więc nawet jeśli słowo nie istnieje, w W tym przypadku, jeżeli jest to 0, nadal jestem
obliczenia to jak 1 na całkowita liczba słów.
W przeciwnym razie, rozumiem, jak wiele słów Mam i ja dodać 1.
Więc liczę na obu przypadkach.
Ma sens?
>> Więc teraz zróbmy jakieś kodowanie.
Mam zamiar zrobić to dość szybko, ale to jest po prostu ważne, aby
Chłopaki zrozumieć pojęcia.
Więc to, co staramy się robić to jest dokładnie to, wdrożenia
rzecz, że ja po prostu powiedział -
Chcę umieścić słowa z Lady Gaga i Katy Perry.
Oraz program będzie mógł powiedzieć, czy te nowe piosenki są od Gagi
czy Katy Perry.
Ma sens?
OK.
>> Więc mam ten program mam zamiar zadzwonić classify.py.
Więc to jest Python.
Jest to nowy język programowania.
To jest bardzo podobny w kilku sposoby na C i PHP.
Jest podobny, ponieważ jeśli chcesz nauczyć się Pythona po wiedząc C, to
naprawdę nie jest wielkie wyzwanie tylko dlatego, że Python jest dużo łatwiejsze
nie C, przede wszystkim.
I wiele rzeczy już są realizowane dla Ciebie.
Tak, jak jak PHP ma funkcje, które posortować listę, lub dodać coś
do tablicy, lub bla, bla, bla.
Python posiada wszystkie te, jak również.
>> Więc jestem po prostu się szybko wyjaśnić w jaki sposób możemy zrobić klasyfikacji
problem tutaj.
Powiedzmy, że w tym przypadku, mam Tekst piosenki z Gaga i Katy Perry.
Sposób, że mam to, że te słowa pierwsze słowo tekstu jest
nazwa artysty oraz Reszta to słowa.
Więc powiedzmy, że mam tę listę w Tekst i słowa piosenki Gagi, która jest pierwsza.
Więc tutaj jestem na dobrej drodze.
A następny jest Katy, i ma też słowa.
>> Tak to jest, jak się oświadczyć zmienna w Pythonie.
Nie musisz dać typ danych.
Po prostu napisać "teksty" Trochę jak w PHP.
Ma sens?
>> Więc jakie są rzeczy, które muszę obliczyć, aby móc obliczyć
prawdopodobieństwa?
Mam do obliczenia "a priori" każdego inaczej
Klasy, które mam.
Mam do obliczenia "posteriors," lub dość dużo prawdopodobieństwo
każdy z poszczególnych słów Mogę mieć dla każdego artysty.
Tak więc w ciągu Gaga, na przykład, mam zamiar mieć listę ile razy widzę
każde z tych słów.
Ma sens?
>> I wreszcie, po prostu będzie musiał lista nazywa się "Słowa", który jest po prostu będzie
mieć jak wiele słów I mają dla każdego artysty.
Więc dla Gagi, na przykład, kiedy patrzę do słów, ja, myślę, że 24
słowa w sumie.
Więc ta lista jest po prostu będzie musiał Gaga 24, a Katy inny numer.
Ma sens?
OK.
>> Więc teraz, rzeczywiście, niech Do kodowania.
Więc w Pythonie, można rzeczywiście powrót kilka różnych
rzeczy z funkcji.
Więc mam zamiar utworzyć tę funkcję nazwie "warunkowa", który będzie
, aby powrócić wszystkie z tych rzeczy, "Kapłani," w "prawdopodobieństwa", a
"słowa". Więc "warunkowe", a to będzie wzywając do "tekstu".
>> Więc teraz chcę, żebyś naprawdę Napisać funkcję.
Tak droga, że ​​mogę napisać to Funkcja jest zdefiniowana w tym właśnie
funkcjonować z "def". Więc zrobiłem "def warunkowego, "i to przy
"Słowa". A co to będzie zrobić jest, przede wszystkim, mam priori
że chcę obliczyć.
>> Tak sposób, że można to zrobić, to stworzyć Słownik w Pythonie, które
jest prawie to samo, co hash stół, lub jak to jest iteracyjny
Tablica w PHP.
To jest jak Oświadczam słownika.
I w zasadzie oznacza to, że przeorowie z Gaga 0.5, na przykład w przypadku
50% tekstów są od Gaga, 50% pochodzi z Katy.
Ma sens?
Więc muszę dowiedzieć się, jak do obliczania prawdopodobieństw a priori.
>> Kolejne z nich, że muszę to zrobić, również, są prawdopodobieństwa i słowa.
Więc prawdopodobieństwo Gaga lista wszystkich prawdopodobieństw, że
mają dla każdego z wyrazów dla Gagi.
Więc jeśli pójdę do prawdopodobieństw Gaga "Dziecko", na przykład, to da mi
coś jak 2 na 24 w tym przypadku.
Ma sens?
Więc idę do "prawdopodobieństwa", przejdź do "Gaga" wiadro, że ma listę wszystkich
słowa Gaga, a następnie przejść do "dziecka" i widzę prawdopodobieństwa.
>> I wreszcie mam to "Słowa" słownika.
Więc, "prawdopodobieństwa". A następnie "słowa". Więc jeśli ja "słowa:" "Gaga"
co wydarzy się to, że jest to da mi 24, mówiąc, że
ma 24 wyrazów ciągu tekstu z Gaga.
Ma sens?
Więc, "słowa" równa Dah-Dah-Dah.
Dobrze
>> Więc, co mam zamiar zrobić, to będę iteracyjne nad każdym z tekstów, więc
każdego z ciągów Mam na liście.
I idę do obliczania tych rzeczy Dla każdego z kandydatów.
Ma sens?
Więc muszę zrobić dla pętli.
>> W Pythonie, więc co mogę zrobić, to "dla linii w tekstach. "to samo, co
"Dla każdego" oświadczenie w PHP.
Pamiętam, jak gdyby to było PHP mogłem powiedzieć "dla każdego tekstu, jak
linia. "To ma sens?
Więc biorę każdej z linii, w tym przypadek, ten ciąg i następne
Ciąg więc dla każdej z linii, co mam zamiar zrobić, to po pierwsze, mam zamiar
podzielić ten wiersz na liście wyrazy oddzielone spacjami.
>> Tak Świetną rzeczą jest to, że Python można po prostu Google jak: "Jak mogę
podzielić ciąg w słowa? "I to jest powiem ci, jak to zrobić.
I sposób na to, że to tylko "linia = Line.split () "i to w zasadzie
będzie Ci listę z każdy z tu słowa.
Ma sens?
Więc teraz, że ja, że ​​chcę wiedzieć który jest wokalista tej piosenki.
A do tego po prostu trzeba uzyskać pierwszy element tablicy, prawda?
Więc mogę tylko powiedzieć, że "piosenkarka = Linia (0) "ma sens?
>> A następnie, co muszę zrobić, to przede wszystko, mam zamiar zaktualizować ile
słowa mam w "Gaga". więc jestem będzie obliczyć, ile wyrazów i
ma na tej liście, prawda?
Ponieważ jest to, jak wiele słów mam w tekstach, a ja po prostu się do
dodać go do "Gaga" tablicy.
Czy to ma sens?
Nie za bardzo skupiają się na składni.
Myśleć o koncepcji.
To jest najważniejsza część.
OK.
>> Więc co można zrobić, to jest, czy "Gaga" jest już w tym wykazie, tak ", jeśli piosenkarka w
Słowa ", co oznacza, że ​​już mają słowa przez Gaga.
Chcę tylko dodać dodatkowe Słowa do tego.
Więc co mam zrobić, to "słowa (Singer) + = Len (linia) - 1 ".
I wtedy mogę po prostu zrobić długość linii.
Tak jak wiele elementów I ma w tablicy.
I muszę zrobić minus 1 tylko dlatego, Pierwszy element tablicy jest tylko
piosenkarz i to nie są słowa.
Ma sens?
OK.
>> "Else", to znaczy, że chcę, aby właściwie wstawić Gaga na liście.
Więc po prostu zrobić "słowa (piosenkarka) = Len (linia) - 1, "przepraszam.
Tak więc jedynie różnice pomiędzy tymi dwoma Linie jest ten, że nie ma
istnieje jeszcze, więc jestem inicjalizacji.
Ten Jestem rzeczywiście dodanie.
OK.
Więc to było dodanie do słowa.
>> Teraz chcę dodać do priors.
Więc jak mam wyliczyć a priori?
Prawdopodobieństwa a priori można obliczyć przez ile razy.
Więc ile razy widać, że piosenkarka wśród wszystkich śpiewaków, że Ty
mieć, prawda?
Więc dla Gaga i Katy Perry, w tym przypadku, widzę Gaga
raz, Katy Perry raz.
>> Więc w zasadzie prawdopodobieństwa a priori dla Gaga i byłoby dla Katy Perry
być tylko jeden, prawda?
Po prostu, ile razy Widzę artystę.
Więc to jest bardzo łatwe do obliczenia.
Mogę tylko coś podobnego, jak np. "jeśli Piosenkarka w priors, "Idę
dodać 1 do swojej skrzynki priors.
Tak więc, "Kapłani (śpiewa)" + = 1 ", a następnie" inny " Mam zamiar zrobić "a priori (Singer)
= 1. "To ma sens?
>> Więc jeśli to nie istnieje po prostu umieścić jako 1, w przeciwnym razie po prostu dodać 1.
OK, więc teraz wszystko, co mam do zrobienia jest również dodanie każdego ze słów
prawdopodobieństwa.
Więc muszę się liczyć, ile razy Widzę siebie słów.
Więc po prostu trzeba zrobić kolejny do pętli w linii.
>> Tak więc pierwszą rzeczą, że mam zamiar zrobić, to sprawdzić, czy piosenkarka ma już
Prawdopodobieństwa tablicy.
Więc jestem sprawdzenie, czy piosenkarka nie posiada tablicę prawdopodobieństw, jestem
zamierza zainicjować jeden dla nich.
To nie jest nawet tablica, przepraszam, jest to słownik.
Więc prawdopodobieństwo piosenkarka zamierza być otwarty słownik, więc jestem
tylko inicjowanie słownik dla niego.
OK?
>> A teraz mogę rzeczywiście zrobić dla pętli do obliczania każdego ze słów "
prawdopodobieństwa.
OK.
Więc co mogę zrobić, to dla pętli.
Więc jestem po prostu się do iteracji na tablicy.
Tak sposób, że można to zrobić w Pythonie jest "for i in range". Od 1
bo chcę rozpocząć w drugim elementem, ponieważ pierwszy z nich jest
Nazwa piosenkarka.
Tak więc od jednego do długość linii.
I kiedy tak naprawdę nie wahają się go z jak tu od 1 do LEN
linia minus 1.
Więc to już nie robi to coś z n minus 1 do tablic, które jest bardzo
wygodne.
Ma sens?
>> Więc dla każdego z nich, co mam zamiar nie jest, podobnie jak w drugim,
Idę sprawdzić, czy słowo to położenie w linii jest już
prawdopodobieństwa.
A potem jak już powiedziałem tutaj, prawdopodobieństwa słowa, jak w I umieścić
Prawdopodobieństwa "(Singer)".
Więc nazwa wykonawcy.
Więc jeśli to jest już w "Probabilit (piosenkarka)", oznacza to, że
dodać 1 do niego, więc mam zamiar zrobić "(Singer) prawdopodobieństwa", oraz
Słowo jest "linii (i)".
Mam zamiar dodać 1 i "innego" Jestem po prostu zamierza zainicjować go do 1.
"Linia (i)".
Ma sens?
>> Tak więc, obliczono wszystkich tablic.
Tak, teraz wszystko, co musisz zrobić, aby to jest po prostu "wrócić priori,
prawdopodobieństwa i słowa. "Chodźmy zobaczyć, czy są jakieś, OK.
Wydaje się, wszystko działa do tej pory.
Tak, to ma sens?
W jakiś sposób?
OK.
Więc teraz mam wszystkie prawdopodobne.
Teraz jedyne co mi pozostało jest po prostu mieć to coś, że
oblicza się iloczyn wszystkich prawdopodobieństw kiedy się słowa.
>> Powiedzmy, że chcę teraz dzwonić Funkcja "klasyfikowanie ()" i
rzecz, że funkcja przyjmuje jest tylko argumentem.
Powiedzmy, że "Kochanie, jestem w ogniu" i jest zamiar dowiedzieć się, co jest
Prawdopodobieństwo to jest Gaga?
Jakie jest prawdopodobieństwo, że Katie?
Brzmi dobrze?
Więc jestem po prostu będzie trzeba tworzyć Nowa funkcja o nazwie "klasyfikacji ()" i
to zajmie trochę teksty piosenek, jak również.
A poza tym ja też teksty muszą wysyłać priori,
prawdopodobieństwa i słowa.
Więc mam zamiar wysłać teksty, a priori, prawdopodobieństwa, słowa.
>> Więc to bierze teksty, a priori, prawdopodobieństwa, słowa.
Więc, co to robi?
To w zasadzie będzie przejść przez wszystkie możliwe, że kandydaci
mieć jako piosenkarka.
A gdzie są te kandydaci?
Są w priors, prawda?
Tak mam wszystkie te tam.
Więc mam zamiar mieć słownika wszystkich potencjalnych kandydatów.
A następnie dla każdego kandydata w prawdopodobieństwa a priori, więc to oznacza, że ​​to będzie
być Gaga, Katie gdybym miał więcej byłoby więcej.
Mam zamiar rozpocząć obliczenia to prawdopodobieństwo.
Prawdopodobieństwo, jak widzieliśmy w PowerPoint jest uprzednie razy
Produkt każdej z Inne prawdopodobieństwa.
>> Więc można zrobić tutaj sam.
Mogę tylko zrobić prawdopodobieństwo jest początkowo tylko przed.
Tak priors kandydata.
Prawda?
I teraz mam do iteracyjne nad wszystkie Słowa, które mam w tekstach być
w stanie dodać prawdopodobieństwa dla każdego z nich, w porządku?
Tak więc, "na słowo w teksty" co zamierzam zrobić to, jeśli słowo jest w
"prawdopodobieństw (kandydujących)", który Oznacza to, że jest to słowo, które
kandydat posiada w swoich tekstach -
na przykład, "dziecko" dla Gaga -
co mam zamiar zrobić, to, że prawdopodobieństwo zostanie pomnożona
przez 1 plus prawdopodobieństw Kandydat na to słowo.
I to się nazywa "Słowo".
Ten podzielony przez liczbę słów że mam do tego kandydata.
Całkowita liczba słów, które mam dla piosenkarza, że ​​patrzę.
>> "Inaczej". oznacza to, że jest to nowe słowo tak, że to będzie jak na przykład
"Ogień" do Lady Gagi.
Więc po prostu chcę zrobić 1 na "Słowo (kandydat)".
Więc nie chcę, aby umieścić ten termin tutaj.
>> Więc to będzie w zasadzie kopiowanie i wklejanie tego.
Ale mam zamiar usunąć tę część.
Więc to tylko będzie 1 nad tym.
Brzmi dobrze?
A teraz na koniec, jestem po prostu będzie wydrukować nazwisko kandydata oraz
prawdopodobieństwo, że masz z mając S na ich teksty.
Ma sens?
I nawet nie w rzeczywistości Potrzebujemy tego słownika.
Ma sens?
>> Więc zobaczymy, czy to faktycznie działa.
Więc jeśli to uruchomić, to nie działa.
Odczekaj chwilę.
"Słowa (kandydujących)", "słowa (kandydujących)", to
Nazwa tej tablicy.
OK, więc to mówi, że jest jakiś błąd dla kandydata w priors.
Pozwól mi po prostu odpocząć trochę.
OK.
Spróbujmy.
OK.
>> Więc daje to Katy Perry ma Prawdopodobieństwo to razy 10 do
minus 7, a Gaga ma to razy 10 do minus 6.
Więc widać, że pokazuje, że Gaga ma większe prawdopodobieństwo.
Tak "Kochanie, jestem w ogniu" jest Prawdopodobnie piosenka Gaga.
Ma sens?
Więc to jest to, co zrobiliśmy.
>> Ten kod ma być umieszczone w Internecie, tak chłopaki mogą to sprawdzić.
Może korzystać z niego na kilka, jeśli chcesz zrobić projekt lub coś podobnego.
OK.
To było po prostu pokazać co obliczeniowa
Kod lingwistyka wygląda.
Ale teraz chodźmy do więcej rzeczy wysoki poziom.
OK.
>> Więc ja się inne problemy mówił o -
Problem segmentacji jest pierwszym z nich.
Więc masz tu Japończyków.
I wtedy zobaczysz, że nie ma spacji.
Tak to jest w zasadzie oznacza, że ​​jest to góry na krześle, tak?
Mówisz po japońsku?
To top krzesła, prawda?
>> Student: Nie wiem, co kanji tam jest.
>> LUCAS FREITAS: To [EGZAMIN japońskich]
OK.
Więc to w zasadzie oznacza przewodniczenie górze.
Więc jeśli miał umieścić spację byłoby tutaj.
I wtedy masz [? Ueda-san. ?]
Co oznacza, panie Ueda.
I widzisz, że "Ueda" i masz miejsca, a następnie "san". Więc widać, że
tu jesteś "Ue" jest jak sama.
I tu ma charakter obok niego.
>> Więc to nie jest tak, jak w tych językach znaki oznaczające słowo to więc
wystarczy umieścić dużo przestrzeni.
Postacie dotyczą siebie.
I mogą być wspólnie jak dwa, trzy, jeden.
Więc trzeba rzeczywiście stworzyć jakiś o sposób wprowadzenia tych przestrzeni.
>> I to jest to, że gdy masz Dane z tych języków azjatyckich,
wszystko pochodzi niesegmentowany.
Bo nikt, kto pisze po japońsku lub chiński pisze ze spacjami.
Każdym razem, gdy piszesz chiński, Japoński po prostu napisać wszystko
bez spacji.
To nie ma sensu umieścić spacji.
Więc kiedy się dane z, niektóre Wschód języków azjatyckich, jeśli chcesz
faktycznie coś z tym zrobić masz do pierwszego segmentu.
>> Myśleć robi przykład słowa bez spacji.
Więc jedyne słowa, które trzeba będzie zdania, prawda?
Oddzielonych kropkami.
Ale potem, będzie tylko zdanie naprawdę nie pomaga na udzielaniu informacji
kto te teksty są przez.
Prawda?
Należy więc stawia pierwsze miejsca.
Więc w jaki sposób można to zrobić?
>> Tak to jest pomysł na języku Model, który jest czymś naprawdę
ważne dla obliczeniowych językoznawstwo.
Więc model jest w zasadzie językiem Tabela prawdopodobieństw, że pokazy
Przede wszystkim, co jest prawdopodobieństwo mieć słowo w języku?
Więc widać, jak często słowo.
A następnie również pokazujący zależność między wyrazami w zdaniu.
>> Tak więc główną ideą jest, jeśli ktoś obcy przyszedł do ciebie i powiedział zdanie na
ci, jakie jest prawdopodobieństwo, że dla Przykład: "To jest moja siostra [GTF?"?]
był zdania, że ​​człowiek mówi?
Więc oczywiście niektóre zdania są częściej niż inne.
Na przykład, "dzień dobry" lub "dobry noc "lub" Cześć ", jest znacznie bardziej
powszechne niż w większości zdań że mamy po angielsku.
Więc dlaczego są te zdania częstsze?
>> Przede wszystkim dlatego, że masz Słowa, które są częstsze.
Tak więc, na przykład, jeśli powiesz, że pies jest duży, a pies jest gigantyczny, to
Prawdopodobnie usłyszeć zazwyczaj jest duży pies częściej, bo "duży" jest bardziej
często w języku angielskim niż "gigantyczny". Tak więc, jednym z
rzeczy jest częstotliwość słowo.
>> Drugą rzeczą, która jest naprawdę Istotne jest po prostu
Kolejność słów.
Tak, to jest wspólne, aby powiedzieć "kot jest wewnątrz pola. ", ale zwykle nie
zobacz w "oknie w środku jest kot." tak widzisz, że jest jakaś znaczenie
w kolejności słowa.
Nie można po prostu powiedzieć, że te dwa zdania ma takie samo prawdopodobieństwo
tylko dlatego, że mają te same słowa.
Trzeba rzeczywiście obchodzi o zamówienie, jak również.
Ma sens?
>> Więc co robimy?
Więc co ja mogę postarać się o ciebie?
Próbuję Ci to, co zadzwoń modele N-gram.
Więc modele n-gram w zasadzie przyjąć, że każde słowo
masz w zdaniu.
To prawdopodobieństwo, że mając słowo nie zależy nie tylko od
Częstość występowania tego słowa w języku, ale również od słów
otaczają go.
>> Tak na przykład, zazwyczaj gdy widzisz coś na co jesteś lub
Prawdopodobnie zobaczymy rzeczownik po nim, prawda?
Bo gdy masz przyimka zazwyczaj bierze rzeczownika po nim.
Lub jeśli masz czasownik jest przechodni zwykle będą
mają rzeczownik frazę.
Więc to będzie mieć rzeczownik gdzieś wokół niego.
>> Tak więc, w zasadzie, co robi jest to, że uważa prawdopodobieństwo konieczności
Słowa obok siebie, przy jesteś obliczania
prawdopodobieństwo zdania.
I to właśnie język model jest w zasadzie.
Tylko, że to, co jest prawdopodobieństwo mieć specyficzny
zdanie w języku?
Więc dlaczego tak jest, że przydatne, w zasadzie?
A przede wszystkim to, co jest Model n-gram, a następnie?
>> Więc modelu n-gramów oznacza, że Każde słowo zależy
następny N minus 1 słowa.
Tak więc, w zasadzie, to znaczy, że jeśli patrzę, Na przykład, w przypadku TF CS50
Jestem obliczania prawdopodobieństwa zdanie, będziesz jak "
prawdopodobieństwo posiadania słowo "" razy prawdopodobieństwo konieczności "
CS50 "razy prawdopodobieństwo konieczności "TF CS50." Tak więc, w zasadzie, liczę
wszystkie możliwe sposoby rozciągania go.
>> I wtedy zwykle, gdy to robisz, jak w projekcie, można umieścić N będzie
niska wartość.
Tak, zazwyczaj bigrams lub trygramów.
Tak, że po prostu liczyć dwa słowy, grupa dwóch lub trzech słów, słów,
tylko na problemy z wydajnością.
A także dlatego, że być może, jeśli masz coś jak "The CS50 TF". Kiedy
mają "TF", jest to bardzo ważne, że "CS50" jest obok niego, prawda?
Te dwie rzeczy są zwykle obok siebie.
>> Jeśli uważasz, że z "FT", to chyba będzie miał co
Klasa to TF'ing dla.
Również "" jest bardzo ważne dla CS50 TF.
Ale jeśli masz coś w stylu "The CS50 TF poszliśmy do klasy i dał ich
studentów cukierka. "" Cukierki "i" " nie mają związku naprawdę, prawda?
Oni są tak odległe od siebie, że to nie ma znaczenia, co
Słowa trzeba.
>> Więc wykonując bigram lub trygram, to oznacza po prostu, że jesteś ograniczenie
sobie na kilka słów które są w pobliżu.
Ma sens?
Więc jeśli chcesz zrobić segmentacji, w zasadzie to, co chcesz zrobić, to zobaczyć
jakie są wszystkie możliwe sposoby można segmentu zdanie.
>> Tak, że można zobaczyć to, co jest prawdopodobieństwo każdego z tych zdań
istniejących w języku?
Więc co możesz zrobić, to jak, dobrze, niech ja staram się umieścić tu miejsca.
Więc umieścić tam przestrzeń i zobaczyć, jakie jest
prawdopodobieństwo tego zdania?
Wtedy jesteś jak, OK, może , że nie było to dobre.
Więc umieścić tam przestrzeń i przestrzeń tam, i obliczyć
prawdopodobieństwo, teraz, i widać, że to jest większe prawdopodobieństwo.
>> Więc to jest algorytm o nazwie TANGO algorytmu segmentacji, który jest
faktycznie coś, co byłoby naprawdę fajne dla projektu, który
w zasadzie tekst niesegmentowany która trwa może być japoński czy chiński, a może
Angielski bez spacji i stara się umieścić odstępy między słowami i to robi
że za pomocą modelu, a język starając się zobaczyć, co jest najwyższym
prawdopodobieństwem można dostać.
OK.
Więc to jest segmentacja.
>> Teraz składnia.
Tak więc, postać jest używany do tak wiele rzeczy w tej chwili.
Szukaj więc na wykres, na Siri dla prawie każdy rodzaj naturalnego
przetwarzania języka masz.
Więc jakie są ważne rzeczy o składni?
Tak więc, ogólnie mają zdania co nazywamy składniki.
Które są jakby grup słów które pełnią funkcję w zdaniu.
I nie mogą być naprawdę od siebie.
>> Tak więc, jeśli powiem, na przykład, "Laura kocha Milo. "Wiem, że" Laura "jest
składnik, a następnie "miłości Milo "jest również inny.
Bo nie można powiedzieć, jak "Lauren Milo lubi "mają to samo znaczenie.
To nie będzie mieć to samo znaczenie.
I nie mogę powiedzieć, jak "Milo Lauren kocha. "Nie wszystko jest takie same
czyli robić.
>> Tak więc dwie ważne rzeczy o bardziej składnia są rodzaje leksykalne, które jest
zasadzie, że funkcja ma słów przez siebie.
Więc musisz wiedzieć, że "Laura" i "Milo" są rzeczownikami.
"Miłość" to czasownik.
I drugie ważne jest to, że są phrasal typy.
Więc wiesz, że "kocha Milo" jest rzeczywiście werbalne wyrażenie.
Więc kiedy mówię, "Laura", wiem, że Laura robi coś.
Co ona robi?
Ona kochać Milo.
Więc to jest cała sprawa.
Ale jego elementy są rzeczownik i czasownik.
Ale razem, robią zwrot czasownik.
>> Tak więc, co możemy zrobić z rzeczywistości lingwistyka komputerowa?
Tak więc, jeśli mam coś na przykład "przyjaciele" Allison. Rozumiem, jeśli tylko
drzewo syntaktyczne nie wiem, że będzie "Przyjaciele" to wyrażenie to jest rzeczownik
rzeczownik, a następnie "Allison" jest przyimkowy zdanie, w którym "z" jest
propozycja i "Allison" jest rzeczownikiem.
Co mogę zrobić, to nauczyć komputer że kiedy mam rzeczownik frazę jeden i
następnie przyimkowy zdanie.
Więc w tym przypadku, "przyjaciele", a następnie "z Milo: "Wiem, że oznacza to, że
NP2, drugi, posiada NP1.
>> Więc mogę stworzyć jakąś związku, jakaś funkcja do niego.
Więc gdy widzę tę strukturę, która Zastępuje dokładnie z "przyjaciółmi
Allison: "Wiem, że Allison posiada przyjaciół.
Więc to coś przyjaciele że Allison ma.
Ma sens?
Tak to jest w zasadzie to, co Wykres Szukaj robi.
To po prostu tworzy reguły do wielu rzeczy.
So "znajomi", "Allison moi przyjaciele kto mieszka w Cambridge, "" przyjaciół
którzy udają się do Harvardu. "Tworzy zasady dla wszystkich tych rzeczy.
>> Teraz tłumaczenie maszynowe.
Tak, jest również tłumaczenie maszynowe coś statystyczny.
I rzeczywiście, jeśli wziąć udział w lingwistyka komputerowa, dużo
swoje rzeczy będzie statystyka.
Tak robiłem na przykład z Wiele prawdopodobieństw, że jestem
obliczenia, a następnie dostać się do tego bardzo mała liczba, która jest ostateczna
prawdopodobieństwo, i to, co daje odpowiedź.
Urządzenie korzysta również tłumaczenie Model statystyczny.
A jeśli chcesz, aby myśleć o maszynie Tłumaczenie w najprostszy możliwy
sposób, co można myśleć tylko tłumaczyć słowo po słowie, prawda?
>> Kiedy nauka języka dla pierwszy raz, to co zwykle
to zrobić, prawda?
Jeśli chcesz przetłumaczyć zdanie w swoim języku do języka
uczysz się, zazwyczaj pierwsze, tłumaczyć każdego ze słów
indywidualnie, a następnie spróbuj umieścić słowa na miejsce.
>> Więc gdybym chciał przetłumaczyć, [EGZAMIN Portugalski]
co oznacza "biały kot uciekł." Gdybym chciał przetłumaczyć go z
Portugalski na angielski, co ja może zrobić to, po pierwsze, po prostu
tłumaczyć słowo po słowie.
Tak "o" jest "," "Gato", "kot" "Branco", "zielony", a następnie "fugio" jest
"Uciekł".
>> Więc mam wszystkie słowa tutaj, ale nie są w porządku.
To jest jak "biały kot uciekł" który jest niegramatyczne.
Tak, to mogę mieć drugi etap, który będzie znalezienie ideału
pozycji dla każdego słowa.
Tak, wiem, że tak naprawdę chce mieć "Biały kot" zamiast "kot biały." Tak
co mogę zrobić, to metoda najbardziej naiwny byłaby wytwarzającego
możliwych permutacji słowa, z pozycji.
A następnie sprawdzić, który z nich ma najwyższe prawdopodobieństwo według
do mojego modelu językowego.
A potem, kiedy znajdę ten, który ma najwyższe prawdopodobieństwo to, co
prawdopodobnie "biały kot uciekł" to moje tłumaczenie.
>> I to jest prosty sposób wyjaśnić jak dużo tłumaczenia maszynowego
algorytmy pracy.
Czy to ma sens?
Jest również coś naprawdę ekscytujące że chłopaki mogą być może poszukiwania
Ostateczny projekt, tak?
>> Student: No, powiedział, że to naiwny sposób, więc to, co jest
nie naiwny sposób?
>> LUCAS FREITAS: nie naiwny sposób?
OK.
Tak więc pierwszą rzeczą, że jest źle ta metoda jest to, że po prostu przetłumaczone
słowa, słowo po słowie.
Ale czasem trzeba słów może mieć wiele tłumaczeń.
Mam zamiar starać się myśleć czegoś.
Na przykład, "manga" w Portugalii puszki albo być "Magiel" lub "rękaw". Tak
gdy próbujesz przetłumaczyć słowo słowem, to może być co daje
coś, co nie ma sensu.
>> Więc rzeczywiście chcesz spojrzeć na wszystko ewentualne tłumaczenia
słowa i zobaczyć, przede wszystkim, co to jest rozkaz.
Rozmawialiśmy o permutating rzeczy?
Aby zobaczyć wszystkie możliwe zlecenia i wybrać jedną z najwyższych
prawdopodobieństwo?
Można również wybrać wszystkie możliwe Tłumaczenia dla każdego
słowo, a następnie zobaczyć -
w połączeniu z permutacji -
których jeden ma największe prawdopodobieństwo.
>> Plus, można również spojrzeć na nie tylko słowa, ale zwroty.
tak można analizować relacje między słowa, a następnie uzyskać
lepsze tłumaczenie.
Też coś innego, więc w tym semestrze Jestem rzeczywiście robi badania w
Chiński-Angielski tłumaczenie maszynowe, więc tłumaczenia z
Chiński na angielski.
>> I coś robimy, to, oprócz wykorzystania Model statystyczny, który jest po prostu
widząc prawdopodobieństwo zobaczenia niektórych pozycji w zdaniu, jestem
faktycznie dodając również do mojego trochę składni Model, mówiąc, oh, jeśli widzę tego rodzaju
budowy, to jest to, co chcę zmienić go, gdy w tłumaczeniu.
Więc można również dodać jakieś element składni, aby
tłumaczenie na bardziej efektywne i bardziej precyzyjne.
OK.
>> Tak, jak można zacząć, jeśli chcesz zrobić coś w obliczeniowych
językoznawstwo?
>> Po pierwsze, należy wybrać projekt która obejmuje języki.
Tak więc, jest tak wiele tam.
Jest tak wiele rzeczy można zrobić.
I wtedy można myśleć o modelu które można użyć.
Zazwyczaj oznacza to myślenie Założenia, jak jak, och, kiedy byłem
jak myślenia tekstów.
Byłem jak, dobrze, jeśli chcę, aby dowiedzieć się, kto to napisał, pewnie chcą
spojrzeć na słowa używane i osoba zobaczyć, kto używa tego słowa bardzo często.
Więc starają się założenia i staram się myśleć o modelach.
A następnie można również wyszukiwać w Internecie rodzaj problemu, który masz,
i to się sugerować do Ciebie modeli, które może
modelowane, że coś dobrze.
>> A także zawsze możesz napisz do mnie.
me@lfreitas.com.
I mogę tylko odpowiedzieć na Twoje pytania.
Możemy nawet może spotkać się tak mogę dać wskazówki na temat sposobów
realizacji projektu.
I mam na myśli, jeśli angażują się lingwistyka komputerowa, to będzie
się świetnie.
Będziesz tam zobaczyć jest tak wielki potencjał.
I przemysł chce zatrudnić jesteś tak źle z tego powodu.
Więc mam nadzieję, że chłopaki bardzo zadowoleni z tego.
Jeśli macie jakieś pytania, możesz poprosić mnie po tym.
Ale dziękuję.