>> LUCAS FREITAS: Хей.
Добре дошли на всички.
Моето име е Lucas Freitas.
Аз съм младши в [недоловим] изучаване компютърни науки с фокус в
компютърната лингвистика.
Така че ми е вторична в езика и езикова теория.
Аз съм наистина развълнуван да научи вас, момчета малко за областта.
Това е една много интересна област за изследване.
Също така с много потенциал за бъдещето.
Така че, аз съм много развълнуван, че вие, момчета, се обмисля проекти в
компютърната лингвистика.
И аз ще бъда повече от щастлив да съветва някой от вас, ако решите да
преследват една от тези.
>> Така че на първо място това, което са изчислителна лингвистика?
Така че компютърната лингвистика е на пресичане между лингвистиката и
компютърни науки.
Така че, това, което е лингвистика?
Какво е компютърни науки?
Ами от лингвистиката, какво ние приемаме, са езиците.
Така че лингвистиката е всъщност изследването на естествен език като цяло.
Така естествен език - ние говорим за език, който ние всъщност се използва за
комуникират помежду си.
Така че ние не сме точно говориш за C или Java.
Говорим повече за английски език и Китайски и други езици, които ние
използвате, за да комуникират един с друг.
>> Предизвикателният нещо за това е, че точно сега имаме почти 7000
езици в света.
Така че има доста висок разнообразие на езици, които можем да учат.
И тогава си мислиш, че това е може би много трудно да се направи, например,
превод от един език в друга, като се има предвид, че имате
почти 7000 от тях.
Така че, ако мислите, че за правене на превод от един език на другия ви
има почти повече от един милион различни комбинации, които можете да
имаме от език с езика.
Така че това е наистина предизвикателство да се направят някои вид система например за превод
всеки един език.
>> Така че, лингвистика третира с синтаксис, семантика, прагматика.
Вие, момчета, не се нуждаят от точно да знам какво са те.
Но много интересно нещо е, че като роден език, когато се научиш
език като дете, вие всъщност се учи всички тези неща - синтактични семантика
и прагматика -
от себе си.
И никой няма да ви научи синтаксис за можете да разберете как изречения са
структурирана.
Така че, това е наистина интересно, защото това е нещо, което идва много
интуитивно.
>> И какво са ти като от компютърната наука?
Е, най-важното нещо, което ние имат по компютърни науки е първият от
всички, изкуствен интелект и машинно обучение.
Така че, това, което ние се опитваме да правим компютърна лингвистика е науча
компютъра си как да се направи нещо с език.
>> Така, например, в машина превод.
Опитвам се да науча моя компютър как да знаете как да се преход от едно
език на другия.
Така че, общо взето като Обучението на компютърни два езика.
Ако го направя обработка на естествен език, какъвто е случаят например на
Facebook е Graph Search, ви научи компютъра си как да се разбере
заявки добре.
>> Така че, ако ти кажа "снимките на моя приятели. "Facebook не лекуват, че
като цяло низ, който има само куп думи.
То всъщност разбира връзката между "Снимки" и "моите приятели" и
разбира, че "снимки" са собственост на "моите приятели".
>> Така че, това е част от, например, обработка на естествен език.
Той се опитва да разбере какво е връзката между
на думите в изречение.
И големият въпрос е, може ли преподават компютър как да говорят
език, като цяло?
Което е много интересен въпрос, да Мисля, че като че ли може би в бъдеще,
ти започваш да бъде в състояние да консултирайте се с Вашия мобилен телефон.
Нещо като това, което правим с Siri, но нещо по-скоро като, всъщност можете да
казват каквото си искат и телефона ще се разбере всичко.
И тя може да има последващи действия въпроси и продължавай да говориш.
Това е нещо наистина вълнуващо, по мое мнение.
>> Така че, нещо за естествените езици.
Нещо наистина интересно за естествените езици е, че и това е
кредит за моя лингвистика професор, Maria Polinsky.
Тя дава за пример и аз мисля, това е наистина интересно.
Тъй като ние се учим език от времето, когато ние сме родени и след това родната ни
език вид расте върху нас.
>> И в общи линии да научите език от минимално участие, нали?
Ти просто се на сигнала от вашия родители на това, което звучи вашия език
харесва и просто го научат.
Така че, това е интересно, защото, ако се вгледате в тези изречения, например.
Изглеждаш, "Мери си слага палто всеки време тя напуска къщата. "
>> В този случай, че е възможно да има думата "тя" се отнасят до Мери, нали?
Може да се каже, "Мери си слага палто всеки път, когато Мери напуска
къща. ", така че е добре.
Но след това, ако се вгледате в изречението "Тя си слага палто всеки път Mary
напуска къщата. "знаеш, че е невъзможно да се каже, че "тя" е
позовавайки се Мери.
>> Няма начин да се каже, че "Мери поставя върху палто всеки път Mary напуска
къщата. "Така че това е интересно, защото това е вид на интуицията
че всеки англоговорящ има.
И никой не е научил, че това е начина, по който работи синтаксис.
И че можете да имате само това "тя" позовавайки се Mary в този първи случай,
и всъщност в другия също, но не в този.
Но всеки вид получава на същия отговор.
Всички са съгласни с това.
Така че това е наистина интересно как въпреки не знаете всички правила
на вашия език някак си разбирам как работи езика.
>> Така че интересното нещо за природен език е, че не е нужно да се
познавам никакъв синтаксис да знам, ако едно изречение е граматическа или ungrammatical за
повечето случаи.
Кое ви кара да мислите, че може би това, което се случва, е, че през живота си,
просто продължавай все повече и повече изречения казаха за вас.
И тогава ще се запази запомняне всички присъди.
И тогава, когато някой ви каже, нещо, чу ли това изречение и
погледнете в речника си на изречения и да видим дали
това изречение е там.
И ако той е там ви Казват, че е граматическа.
Ако това не е ли казал, че е ungrammatical.
>> Така че, в този случай, бих казал, о, така че имате огромен списък на всички
възможни присъди.
И тогава, когато чуете едно изречение, Знаете ли дали това е граматическа или
не се основава на това.
Работата е там, че ако се вгледате в едно изречение, например, "The
пет глави CS50 TFS варени слепите октопод с помощта на DAPA чаша. "Това е
Определено не е присъда че сте чували преди.
Но в същото време знаеш, че е доста много граматични, нали?
Има още няма граматически грешки и може да се каже, че
това е възможно изречение.
>> Така че това ни кара да мислим, че всъщност така, че ние се учим език е не само
от наличието на огромна база данни на възможно думи или изречения, но повече от
разбиране на връзката между думи в тези изречения.
Това прави ли смисъл?
Така че, тогава въпросът е, може ли компютри изучаване на чужди езици?
Можем ли да научи език с компютри?
>> Така че, нека да мислим за разликата между англоговорящ на език
и компютър.
Така че, това, което се случва на говорителя?
Е, местният научава език от излагането на него.
Обикновено неговите ранни години детство.
Така че, общо взето, можете просто да има бебе, и продължаваш да говориш с него, и да го
просто се научава как да се говори на езика, нали?
Така че, вие основно даване вход за бебето.
Така че, след това можете да се твърди, че един компютър може да направи същото нещо, нали?
Можете просто да се даде език като вход към компютъра.
>> Като например един куп файлове че има книги на английски език.
Може би това е един начин, по който би могъл да се научи
компютър английски, нали?
И в действителност, ако си мислиш за него, тя ще ви отведе може би няколко
дни, за да прочетат една книга.
За компютър отнема секунда разгледаме всички думи в една книга.
Така че можеш да се сетиш, че може да бъде само това аргумент на вход от около теб,
това не е достатъчно, за да се каже, че това е нещо, че само хората могат да направят.
Можете да мислите компютри също могат да получат вход.
>> Второто нещо е, че е роден език също в мозъка, който е
езиковото обучение способности.
Но ако си мислиш за него, мозък е нещо твърдо.
Когато се роди, той вече е определен -
това е вашият мозък.
И като пораснеш, можете просто да се по- въвеждане на език, а може би и хранителни вещества
и други неща.
Но почти мозъка е нещо твърдо.
>> Така че може да се каже, добре, може би ще изграждане на компютър, който има куп
функции и методи, които само имитират езиковото обучение способности.
Така че в този смисъл може да се каже, добре, аз може да има компютър, който разполага с всички
неща, които трябва да научат езика.
И последното нещо, което е, че е родом говорител се учи от опита и грешката.
Така че основно друго важно нещо в изучаването на езици е, че вид
на научите неща, като обобщения на това, което чувате.
>> Така че, както се израстването ви научат, че някои думи са по-скоро като съществителни,
някои други такива са прилагателни.
И не е нужно да има някакви познания по лингвистика
да се разбере това.
Но ти просто знаеш, че има някои думи са разположени в някоя част на
изречение и някои други, в други части на изречението.
>> И че когато правиш нещо, което е като едно изречение, което не е вярно -
Може би защото на над генерализация например.
Може би, когато сте расте, можете да забележите че множествено число е обикновено
формиран чрез поставяне на S в на края на думата.
И тогава ще се опитаме да направим множествено число на "елен", като "елен" или "зъб" като
"tooths." Така че след това на родителите си или някой ви поправя и казва, не,
множествено число на "елен" е "елен", а множествено число на "зъб" е "зъби." И след това
можете да научите тези неща.
Така че можете да научите от опити и грешки.
>> Но можете да направите това с компютър.
Можете да имате нещо, наречено армировка обучение.
Което е основно като даде компютър награда, когато го прави
нещо правилно.
И това дава обратното на награда и когато го прави нещо нередно.
Всъщност можете да видите, че ако отидете да Google Translate и да се опитате да
преведете изречение, то ви пита за обратна връзка.
Така че, ако ви кажа, о, там е по-добър превод на това изречение.
Можете да го въведете и след това, ако много хората продължават да казват, че е по-добре
превод, той просто научава, че тя трябва да използвате вместо на този превод
този, който го е давал.
>> Така че, това е един много философски въпрос за да видите дали компютрите ще бъдат
в състояние да говори или не в бъдеще.
Но аз имам големи надежди, че те могат само въз основа на тези аргументи.
Но това е просто повече от една философска въпрос.
>> Така че, докато компютрите все още не могат да говорят, Кои са нещата, които можем да направим?
Някои наистина готини неща са класификация данни.
Така, например, вие знаете че имейл услуги да направят, за
Например, филтриране на спам.
Така че всеки път, когато получавате спам, то се опитва да се филтрира до друга кутия.
И така, как да го направя това?
Това не е като на компютъра просто не знае какво имейл адреси се изпращат спам.
Така че това е по-въз основа на съдържанието на съобщението, или може би титлата, или
може би някой модел, който имате.
>> Така че, общо взето, това, което можете да направите, е да получите много данни от имейли, които са спам,
имейли, които не са спам, и да научат какво вид на модели имате в
такива, които са спам.
И това е част от изчислителната лингвистика.
Тя се нарича класификация на данни.
И ние всъщност ще видите пример за това в следващите слайдове.
>> Второто нещо, което е естествен език преработка, която е нещо, което
Graph Search прави за отдаване под наем ти пиша едно изречение.
И тя вярва, че разбирате какво е смисъла и дава
ти по-добър резултат.
Всъщност, ако отидете на Google или Bing и вие търсите нещо като Lady
Височина Гага, вие всъщност ще за да получите 5 "1" вместо информация
от нея, защото тя действително разбира какво говориш.
Така че това е част от природното обработка език.
>> Или също така, когато използвате Siri, първо имате алгоритъм, който се опитва да
превода какво казваш в думи, в текст.
И тогава той се опитва да се преведат че в смисъл.
Така, че това е част от естествения обработка език.
>> След това имате машинен превод -
което е всъщност една от любимите ми -
която е само превода от език на друг.
Така че можеш да се сетиш, че когато правиш машинен превод, имате
неограничени възможности от изречения.
Така че няма начин просто да съхранявате всеки един превод.
Така че ще трябва да излезе с интересна алгоритми, за да бъдат в състояние да
превода на всеки един изречение по някакъв начин.
>> Вие, момчета, имате някакви въпроси досега?
Не?
OK.
>> И така, какво ще видим днес?
На първо място, аз отивам да се говори за проблема класификация.
Така че този, който бях казва за спам.
Това, което аз ще направя, е, дадени текстове на песни за една песен, може да се опитате да разбера
с висока степен на вероятност който е певицата?
Да кажем, че имам песни от Lady Gaga и Katy Perry, ако ти дам
нова песен, може да ви разбера, ако това е Katy Perry или Lady Gaga?
>> Вторият, аз съм просто ще поговорим за проблема на сегментация.
Така че аз не знам дали вие знаете, но Китайски, японски, другата East Asian
езици, както и на други езици Като цяло, не е нужно
интервали между думите.
И тогава, ако си мислиш за начина, по който компютъра си вид се опитва да
разбирам обработка на естествен език, той гледа на думите и
се опитва да разбере отношенията между тях, нали?
Но след това, ако имате китайски, а ти имат нулеви пространства, това е наистина трудно да се
разберете каква е връзката между думи, тъй като те не могат да оказват никакво
думи на първо време.
Така че трябва да направим нещо, наречено сегментация която току-що е поставянето
пространства между това, което ние ще се обади думи в тези езици.
Направи ли смисъл?
>> И тогава ние ще говорим за синтаксис.
Така че просто малко за природен обработка език.
Това ще бъде просто един преглед.
Така че днес, в общи линии това, което искам да направя ви дам момчета малко на
във вътрешността на това какви са възможностите , които можете да правите с изчислителна
лингвистика.
И тогава можете да видите какво мислите е прохладно сред тези неща.
И може би можеш да се сетиш на проект и дойде да говори с мен.
И мога да ви дам съвет за това как да го приложат.
>> Така синтаксис ще бъде малко за Graph Search и машина
превод.
Аз съм просто ще дам един пример за това как бихте могли, например, превежда
нещо от португалски на английски език.
Звучи добре?
>> Така че, на първо място, проблемът на класификация.
Аз ще кажа, че тази част от семинара ще бъде най-голямото предизвикателство
едно просто, защото там става за някои кодиране.
Но това ще е Python.
Знам, че вие, момчета, не знаят, Python, така че Отивам да се обясни в открито
ниво, което аз правя.
И не е нужно да ми пука прекалено много за синтаксиса, защото това е
нещо, вие може да се научат.
OK?
Звучи добре.
>> Така че това, което е проблем за класификация?
Значи дал някои текстове да една песен, а вие искате да се отгатне
кой я пее.
И това може да бъде за всякакъв вид други проблеми.
Така че това може да бъде, например, може да има президентска кампания и имате
реч, а вие искате да намерите , ако това е, например,
Обама или Мит Ромни.
Или можете да имате един куп имейли и искате да разбера, ако те са
спам или не.
Така че това е просто класифициране на някои данни въз основа на думите
че имате там.
>> Така че, за да направите това, вие трябва да се направят някои предположения.
Така че много за компютърна лингвистика се правят предположения,
обикновено интелигентни предположения, така че можете да получите добри резултати.
Опитвайки се да се създаде модел за него.
И след това да я изпробвате и да видим дали тя работи, ако той ви дава добра точност.
И ако това е така, тогава вие опитайте се да я подобрим.
Ако това не стане, вие сте като OK, може би аз трябва да се направи различно предположение.
>> Така че предположението, че ние ще направи, е, че един художник обикновено пее
за една тема няколко пъти, а може би използва думи, няколко пъти просто
защото те са свикнали с него.
Можете просто да мисля за вашия приятел.
Сигурен съм, че вие, момчета, всички имат приятели които казват подписа си фраза,
буквално за всяко едно изречение -
като някаква конкретна дума или някои специфични фраза, която те казват за
всяко едно изречение.
>> И това, което мога да кажа е, че ако те видя присъда, която има подпис
фраза, можете да се досетите, че вероятно вашият приятел е
едно го казвам, нали?
Така че направи това предположение и после Ето как можете да създадете модел.
>> Примерът, че аз ще дам, е на как Lady Gaga, например, хора
се каже, че тя използва "бебе" за всичките си номер едно песни.
И всъщност това е едно видео, което показва, си казва думата "бебе" за
различни песни.
>> [VIDEO PLAYBACK]
>> - (ПЕЕ) Бебе.
Бебе.
Babe.
Бебе.
>> [END възпроизвеждане на видео-
>> LUCAS FREITAS: Така че има, аз мисля, 40 песни тук, в което тя казва, че
думата "бебе". Така че можете да основно предполагам че ако видите една песен, която има
думата "бебе", има някои високо вероятност, че това е Lady Gaga.
Но нека да се опитаме да развием тази още по-официално.
>> Така че това са текстове на песни на Lady Gaga и Katy Perry.
Така че погледнете Lady Gaga, можете да видите има много случаи на "бебе", а
много случаи на "начин." И след това Katy Perry има много случаи на
"За" много случаи на "пожар".
>> Така че основно това, което ние искаме да направите, е да, вие получавате лиричен.
Да речем, че имате по-лиричен за песен, която е "бебе", просто "бебе". Ако
просто идва и думата "бебе", а това е всички данни, които имате от
Lady Gaga и Katy Perry, който ще ли да се досетите, е лицето
който пее песента?
Lady Gaga или Katy Perry?
Lady Gaga, нали?
Защото тя е само един, който казва, "Бебе". Това звучи глупаво, нали?
ОК, това е много лесно.
Аз съм просто гледам на двете песни и на Разбира се, тя е единствената, която има
"Бебе".
>> Но какво, ако имате един куп думи?
Ако имате действително лиричен, нещо като, "бебе, аз просто
Отидох да видя [? CFT?]
лекция ", или нещо такова, и тогава вие всъщност трябва да разбера -
въз основа на всички тези думи -
кой е художникът, който вероятно пееше тази песен?
Така че нека да се опитаме да развием това малко по-нататък.
>> ОК, така че въз основа само на данните, които ние Има, изглежда, че Гага е вероятно
певицата.
Но как може да се пише това по-официално?
И там ще бъде малко малко статистика.
Така че, ако сте се изгубили, просто опитайте да се разбере концепцията.
Това няма значение, ако сте разбрали уравненията отлично.
Това е всичко, няма да бъде на линия.
>> Така че основно това, което аз съм изчисляване е вероятност, че тази песен е от
Lady Gaga има предвид, че -
така че това означава бар има предвид, че -
Видях думата "бебе". Това прави ли смисъл?
Така че аз се опитвам да се изчисли Тази вероятност.
>> Така че там е тази теорема, наречен Бейс теорема, която казва, че
вероятност на даден тип В, ​​е вероятност на Б, даден пъти
вероятността, над вероятността Б. Това е дълго уравнение.
Но това, което трябва да се разбере от това е, че това е, което искам да
изчисли, нали?
Така че вероятността, че тази песен е от Lady Gaga има предвид, че видях думата
"Бебе".
>> И сега това, което аз съм се е вероятност на думата "бебе", дадени
че имам Lady Gaga.
И какво е това същество?
Какво означава това е, какво е вероятност да видя думата "бебе"
в Gaga текстове на песни?
Ако искам да се изчисли, че в много прост начин, това е просто броят на
пъти виждам "бебе" над общия брой на думите в Gaga текстове, нали?
Каква е честотата, че виждам тази дума в работата Гага?
Направи ли смисъл?
>> Вторият план е вероятност за Gaga.
Какво означава това?
Това по същество означава, каква е вероятност за класифициране
някои текстове като Gaga?
И това е малко странно, но нека помислим за пример.
Така че нека да кажем, че вероятността от като "бебе" в една песен е същата
за Gaga и Бритни Спиърс.
Но Бритни Спиърс има два пъти повече песни, отколкото Lady Gaga.
Така че, ако някой просто случайно ви дава текстове на песни на "бебе", първото нещо, което
погледнете е, каква е вероятността от като "бебе" в Gaga песен, "бебе"
в Britney песен?
И това е едно и също нещо.
>> Така че второто нещо, което ще видите, е, Е, каква е вероятността от
този лиричен от само себе си, че е Gaga лиричен, и каква е вероятността от
бъдеш Britney лиричен?
Така че, тъй като Бритни има толкова много повече текстове на песни от Gaga, Вие вероятно ще
да речем, добре, това е може би лиричен Бритни.
Така че това е защо ние имаме това определям точно тук.
Вероятност за Gaga.
Има смисъл?
Така ли е?
OK.
>> И последната една е само вероятността на "бебе", която не се
наистина значение, че много.
Но това е вероятността от виждането "бебе" на английски език.
Ние обикновено не ми пука, че много за този термин.
Това прави ли смисъл?
Така че вероятността от Gaga е наречен преди вероятността
на Gaga клас.
Защото това просто означава, че това, което е най- вероятност да се налага този клас -
което е Gaga -
просто като цяло, просто без никакви условия.
>> И тогава, когато имам вероятност за Gaga дал "бебе", ние го наричаме плюс
Teary вероятност, защото това е вероятността за
Gaga дадени някои доказателства.
Така че аз ти давам доказателства че видях думата бебето и
песента да има смисъл?
OK.
>> Така че, ако съм изчислил, че за всеки от песните за Lady Gaga,
какво ще бъде -
очевидно, че не може да се движи това.
Вероятността от Gaga ще бъде нещо подобно, две над 24 пъти по 1/2,
над 2 над 53.
Това няма значение, ако знаете какво тези числа идват.
Но това е просто число, което се случва да бъде повече от 0, нали?
>> И тогава, когато аз правя Katy Perry, на вероятност за "бебе", дадени Katy е
вече 0, нали?
Защото няма "бебе" в Katy Perry.
Така че след това става 0 и Gaga победи, което означава, че Gaga е
вероятно певицата.
Това прави ли смисъл?
OK.
>> Така че, ако искате да направите това по-официално, Всъщност мога да направя модел
за няколко думи.
Така че нека да кажа, че имам нещо като, "бейби, аз съм
на огъня ", или нещо такова.
Така че има много думи.
И в този случай, можете да видите че "бебе" е в Gaga,
но това не е в Katy.
И "огън" е в Katy, но това не е в Gaga, нали?
Така че става все по-сложни, нали?
Защото изглежда, че почти има връзка между двете.
>> Така че това, което трябва да направите е да се предположи, независимост между думите.
Така че в общи линии това, което означава, че е, че Аз съм просто изчисление какъв е
вероятност да видя "бебе", което е вероятността за виждане "I", и
"Съм", ​​и "на" и "огън" всички поотделно.
Тогава аз се умножи всички от тях.
И аз виждам каква е вероятността да видя цялата изречение.
Направи ли смисъл?
>> Така че основно, ако имам само една дума, това, което искам да разбера е арг макс,
което означава, че това е класът, че е че ми даде най-високата вероятност?
Така че това, което е класът, който се дава ми най-голяма вероятност за
вероятност от клас дадена дума.
Така че в този случай, Gaga има предвид "бебе". Или Katy дал "бебе". Направи ли смисъл?
>> И само от Бейс, че уравнение, което показах,
ние създаваме тази фракция.
Единственото нещо е, че виждате ли, че вероятността от дума Предвид
промени класа в зависимост от класа, нали?
Броят на "Baby" е, че имам в Gaga е различно от Katy.
Вероятността от класа също промени, защото това е просто броя
на песни всеки от тях има.
>> Но вероятността на самата дума ще бъде една и съща за всички
художници, нали?
Така вероятността за дума просто, каква е вероятността от
виждайки, че дума в Английски език?
Така че това е един и същ за всички от тях.
Така че, тъй като това е постоянно, ние можем просто пуснете това и не се грижи за него.
Така че това ще бъде всъщност уравнение, което търсим.
>> И ако имате няколко думи, аз съм все още продължава да има предварително
вероятност тук.
Единственото нещо е, че аз съм се умножи вероятността
всички други думи.
Така че аз съм се умножи всички от тях.
Направи ли смисъл?
Изглежда странно, но в общи линии означава, изчисли приор на класа, и
след това се умножава по вероятността за всеки на думите са в този клас.
>> И вие знаете, че вероятността от Думата даден клас ще бъде на
брой пъти, които виждате тази дума в този клас, разделен на броя на
думи, които имате в това клас като цяло.
Направи ли смисъл?
Това е просто как "бебе" е над 2 на броя на думите, които
Имах в текста.
Така че просто честотата.
>> Но има едно нещо.
Помниш ли как се показва, че вероятност на "Baby" са текстове на песни
от Katy Perry е 0, само защото Katy Пери не е имал "бебе" на всички?
Но това звучи малко грубо просто да просто да кажа, че текстовете не могат да бъдат от
художник, само защото те не разполагат с тази дума по-специално по всяко време.
>> Така бихте могли просто да кажа, добре, ако не разполагат с тази дума, аз отивам да
да ви даде по-ниска вероятност, но аз просто няма да
ви дам 0 веднага.
Защото може би това е нещо подобно, "Огън, огън, пожар, пожар", което е
напълно Katy Perry.
И след това "бебе", и то само идва да 0 веднага, защото имаше една
"Бебе".
>> Така че основно това, което правим, е нещо, наречен на Лаплас изглаждане.
И това просто означава, че давам някаква вероятност дори думите
че не съществуват.
Така че това, което правя, е, че когато съм изчисляване на това, аз винаги добавяйте 1 до
числителя.
Така че, дори ако думата не съществува, в този случай, ако това е 0, аз съм все още
изчисляване на това като един над река Общият брой на думите.
В противен случай, да получа колко думи Имам и аз се добавя 1.
Така че аз съм се брои за двата случая.
Направи ли смисъл?
>> Така че сега нека да се направят някои кодиране.
Ще трябва да го направим много бързо, но това е просто важно да
момчета разбират понятията.
Така че това, което ние се опитваме да направим е точно изпълнение на настоящото
нещо, което току-що казах -
Искам да се сложи текст от Lady Gaga и Katy Perry.
И програмата ще бъде в състояние да казват, че ако тези нови текстове на песни са от Gaga
или Katy Perry.
Направи ли смисъл?
OK.
>> Така че аз имам тази програма ще да се обадя classify.py.
Така че това е Python.
Това е нов език за програмиране.
Той е много подобен на някои начини за C и PHP.
Той е подобен, защото, ако искате да научат Python след знаейки, C, това е
наистина не е много по-голямо предизвикателство просто защото Python е много по-лесно
от С, на първо място.
И много от нещата вече са изпълнява за вас.
Така че просто как като PHP има функции, които сортирате списък или добавите нещо
към масив, или дрън, дрън, дрън.
Python има всички тези, както добре.
>> Така че аз съм просто ще обясни бързо как бихме могли да направим за класирането
проблем за тук.
Така че нека да кажем, че в този случай, аз имам Текстове от Gaga и Katy Perry.
Начинът, по който аз имам тези текстове е, че първата дума от текста е
името на художника, и останалото е текста.
Така че нека да кажа, че имам този списък в които първата е по текст на Gaga.
Така че тук съм на прав път.
И следващият е Katy, и но има също така текста.
>> Така че това е начина, Вие декларирате, променлива в Python.
Не е нужно да се даде на типа данни.
Вие просто напишете "текстове", Нещо като в PHP.
Направи ли смисъл?
>> Така че какви са нещата, които трябва да изчисляване, за да може да се изчисли
вероятности?
Трябва да се изчислят "Приорите" на всеки от различните
класове, които имам.
Трябва да се изчислят "премоларите" или почти вероятностите
всеки от различните думи, които I може да има за всеки творец.
Така в рамките на Gaga, например, аз ще да има списък на колко пъти виждам
всяка от думите.
Направи ли смисъл?
>> И накрая, аз съм просто ще има списък, наречен "думи", че е просто ще
да има колко думи съм да има за всеки творец.
Така че за Gaga, например, когато погледна до текстовете, бях, мисля, 24
думи общо.
Така че този списък е просто ще има Gaga 24, и Katy друг номер.
Направи ли смисъл?
OK.
>> Така че сега, всъщност, нека да отидете на кодирането.
Така че в Python, всъщност можете да върне един куп различни
неща от една функция.
Така че аз отивам да се създаде тази функция наречената "условна", която ще
да се върнат всички тези неща, за "присъди" на "вероятностите", а
"думи." Така "условна", и това е ще се обади в "текстове."
>> Така че сега искам да всъщност напиша тази функция.
Така че начинът, по който мога да напиша това функция е просто определя този,
функционира с "Def." Така че го направих "Def условно, "и то се бави
"Текстове." И какво ще направи е, на първо място, аз имам моите предишни провинения
че аз искам да се изчисли.
>> Така че начинът, по който мога да го направя, е да създадете речник в Python, която
е почти едно и също нещо като хеш маса, или това е като един повтарящ
масив в PHP.
Това е как аз декларирам речник.
И в общи линии какво означава това е, че присъди на Gaga е 0.5, например, ако
50% от текстовете са от Gaga, 50% са от Katy.
Направи ли смисъл?
Така че аз трябва да разбера как за изчисляване на Приорите.
>> Следващите тези, които трябва да направя, също така, са вероятностите и думите.
Така че вероятностите за Gaga списъка на всички вероятности, че аз
имат за всяка от думите за Gaga.
Така че, ако отида да вероятности на Gaga "Бебе", например, тя ще ми даде
нещо като две над 24 в този случай.
Направи ли смисъл?
Така че аз отивам да "вероятностите", отидете на "Gaga" кофа, че има списък на всички
думите Гага, тогава отидете на "бебе" и виждам вероятността.
>> И най-накрая имам тази "Думите" речник.
Така че тук, "вероятности." И след това "думи." Така че, ако го направя "думи", "Гага"
какво ще се случи, е, че тя е ще ми даде 24, като каза, че аз
има 24 думи в рамките на текстове от Gaga.
Има смисъл?
Така че тук, "думи" е равно на дрън-дрън-дрън.
Добре
>> Така че това, което аз ще направя, е, че ще обхождане на всеки един от текстовете, така че
всяка от струните, че Имам в списъка.
И аз отивам да се изчисли тези неща за всеки от кандидатите.
Има смисъл?
Така че аз трябва да направя, за линия.
>> Така че в Python, което мога да направя е "за линия в текста. "Същото нещо като
"За всеки" изявление в PHP.
Помниш ли как, ако тя беше PHP можех казват "за всеки текст като
линия. "Има смисъл?
Така че аз съм като всяка от линиите, в това случай, този низ и следващата
низ, така че за всяка от линиите, което аз съм ще направя, е на първо място, аз ще
разделим тази линия в списък на думи, разделени с интервали.
>> Така че готино нещо за Python е, че бихте могли просто Google като "Как мога да
Разделя низ думи? "И това е Щях да ти кажа как да го направя.
И начина, по който да го направи, това е просто "линия = Line.split () "и това е основно
ще ви даде списък с всяка от думите тук.
Има смисъл?
Така че сега, че съм направил, че аз искам да знам който е вокалист на тази песен.
И за да направя, че аз просто трябва да получи първият елемент на масива, нали?
Така че мога само да кажа, че "певец = Линия (0) "Има смисъл?
>> И след това какво трябва да направите, е, на първо място всички, аз отивам да се актуализира колко
думи, които имат под "Gaga." така че аз съм просто ще изчисли колко думи съм
има в този списък, нали?
Тъй като това е колко думи имам в текста, а аз съм просто ще
го добавите към "Gaga" масива.
Това прави ли смисъл?
Да не се фокусира твърде много върху синтаксиса.
Мислете повече за понятията.
Това е най-важната част.
OK.
>> Така че това, което аз мога да го направя е, ако "Gaga" е които вече са в този списък, така че "ако певица в
думи ", което означава, че вече има думи от Gaga.
Аз просто искам да се добавят допълнителни думи за това.
Така че това, което правя, е "думи (певица) + = Len (линия) - 1 ".
И тогава аз може просто да направи дължина на линията.
Е, как много елементи I има в масива.
И аз трябва да направя минус 1, само защото първия елемент на масива е просто
певица и тези, които не са текстове.
Има смисъл?
OK.
>> "Else", това означава, че аз искам да всъщност вмъкнете Gaga в списъка.
Така че аз просто правя "думи (певица) = Len (линия) - 1, "Съжалявам.
Така че единствената разлика между двете линии е, че това, че не
съществува все още, така че аз съм просто инициализиране.
Това едно аз съм действително добавяне.
OK.
Така че това е добавянето на думите.
>> Сега искам да добавя към Приорите.
И така, как мога да се изчисли Приорите?
На Приорите могат да бъдат изчислени по колко пъти.
Така че колко пъти те видя, че певицата сред всички на певците, че вие,
има, нали?
Така че за Gaga и Katy Perry, В този случай, аз виждам Gaga
веднъж, Katy Perry веднъж.
>> Така че основно на Приорите за Gaga и за Katy Perry ще
да бъде само една, нали?
Ти просто колко пъти Виждам художника.
Така че това е много лесно да се изчисли.
Не мога просто нещо подобно като като "ако певица в предишни провинения, "Аз съм просто ще
да се добави едно да си кутия присъди.
Така че, "присъди (пее)" + = 1 "и след това" друго " Отивам да направя "присъди (певица)
= 1. "Има смисъл?
>> Така че, ако тя не съществува Пуснах като един, в противен случай аз просто добавете 1.
ОК, така че сега всичко, което остава да се направи е също така да добавите всеки един от думи към
вероятности.
Така че аз трябва да брои колко пъти Виждам всяка от думите.
Така че аз просто трябва да се направи друг за линия в линията.
>> Така че първото нещо, което ще направя, е проверите дали певицата вече има
вероятности масив.
Така че аз съм проверка, ако певицата не има вероятности масив, аз съм просто
ще се инициализира един за тях.
Тя дори не е масив, съжалявам, това е речник.
Така че вероятностите за певица ще да бъде отворена речник, така че аз съм
просто инициализиране на речник за него.
OK?
>> И сега може да се прави за линия за изчисляване на всяка от думите "
вероятности.
OK.
Така че, това, което мога да направя е за линия.
Така че аз съм просто ще обхождане над масива.
Така че начинът, по който мога да направя, че в Python е "Защото в обхват." От 1
защото аз искам да започне през втората елемент, тъй като първият от тях е
име певица.
Така че от една до дължина на линията.
И когато го направя варира всъщност премине от като тук от 1 до дъл на
Онлайн минус 1.
Така че това вече прави това нещо за правене п минус 1 за масиви, които е много
удобно.
Има смисъл?
>> Така че за всеки един от тях, това, което аз отивам да направите, е, точно като в другия,
Отивам да проверя дали думата в този позиция в линията е вече в
вероятности.
И тогава, както казах тук, вероятности думи, както в I, пуснати
"вероятности (певица)".
Така че името на певицата.
Така че, ако това е вече в "Probabilit (певица)", това означава, че аз
искате да добавите 1 към него, така че аз отивам да направи "вероятности (певица)", както и на
дума се нарича "линия (и)".
Отивам да добавите 1 и "друго" Аз съм просто ще го инициализира към 1.
"Линия (и)".
Има смисъл?
>> Така че, аз изчислява всички масиви.
Така че, сега всичко, което трябва да направите, за това е просто едно "завръщане присъди,
вероятности и думи. "Да виж, ако има такива, OK.
Изглежда всичко работи досега.
Така, че има смисъл?
По някакъв начин?
OK.
Така че сега имам всички вероятности.
Така че сега единственото нещо, което ми е останало е просто да има, че нещо, което
изчислява произведението на всички вероятности, когато получа текстовете.
>> Така че нека да кажем, че искам да се обадя тази функция "класифициране ()" и
нещо, което функция може да отнеме е само един аргумент.
Да речем, "Скъпа, аз съм на огън" и това е Ще разбера какво е
вероятност, че това е Gaga?
Каква е вероятността че това е Кейти?
Звучи добре?
Така че аз съм просто ще трябва да се създаде нова функция, наречена "класифициране ()" и
това ще отнеме известно текстове на песни, както добре.
И освен текстовете също така Трябва да изпратите Приорите г.
вероятности и думите.
Така че аз отивам да изпрати текстове на песни, присъди, вероятности, думи.
>> Така че това е като текстове на песни, присъди, вероятности, думи.
Така че, какво прави той?
По същество това ще мине през всички възможните кандидати че сте
имат като певица.
И къде са тези кандидати?
Те са в Приорите, нали?
Така че аз имам всички онези там.
Така че аз отивам да има речник на всички възможни кандидати.
И тогава за всеки един кандидат в предишни провинения, така че това означава, че тя ще
бъде Gaga, Кати, ако имах повече, че ще бъде повече.
Отивам да започне изчисляването тази вероятност.
Вероятността както видяхме в PowerPoint е предишните времена
продукт на всеки от други вероятности.
>> Така че мога да направя същото тук.
Мога само да правя вероятност е първоначално само Приор.
Така присъди на кандидата.
Нали така?
И сега аз трябва да обхождане на всички думи, които имам в текста, за да бъде
можете да добавите вероятността за всеки от тях, нали?
Така че, "за дума в текст" какво ще да направите, е, ако думата е в
"вероятности (кандидат)", които означава, че това е дума, която на
кандидат има в текстовете си -
например, "бебе" за Gaga -
това, което аз ще направя, е, че вероятност ще се умножава
от 1 плюс вероятностите на кандидата за тази дума.
И тя се нарича "дума".
Това, разделен на броя на думи че имам за този кандидат.
Общият брой на думите, че имам за певицата, че гледам.
>> "Else." това означава, че това е нова дума така, че ще бъде като например
"Огън" за Lady Gaga.
Така че аз просто искам да направя едно над "Дума (кандидат)".
Така че аз не искам да се сложи този термин тук.
>> Така че това ще бъде основно копиране и поставяне на това.
Но аз отивам да изтриете тази част.
Така че това е просто ще бъде един над това.
Звучи добре?
И сега в крайна сметка, аз съм просто ще печат на името на кандидата и
вероятността, че имате на имащ S на своите текстове.
Има смисъл?
И аз всъщност дори не се нуждаят от този речник.
Има смисъл?
>> Така че, нека да видим дали това наистина работи.
Така че, ако аз тичам това, той не работи.
Изчакайте една секунда.
"Думи (кандидат)", "думи (кандидат)", това е
на името на масива.
ОК, така, той казва, че има някакъв бъг за кандидат в предишни провинения.
Нека само да се успокоиш малко.
OK.
Нека се опитаме.
OK.
>> Така той дава Katy Perry има тази Вероятността това да се пъти 10 към
минус 7 и Gaga има тази 10 пъти на минус 6.
Така че виждате това показва, че Gaga има по-голяма вероятност.
Така че, "Скъпа, аз съм на Fire" е Вероятно една песен Gaga.
Има смисъл?
Така че това е, което ние направихме.
>> Този код ще бъде публикуван онлайн, така че вие ​​може да го проверим.
Може да използвате някои от тях, ако искате да направи проект или нещо подобно.
OK.
Това е само за да се покаже какво изчислителна
лингвистика код изглежда.
Но сега да вървим към по- високо ниво неща.
OK.
>> Така че другите проблеми I Говорех за -
Проблемът за сегментиране е първият от тях.
Така че имате тук японски.
И тогава ще видите, че няма интервали.
Така че това е в общи линии означава, че е горната част на стола, нали?
Вие говорите японски?
Това е най-горната част на стола, нали?
>> STUDENT: Аз не знам какво канджи там е.
>> LUCAS FREITAS: Това е [ГОВОРЕНЕ ЯПОНСКИ]
OK.
Така че в общи линии означава, председател на върха.
Така че, ако трябваше да се сложи пространство че ще бъде тук.
И тогава ще трябва [? Уеда-сан. ?]
Което по същество означава, г-н Уеда.
И вие виждате, че "Уеда" и имате пространство и след това "сан." Така че виждате, че
тук "ЕС" е като от само себе си.
И тук той има характер в непосредствена близост до него.
>> Така че това не е като на тези езици символи, което означава една дума това, така че
Просто постави много пространства.
Знаците са свързани помежду си.
И те могат да бъдат заедно като две, три, едно.
Така че всъщност трябва да се създаде някакъв вид от пътя на въвеждане на тези пространства.
>> И това нещо е, че всеки път, когато получите данни от тези азиатски езици,
всичко идва Несегментиран.
Защото никой, който пише японски или китайски пише с интервали.
Всеки път, когато пишеш китайски, Японски просто напишете всичко
без интервали.
Той дори няма смисъл да се сложи пространства.
Така че след това, когато можете да получите данни от някои East Asian език, ако искате да
всъщност направи нещо с тази , което трябва да сегмент първи.
>> Мислете за това по примера на текста без интервали.
Така че само текстовете, които имате ще бъде изречения, нали?
, Разделени с точки.
Но след това като просто изречение ще не наистина да помогне за даване на информация
на които тези текстове на песни са от.
Нали така?
Затова трябва да се поставя пространства първи.
Така че как може да стане това?
>> Така че след това идва и идеята на един език модел, който е нещо наистина
важно за изчислителна лингвистика.
Така че един модел език е в основата на таблица на вероятностите, която показва
На първо място това е вероятността да има думата по език?
Така показва как често една дума е.
И тогава също показва връзката между думите в изречение.
>> Така че основната идея е, че ако чужденец дойде за вас и каза едно изречение, за да
вас, каква е вероятността, че за Например, "това е моята сестра [? GTF"?]
е изречението, че лицето, каза?
Така че очевидно някои изречения са по-често от други.
Например, "добро утро" или "добър нощ ", или" ей там ", е много по-
често, отколкото повечето присъди че имаме английски език.
Така че, защо са тези изречения по-често?
>> На първо място, това е, защото имате думи, които са по-често.
Така, например, ако ти кажа, кучето е голям, а кучето е гигантски, вие
обикновено вероятно чуя кучето е голям по-често, тъй като "голям" е по-
често на английски език от "гигантски". Така че, един от
неща е думата честота.
>> Второто нещо, което е наистина важно е само
ред на думите.
Така че, това е обичайно да се каже "котката е вътре в кутията. ", но обикновено не ги
виж в "Кутията вътре е котката." така ще видите, че има известно значение
в реда на думите.
Не може просто да се каже, че тези две изречения имат еднаква вероятност
просто защото те имат едни и същи думи.
Вие всъщност трябва да се грижим за цел, както добре.
Направи ли смисъл?
>> И така, какво ще правим?
Така че това, което може да се опита да ви донеса?
Опитвам се да те накарам това, което ние наричаме моделите N-гр.
Така N-гр модели основно поемат че за всяка дума, че
Имате ли в едно изречение.
Това е вероятността, че като Думата има, зависи не само от
честота на тази дума в езика, но също така и върху думите, които
са около него.
>> Така например, обикновено, когато видите нещо подобно на или сте
вероятно ще видим съществително след това, нали?
Защото, когато имате предлог обикновено отнема съществително след това.
Или ако имате глагол, който е преходен Вие обикновено ще
има съществително фраза.
Така че ще трябва съществително някъде около него.
>> Така че, общо взето, това, което той прави, е, че счита, че вероятността за
думи един до друг, когато сте изчисляване на
вероятност от едно изречение.
И това е, което език модел е в общи линии.
Просто казвам, че това, което е вероятността на със специфична
изречение на език?
Така че, защо е толкова полезна, основно?
И на първо място това е модел на н-грама, а след това?
>> Така модел п-грам означава, че всяка дума зависи от
Следващата N минус 1 думи.
Така че, общо взето, това означава, че ако аз гледам, например, в CS50 TF когато
Аз съм изчисляване на вероятността от изречението, ще бъде като "на
вероятност да има думата "на" пъти вероятността за "на
CS50 "пъти вероятността за "TF на CS50." Така че, общо взето, аз разчитам
всички възможни начини за разтягане.
>> И тогава обикновено, когато правиш това, като в рамките на проекта, ще ви постави N да бъде
ниска стойност.
Така че, обикновено имат bigrams или триграми.
Така че просто брои две думи, група от две думи, или три думи,
само за проблеми с производителността.
И също така, защото може би ако имате нещо като "TF The CS50." Когато
има "TF", че е много важно, че "CS50" е в непосредствена близост до него, нали?
Тези две неща обикновено са един до друг.
>> Ако мислите, че на "TF", това е може би ще има какво
клас това е TF'ing за.
Също така "най" е наистина важно за CS50 TF.
Но ако имате нещо като "The CS50 TF отиде в клас и даде им
студенти, някои бонбони. "" Candy "и" " нямат връзка наистина, нали?
Те са толкова отдалечени един от друг, че това всъщност няма значение какво
думи, които имате.
>> Така че, като направите едно bigram или Trigram, тя просто означава, че сте ограничаване
себе си някои думи които са около.
Направи ли смисъл?
Така че, когато искате да направите сегментиране, По принцип, това, което искате да направите, е да видим
какви са всички възможни начини, по които можете сегмент на присъдата.
>> Такава, че да видиш какво е вероятност на всеки от тези изречения
съществуваща в езика?
Така че това, което правите е като, добре, нека ми се опита да сложи пространство тук.
Така че оставете разстояние там и ще видите какво е най-
вероятност на това изречение?
Тогава сте като, ОК, може би това не е толкова добра.
Така че сложих пространство има и пространство там, и ще ви се изчисли
вероятност сега, и ще видите, че е по-голяма вероятност.
>> Така че това е един алгоритъм, наречен танго сегментацията на алгоритъм, който е
всъщност нещо, което ще бъде наистина готино за един проект, който
основно се Несегментиран текст, който може да бъде японски или китайски или може би
English без интервали и се опитва да сложи интервали между думите и го прави
че с помощта на модел и език Опитвам се да видим какво е най-високата
вероятност можете да получите.
OK.
Така че това е сегментация.
>> Сега синтаксис.
Така че, синтаксис се използва за толкова много неща точно сега.
Така че за Graph Search, за Siri за почти всеки вид на природен
обработка на език, който имате.
Така че това, което са важните неща за синтаксис?
Така че, изречения като цяло имат това, което ние наричаме избиратели.
Кои са нещо като групи от думи , които имат функция в изречението.
И те наистина не може да бъде един от друг.
>> Така че, ако кажа, например, "Лорън обича Milo. "Знам, че" Lauren "е
съставка и след това "любови Milo "и друг милион.
Защото не може да се каже като "Lauren Milo обича "да имат същото значение.
Това няма да има същото значение.
Или аз не мога да кажа като "Milo Lauren обича. "Не всичко е едно и също
което означава, че правиш.
>> Така че двете по-важни неща за синтаксис са лексикални типове, които е
основно функцията ви, че има думи сами по себе си.
Така че трябва да се знае, че "Lauren" и "Milo" са съществителни.
"Любов" е глагол.
И второто важно нещо е, че те са phrasal видове.
Така че, вие знаете, че "обича Milo" всъщност е словесен израз.
Така че, когато казвам "Lauren," Аз знам, че Лорън се прави нещо.
Какво прави тя?
Тя е любяща Майло.
Така че това е цялата работа.
Но неговите компоненти са съществително и глагол.
Но заедно, те правят глагол фраза.
>> И така, какво всъщност можем да направим с компютърната лингвистика?
Така че, ако имам нещо за пример "приятели на Алисън." Виждам, ако просто
е синтактична дърво щях да разбера, че "Приятели" е съществително фраза е
съществително и след това "на Allison" е prepositional фраза в които "за" е
предложение и "Алисън" е съществително.
Какво можех да направя, е науча моя компютър че когато имам съществително фраза една и
тогава prepositional фраза.
Така че в този случай, "приятели" и след това "на Milo "Знам, че това означава, че
NP2, втората, притежава NP1.
>> Така че мога да се създаде някакъв вид връзка, някаква функция за него.
Така че всеки път, когато видите тази структура, която съвпада точно с "приятели на
Алисън, "Знам, че Алисън притежава приятели.
Така че приятелите са нещо че Allison има.
Има смисъл?
Така че това е основно това, което Graph Search прави.
Тя просто създава правила за много неща.
Толкова "приятели на Allison", "моите приятели които живеят в Cambridge "," моите приятели
които отиват в Харвард. "Той създава правила за всички тези неща.
>> Сега машинен превод.
Така че, за машинен превод е също нещо статистическа.
И всъщност, ако се включат в компютърната лингвистика, много
нещата ще бъде статистиката.
Така, както аз правех примера с много вероятности, че съм бил
изчисляване, и след това можете да получите на този много малък брой, че е на финала
вероятностите, и това е, което дава отговор.
Машинен превод също използва статистически модел.
А ако искате да се мисли за машина превод по най-простия
начин, това, което мога да мисля е просто превежда дума по дума, нали?
>> Когато сте изучаването на езика за за първи път, това е обикновено това, което
и да правиш, нали?
Ако искате, можете преведете изречение на вашия език на езика
сте обучение, обикновено първо, превода на всяка от думите
индивидуално, и след това да се опитате да се сложи думите на място.
>> Така че, ако аз исках да преведе това, [ГОВОРЕНЕ ПОРТУГАЛСКАТА]
което означава "бял котката избяга." Ако исках да го преведат от
Португалски на английски, това, което аз може да направите, е, първо, аз просто
превежда дума по дума.
Така че "о" е "на", "Гато", "котка" "Бранко", "бяло", а после "fugio" е
"Избяга".
>> Така че след това имам всички думи тук, но те не са в ред.
Това е като "котка бял избяга" който е ungrammatical.
Така че, тогава може да има втора стъпка, която ще бъде намирането на идеала
позиция за всяка от думите.
Така че аз знам, че аз всъщност искам да имам "Бяла котка", вместо на "котка бял." Така
това, което мога да направя е, най-наивен метод е да се създаде цялата
възможни пермутации на думи, на нейните позиции.
И тогава да видим кой има най- най-високата вероятност според
на моя език модел.
И тогава, когато аз намирам този, който има е най-високата вероятността, който е
Вероятно "бялата котката избяга" това е моят превод.
>> И това е просто начин да се обясни как много от машинния превод
алгоритми работят.
Това прави ли смисъл?
Това също е нещо наистина вълнуващо че вие ​​може би се изследват за
окончателния проект, така ли?
>> STUDENT: Е, ти каза, че е наивния начин, така че това, което е
не-наивен начин?
>> LUCAS FREITAS: Не-наивен начин?
OK.
Така че първото нещо, което е лошо за този метод е, че аз просто преведено
думи, дума по дума.
Но понякога имате думи, които може да има множество преводи.
Аз ще се опитам да мисля на нещо.
Например, "манга" на португалски консерва или да "поразят" или "ръкав". Така
, когато се опитвате да преведете дума по дума, тя може да ви се дава
нещо, което няма смисъл.
>> Така че вие ​​всъщност искате да погледнете всички възможните преводи на
думи и вижте, на първо място, какъв е редът.
Ние говорехме за permutating нещата?
За да видите всички възможни нареждания и изберете този с най-висок
вероятност?
Можете също така да изберете всички възможни преводи за всеки
дума и след това да видите -
комбиниран с пермутации -
кой е най-голяма вероятност.
>> Плюс това, можете да погледнете не само думи, но и фрази.
така че можете да анализира отношенията между думите и след това получи
по-добър превод.
Също нещо друго, така че този семестър Аз съм всъщност прави изследвания в
Китайско-английски машинен превод, така превежда от
Китайски на английски език.
>> И нещо, което правим е, освен с помощта на статистически модел, който е само
виждайки вероятностите на виждане някаква позиция в изречението, аз съм
всъщност също добавянето на някои синтаксис на моя модел, като каза, о, ако видя, че този вид
на строителство, това е, което искам за да го промените, когато Аз превеждам.
Така че можете да добавите някакъв вид елемент на синтаксиса за да направи
превод по-ефективно и по-точно.
OK.
>> Така че как може да започнете, ако искате да се направи нещо в компютърната
лингвистика?
>> Първо, вие избирате един проект че включва езици.
Така че, има толкова много там.
Има толкова много неща, които можете да направите.
И тогава може да се мисли за един модел , които можете да използвате.
Обикновено това означава, че мисленето на предположения, тъй като като, о, когато бях
като мислене на текстовете.
Аз бях като, добре, ако искам да разбера от един, който е написал това, аз вероятно ще пожелаете
да разгледаме думите лицето използва и виж, който използва тази дума много често.
Така че се опитват да правят предположения и Опитвам се да мисля на модели.
И тогава можете да търсите онлайн за вида на проблема, който имате,
и че ще предложи да ви модели, които може би
моделира това нещо добре.
>> И също така винаги можете да ми пишете.
me@lfreitas.com.
И мога само да отговоря на вашите въпроси.
Можем дори да може да се срещнем за да мога да даде предложения относно начините за
осъществяването на Вашия проект.
И искам да кажа, ако се включат с компютърната лингвистика, че ще
да бъде страхотно.
Ще се видим там е толкова много потенциал.
И индустрията иска да наеме си толкова зле, защото от това.
Така че се надявам вие момчета се радваха това.
Ако вие имате някакви въпроси, можете да ме питате след това.
Но ви благодаря.