LUCAS Freitas: Hey. Byenveni tout moun. Non mwen se Lucas Freitas. Mwen se yon jinyò nan [fèbl] etidye syans òdinatè ak yon konsantre nan lengwistik enfòmatik. Se konsa, segondè mwen an se nan lang ak teyori lengwistik. Mwen vrèman eksite yo anseye ou nèg yon ti kras sou jaden an. Li se yon zòn trè enteresan yo etidye. Epitou avèk yon anpil nan potansyèl pou tan kap vini an. Se konsa, mwen vrèman eksite ke ou nèg yo ap konsidere pwojè nan lengwistik enfòmatik. Apre sa, mwen pral plis pase kontan pou bay konsèy pou yon moun pami nou si ou deside kouri dèyè youn nan sa yo. Se konsa, premye nan tout sa yo se enfòmatik lengwistik? Lengwistik Se konsa, enfòmatik se la entèseksyon ant lengwistik ak syans òdinatè. Se konsa, sa se lengwistik? Ki sa ki se syans òdinatè? Oke soti nan lengwistik, sa ki nou pran yo nan lang. Se konsa, lengwistik se aktyèlman etid la nan lang natirèl an jeneral. Lang Se konsa, natirèl - nou pale sou lang ke nou aktyèlman itilize nan kominike youn ak lòt. Se konsa, nou pa ap egzakteman pale sou C oswa Java. Nou ap pale plis sou angle ak Chinwa ak lòt lang ke nou sèvi ak yo kominike youn ak lòt. Bagay la difisil sou sa se ke kounye a nou gen prèske 7,000 lang nan mond lan. Se konsa, gen afè yon varyete segondè nan lang ke nou ka etidye. Lè sa a, ou panse ke li la pwobableman trè difisil fè, pou egzanp, tradiksyon soti nan yon sèl lang la lòt, konsidere ke ou gen prèske 7,000 nan yo. Se konsa, si ou panse a ap fè tradiksyon soti nan yon sèl lang nan lòt la ou gen prèske plis pase yon milyon konbinezon diferan ke ou ka gen nan lang nan lang. Se konsa, li vrèman defi fè kèk kalite sistèm egzanp tradiksyon pou chak lang yon sèl. Se konsa, lengwistik trete ak sentaks, Semantics, detay pragmatik. Ou mesye pa egzakteman bezwen konnen ki sa yo yo ye. Men, bagay la trè enteresan an se ke kòm yon oratè natif natal, lè ou aprann lang kòm timoun, ou aktyèlman aprann tout nan bagay sa yo - Semantics sentaks ak detay pragmatik - nan tèt ou. Epi pèsonn pa te moutre nou sentaks pou ou a konprann ki jan fraz yo estriktire. Se konsa, li vrèman enteresan paske se yon bagay ki vini trè entwitif. Ak sa ki w ap pran soti nan syans òdinatè a? Oke, bagay ki pi enpòtan ke nou gen nan syans òdinatè se premye nan tout, entèlijans atifisyèl ak aprantisaj machin. Se konsa, sa nou ap eseye fè Enfòmatik lengwistik se anseye òdinatè w lan ki jan fè yon bagay ak lang. Se konsa, pou egzanp, nan machin tradiksyon. M ap eseye anseye ki jan òdinatè mwen an konnen ki jan fè tranzisyon soti nan yon lang nan lòt la. Se konsa, fondamantalman renmen ansèyman yon òdinatè de lang. Si m 'fè pwosesis lang natirèl, ki se ka a pou egzanp nan Graf Search Facebook a, w ap anseye yo òdinatè w lan ki jan yo konprann demann byen. Se konsa, si ou di "foto yo pou m ' zanmi yo. "Facebook pa trete ki kòm yon fisèl antye ki gen jis yon pakèt moun sou mo yo. Li aktyèlman konprann relasyon ki ant "foto" ak "zanmi m '" ak konprann ke "foto" yo se pwopriyete nan "zanmi m '." Se konsa, sa a, se yon pati nan, pou egzanp, pwosesis lang natirèl. Li ap eseye konprann ki sa se relasyon ki genyen ant mo sa yo nan yon fraz. Apre sa, kesyon an gwo se, ou kapab anseye yon òdinatè ki jan yo pale yon lang an jeneral? Ki se yon kesyon trè enteresan yo panse, tankou si petèt nan lavni an, w ap ale pou kapab pale ak telefòn selilè ou. Kalite tankou sa nou fè ak Siri men yon bagay pi plis tankou, ou ka aktyèlman di yo tou sa ou vle ak telefòn la ki pral konprann tout bagay. Apre sa, li ka gen swivi kesyon epi kenbe pale. Sa se yon bagay reyèlman enteresan, nan opinyon mwen. Se konsa, yon bagay sou lang natirèl. Yon bagay ki reyèlman enteresan sou lang natirèl se ke, e sa se kredi nan pwofesè lengwistik m 'yo, Maria Polinsky. Li bay yon egzanp e mwen panse li vrèman enteresan. Paske nou aprann lang soti nan lè nou ap fèt epi Lè sa a, natif natal nou an lang kalite grandi sou nou. Apre sa, fondamantalman ou aprann lang soti nan opinyon minimòm, dwa? Ou ap jis ap resevwa enfòmasyon nan men ou paran yo nan sa ki son lang ou renmen epi ou jis aprann li. Se konsa, li enteresan paske si ou gade nan fraz sa yo, pou egzanp. Ou gade, "Mari mete sou yon rad tout fwa li kite kay la. " Nan ka sa a, li posib yo gen nan mo "li te", al gade nan Mari, dwa? Ou ka di "Mari mete sou yon rad chak fwa Mari fèy li yo yo kay la. "Se konsa, sa a, se amann. Men, Lè sa a, si ou gade nan fraz la "Li mete sou yon rad chak fwa Mari kite kay la. "ou konnen li nan enposib yo di ke "li te" se refere li a Mari. Gen nan pa gen fason pou li di ke "Mari mete sou yon rad chak fwa Mari kite "kay la. Se konsa, li enteresan paske sa a se ki kalite entwisyon ke chak oratè natif natal te genyen an. Epi pèsonn pa te anseye ke sa a se fason ke sentaks a travay. Apre sa, ke ou ka sèlman gen sa a "li te" refere li a Mari nan ka sa a an premye, ak aktyèlman nan sa a lòt tou, men se pa nan yon sèl sa a. Men, tout moun kalite vin nan menm repons lan. Tout moun dakò sou sa. Se konsa, li reyèlman enteresan ki jan byenke ou pa konnen tout règ yo nan lang ou, ou kalite konprann ki jan lang nan travay. Se konsa, bagay la enteresan sou natirèl lang se ke ou pa bezwen konnen nenpòt ki sentaks konnen si yon fraz se gramatikal oswa ungrammatical pou pifò ka. Sa ki fè ou panse ke petèt sa ki k ap pase se ke nan lavi ou, ou jis kenbe ap resevwa pi plis ak plis fraz te di nou la a. Lè sa a, ou kenbe memorize tout fraz yo. Lè sa a, lè yon moun di ou yon bagay, ou tande ke fraz ak ou gade nan vokabilè ou nan fraz epi wè si ki fraz ki gen la. Men, si li se gen ou di li a gramatikal. Si li pa nou di li nan ungrammatical. Se konsa, nan ka sa a, ou ta di, o, konsa ou gen yon lis gwo nan tout fraz sa posib. Lè sa a, lè ou tande yon fraz, èske w konnen si li nan gramatikal oswa ki pa baze sou sa. Bagay la se ke si ou gade nan yon fraz, pou egzanp, "nan senk-te dirije CS50 TFs kwit mennen avèg parèy yo poulp lè l sèvi avèk yon tas DAPA. "Li definitivman pa yon fraz ke ou tande anvan. Men, an menm tan an ou konnen li nan bèl anpil gramatikal, dwa? Pa gen okenn erè gramatikal epi ou ka di ke li nan yon fraz sa posib. Se konsa, li fè nou panse ke aktyèlman la fason ke nou aprann lang se pa sèlman pa gen yon baz done gwo posib mo oswa fraz, men plis nan konprann relasyon ki genyen ant mo nan fraz sa yo. ki fè sans? Se konsa, Lè sa a, kesyon an se, kapab òdinatè aprann lang? Èske nou ka anseye lang nan òdinatè? Se konsa, kite a panse a diferans ki genyen ant yon oratè natif natal nan yon lang ak yon òdinatè. Se konsa, sa k ap pase nan oratè la? Oke, oratè a natif natal aprann yon lang lè w ekspoze sou li. Anjeneral ane anfans timoun li yo. Se konsa, fondamantalman, ou jis gen yon tibebe, epi ou kenbe pale ak li, epi li jis aprann ki jan yo pale lang nan, dwa? Se konsa, w ap fondamantalman bay D 'bay ti bebe a. Se konsa, Lè sa a, ou ka diskite ke yon òdinatè ka fè menm bagay la, dwa? Ou ka jis bay lang kòm opinyon nan òdinatè a. Kòm pou egzanp yon pakèt moun sou dosye ki gen liv nan lang angle. Petèt sa a, yon fason ke ou kapab pètèt anseye yon òdinatè angle, dwa? Apre sa, an reyalite, si ou panse sou li, li pran ou petèt yon koup jou yo li yon liv. Pou yon òdinatè li pran yon dezyèm gade tout mo yo nan yon liv. Se konsa, ou ka panse ki ka jis sa a agiman nan opinyon ki soti nan bò kote ou, sa a, se pa ase yo di ke sa a, se yon bagay ki sèlman moun ka fè. Ou ka panse òdinatè tou ka jwenn opinyon. Bagay la dezyèm se ke pale natif natal yo te genyen tou yon sèvo ki gen kapasite pou aprann lang. Men, si ou panse sou li, yon sèvo se yon bagay solid. Lè w ap fèt, li te deja mete - sa a se nan sèvo ou. Apre sa, jan ou grandi, ou jis jwenn plis D 'nan lang e petèt eleman nitritif ak lòt bagay. Men, bèl anpil nan sèvo ou se yon bagay solid. Se konsa, ou ka di, byen, petèt ou kapab bati yon òdinatè ki gen yon pakèt moun sou fonksyon ak metòd ki jis imite kapasite pou aprann lang. Se konsa, nan sans sa, ou kapab di, byen, mwen ka gen yon òdinatè ki gen nan tout bagay mwen bezwen aprann lang. Epi bagay la pase a se ke yon natif natal oratè aprann soti nan esè ak erè. Se konsa, fondamantalman yon lòt bagay enpòtan nan aprann lang se ke ou kalite nan aprann bagay sa yo pa fè jeneralizasyon nan sa ou tande. Se konsa, jan ou yo ap grandi ou aprann ki kèk mo yo se plis tankou Nouns, kèk lòt moun yo se adjektif. Apre sa, ou pa bezwen gen nenpòt konesans nan lengwistik ke ou konprann ke. Men, ou jis konnen gen nan kèk mo yo pozisyone nan kèk pati nan la fraz ak kèk lòt moun ki nan lòt pati nan fraz la. Apre sa, ke lè ou fè yon bagay ki tankou yon fraz ki pa kòrèk - petèt paske yo te yon jeneralizasyon sou pou egzanp. Petèt lè w ap ap grandi, ou remake ki pliryèl a se nòmalman ki te fòme pa mete yon S nan nan fen mo a. Lè sa a, ou eseye fè pliryèl la nan "Sèf" kòm "sèrf" oswa "dan" kòm "Tooths." Se konsa, Lè sa a, paran ou oswa yon moun korije ou menm ak di, pa gen okenn, nan pliryèl nan "sèf" se "sèf," ak nan pliryèl nan "dan" se "dan yo." Lè sa a, ou aprann bagay sa yo. Se konsa, ou aprann nan men esè ak erè. Men, ou ka tou fè sa ak yon òdinatè. Ou ka gen yon bagay yo rele ranfòsman aprann. Ki se fondamantalman tankou bay yon òdinatè yon rekonpans chak fwa li fè sa yon bagay kòrèkteman. Apre sa, bay li opoze a yon rekonpans ak lè li fè yon bagay mal. Ou ka aktyèlman wè ke si ou ale Google Translate ak ou eseye tradui yon fraz, li mande w pou w fidbak. Se konsa, si ou di, o, gen nan yon pi bon tradiksyon pou fraz sa a. Ou ka tape li leve, li Lè sa a, si yon anpil nan moun kenbe ki di ke se yon pi bon tradiksyon, li jis aprann ke li ta dwe itilize ke tradiksyon olye pou yo yon sèl la li te bay. Se konsa, li yon kesyon trè filozofik yo wè si òdinatè yo ale nan dwe kapab pale oswa li pa nan tan kap vini an. Men, mwen gen espwa segondè yo ke yo kapab jis ki baze sou sa yo agiman. Men, li la jis plis nan yon filozofik kesyon. Se konsa, pandan òdinatè toujou pa ka pale, ki sa yo bagay sa yo ke nou ka fè? Men kèk bagay vrèman fre yo klasifikasyon done. Se konsa, pou egzanp, ou nèg konnen ke sèvis imel fè sa, pou egzanp, Spam filtraj. Se konsa, chak fwa ou resevwa Spam, li ap eseye filtre nan yon lòt bwat. Se konsa, li montre kouman li fè sa? Li pa nan renmen òdinatè a jis konnen adrès sa ki imel ap voye Spam. Se konsa, li plis ki baze sou kontni an nan mesaj la, oswa petèt tit la, oswa petèt kèk modèl ki di ou gen. Se konsa, fondamantalman, sa ou kapab fè se jwenn yon anpil nan done nan Imèl ki gen Spam, Imèl ki pa Spam, epi yo aprann sa ki kalite modèl ou gen nan la moun ki gen Spam. Lè sa a se yon pati nan enfòmatik lengwistik. Sa yo rele li klasifikasyon done. Apre sa, nou ap aktyèlman pral wè yon egzanp nan ki nan glisad kap vini yo. Bagay la dezyèm se lang natirèl pwosesis ki se bagay ki la Graf Search ap fè pou kite ou ekri yon fraz. Epi li mete konfyans ou konprann sa se siyifikasyon an e li bay ou yon pi bon rezilta. Aktyèlman, si ou ale nan Google oswa Bing ak ou rechèch yon bagay tankou Lady Wotè Gaga a, w ap aktyèlman pral yo ka resevwa 5 '1 "olye pou yo enfòmasyon nan men li paske li aktyèlman konprann ki sa w ap pale de. Se konsa, sa a, se yon pati nan natirèl pwosesis lang. Oswa tou lè w ap lè l sèvi avèk Siri, premye ou gen yon algorithm ki ap eseye tradui sa w di a nan mo, nan yon tèks. Lè sa a, li ap eseye tradui ki nan sans. Se konsa, ki nan tout pati nan natirèl pwosesis lang. Lè sa a, ou gen tradiksyon machin - ki se aktyèlman yon sèl nan favorites mwen - ki se jis tradui soti nan yon lang nan yon lòt. Se konsa, ou ka panse ke lè w ap fè tradiksyon machin, ou gen posiblite enfini nan fraz. Se konsa, gen nan pa gen fason pou jis estoke chak yon sèl tradiksyon. Se konsa, ou gen vini ak enteresan algoritm pou kapab tradui chak yon sèl fraz nan kèk fason. Ou mesye gen nenpòt kesyon byen lwen tèlman? Pa gen okenn? OK. Se konsa, sa nou pral wè jodi a? Premye a tout, mwen pral pale sou pwoblèm nan klasifikasyon. Se konsa, yon sèl la ke mwen te di sou Spam. Ki sa ki mwen pral fè se, yo bay lyrics nan yon chan, ou ka eseye figi konnen ak gwo pwobablite ki moun ki se chantè a? Se pou nou di ke mwen gen chante nan Lady Gaga ak Katy Perry, si mwen ba ou yon chante tou nèf, yo ka ou konnen si li nan Katy Perry oswa Lady Gaga? Yon sèl, dezyèm lan, mwen jis pwal pale sou pwoblèm nan segmentation. Se konsa, mwen pa konnen si ou nèg konnen, men Chinwa, Japonè, lòt East Azyatik lang, ak lòt lang An jeneral, pa gen espas ant mo yo. Lè sa a, si ou panse sou fason ke kalite òdinatè w lan nan ap eseye konprann pwosesis lang natirèl, li sanble lè yo tande pawòl yo ak ap eseye konprann relasyon yo ant yo, dwa? Men, Lè sa a, si ou gen Chinwa, epi ou gen zewo espas, li vrèman difisil yo chèche konnen ki sa ki relasyon ki genyen ant mo, paske yo pa gen nenpòt ki mo nan premye. Se konsa, sa ou dwe fè yon bagay yo rele segmentation ki jis vle di mete espas ant sa nou ta rele mo nan moun ki lang. Fè sans? Lè sa a, nou pral pale sou sentaks. Se konsa, jis yon ti kras sou natirèl pwosesis lang. Li pral fè jis yon BECA. Se konsa, jounen jodi a, fondamantalman sa m 'vle fè se ba ou nèg yon ti kras nan yon andedan nan ki sa yo posiblite yo ke ou ka fè ak enfòmatik lengwistik. Lè sa a, ou ka wè ki sa ou panse se fre nan mitan bagay sa yo. E petèt ou ka panse a yon pwojè epi pou yo rive pale avè m '. Apre sa, mwen ka ba ou konsèy sou kòman yo aplike li. Se konsa, sentaks a pwal yon ti jan sou graf rechèch ak machin tradiksyon. Mwen jis pral bay yon egzanp sou kouman ou ta ka, pou egzanp, tradui yon bagay nan men Pòtigè lang angle. Son bon? Se konsa, premye, pwoblèm nan klasifikasyon. Mwen pral di ke pati sa a nan seminè a a pwal pi difisil nan yon sèl jis paske gen k ap pase yo dwe gen kèk kodaj. Men, li la pral fè Piton. Mwen konnen ou nèg pa konnen Piton, se konsa Mwen jis ale nan eksplike anwo nan syèl la nivo sa m ap fè a. Apre sa, ou pa bezwen reyèlman sousye twò anpil sou sentaks la paske sa a, se yon bagay ou nèg ka aprann. OK? Son bon. Se konsa, sa ki pwoblèm nan klasifikasyon? Se konsa, w ap bay kèk lyrics yon chan, epi ou vle devine ki moun ki chante li. Lè sa a kapab pou nenpòt ki kalite nan lòt pwoblèm tou. Se konsa, li kapab, pou egzanp, ou gen yon kanpay prezidansyèl epi ou gen yon lapawòl, epi ou vle jwenn konnen si li te, pou egzanp, Obama oswa Mitt Romney. Oswa ou ka gen yon pakèt moun sou anay ak ou vle konnen ki si yo Spam oswa ou pa. Se konsa, li jis klase kèk done ki baze sou mo sa yo ke ou gen la. Se konsa, yo fè sa, ou gen fè kèk sipozisyon. Se konsa, anpil sou enfòmatik lengwistik ap fè sipozisyon, sipozisyon anjeneral entelijan, se konsa ke ou ka jwenn bon rezilta. Eseye kreye yon modèl pou li. Lè sa a, eseye li soti, li wè si li travay, si li ba ou bon presizyon. Men, si li fè sa, Lè sa a, ou eseye amelyore li. Si li pa, w ap tankou, OK, petèt mwen ta dwe fè yon sipozisyon diferan. Se konsa, sipozisyon an ke nou ap ale nan fè se ke yon atis anjeneral chante sou yon fwa sijè miltip, ak petèt sèvi ak mo plizyè fwa jis paske yo ap itilize li. Ou ka jis panse a zanmi ou yo. Mwen si ou nèg tout gen zanmi ki di fraz siyati yo, literalman pou chak fraz yon sèl - tankou kèk mo espesifik oswa kèk espesifik fraz yo ke yo di pou chak fraz yon sèl. Ak ki sa ou ka di se ke si ou wè yon fraz ki gen yon siyati fraz, ou ka devine ki pwobableman zanmi ou se nan yon sèl li di li, dwa? Se konsa, ou fè ki sipozisyon ak Lè sa a, sa a, se ki jan ou kreye yon modèl. Egzanp lan ke mwen pral bay se sou ki jan Lady Gaga, pou egzanp, moun ki di ke li itilize "ti bebe" pou tout li nimewo yon sèl chante. Ak aktyèlman sa a se yon videyo ki montre li di pawòl Bondye a "ti bebe" pou chante diferan. [VIDEO lèktur] - (Chante) ti bebe. Ti bebe. Ti bebe. Ti bebe. Ti bebe. Babe. Ti bebe. Ti bebe. Ti bebe. Ti bebe. [FEN VIDEO lèktur- LUCAS Freitas: Se konsa, gen, mwen panse, 40 chante isit la nan ki li te di a Mo "ti bebe." Se konsa, ou ka fondamantalman devine ke si ou wè yon chante ki gen pawòl Bondye a "ti bebe," gen nan kèk segondè pwobabilite ke li nan Lady Gaga. Men, kite a eseye devlope sa a plis plis fòmèlman. Se konsa, sa yo, se lyrics chante pa Lady Gaga ak Katy Perry. Se konsa, ou gade nan Lady Gaga, ou wè yo gen yon anpil nan evènman nan "ti bebe," yon anpil nan evènman nan "fason." Lè sa a, Katy Perry gen yon anpil nan evènman an "," Yon anpil nan evènman nan "dife." La Se konsa, fondamantalman sa nou vle fè se, ou jwenn yon tèks. Se pou nou di ke ou jwenn yon tèks pou yon chante ki se "ti bebe," jis "ti bebe." Si ou jis jwenn pawòl Bondye a "ti bebe," ak sa a se tout done yo ki di ou gen ki soti nan Lady Gaga ak Katy Perry, ki moun ki ta ou devine se moun nan ki moun ki chante chan an? Lady Gaga oswa Katy Perry? Lady Gaga, dwa? Paske li se youn nan sèlman ki di "Ti bebe." Sa a son estipid, dwa? OK, sa a se reyèlman fasil. Mwen jis gade nan de chante yo ak nan kou, li la yon sèl la sèlman ki gen "Ti bebe." Men, sa ki si ou gen yon pakèt moun sou pawòl sa yo? Si w gen yon tèks reyèl, yon bagay tankou, "ti bebe, mwen jis al wè yon [? CFT?] konferans, "oswa yon bagay tankou sa, ak Lè sa a, ou gen aktyèlman figi konnen - ki baze sou tout moun sa yo mo - ki moun ki se atis la ki pwobableman pran chante chante sa a? Se konsa, kite a eseye devlope sa a yon ti kras pi lwen. OK, se konsa ki baze jis sou done a ke nou te resevwa, li sanble ke Gaga se pwobableman chantè a. Men, ki jan nou ka ekri sa a plis fòmèlman? Apre sa, k ap pase yo dwe yon ti kras ti jan nan Statistik. Se konsa, si ou jwenn pèdi, jis eseye yo konprann konsèp la. Li pa enpòtan si ou konprann ekwasyon yo parfe byen. Sa a se tout pral fè sou entènèt. Se konsa, fondamantalman sa m ap kalkile se la pwobabilite ke chante sa a se pa Lady Gaga bay sa - Se konsa, vle di ba sa a bay sa - Mwen te wè pawòl Bondye a "ti bebe." ki fè sans? Se konsa, mwen ap eseye kalkile ki pwobabilite. Se konsa, gen teyorèm sa a yo rele nan Bayes teyorèm ki di ke nan pwobabilite nan A B yo bay yo, se la pwobabilite nan B bay yon, fwa a pwobabilite nan A, sou pwobabilite a nan B. Sa a se yon ekwasyon lontan. Men, sa ou genyen yo konprann ki soti nan ki se ke sa a se sa m 'vle kalkile, dwa? Se konsa, pwobabilite ki genyen pou ke chan se pa Lady Gaga bay sa mwen te wè pawòl Bondye a "Ti bebe." Epi, koulye a sa m ap resevwa se nan pwobabilite nan pawòl Bondye a "ti bebe" bay ke mwen gen Lady Gaga. Ak sa ki se ke fondamantalman? Kisa sa vle di se, ki sa ki la pwobabilite wè pawòl Bondye a "ti bebe" nan Gaga lyrics? Si m 'vle yo kalkile ke nan yon trè fason ki senp, li jis ki kantite fwa mwen wè "ti bebe" sou kantite total nan mo nan Gaga lyrics, dwa? Ki sa ki se frekans lan pou m 'wè mo sa a nan travay Gaga a? Fè sans? Dezyèm manda a se nan pwobabilite nan Gaga. Kisa sa vle di? Ki fondamantalman vle di, ki sa ki la pwobabilite nan klase kèk lyrics kòm Gaga? Apre sa se kalite etranj, men kite a panse a yon egzanp. Se konsa, kite a di ke pwobabilite pou li te gen "ti bebe" nan yon chante se menm bagay la pou Gaga ak Britney Spears. Men, Britney Spears gen de fwa plis chante pase Lady Gaga. Se konsa, si yon moun ba ou jis owaza lyrics nan "ti bebe," premye bagay ou gade nan se, ki pwobabilite ki genyen nan li te gen "ti bebe" nan yon chan Gaga, "ti bebe" nan yon chan Britney? Lè li nan menm bagay la. Se konsa, bagay la dezyèm ke ou pral wè se, byen, ki pwobabilite a nan tèks sa a pou kont li ke yo te yon tèks Gaga, ak sa ki pwobabilite ki genyen pou yo te yon tèks Britney? Se konsa, depi Britney gen anpil plis lyrics pase Gaga, ou ta pwobableman di, byen, sa a se pwobableman yon tèks Britney. Se konsa, sa a, se rezon sa a genyen sa a tèm isit la menm. Pwobabilite nan Gaga. Fè sans? Èske li? OK. Apre sa, yon sèl ki sot pase a se jis pwobabilite ki genyen nan "ti bebe" ki fè sa ki pa reyèlman anpil pwoblèm. Men, li la pwobabilite pou wè "bebe" nan lang angle. Nou anjeneral pa pran swen ki anpil sou ke tèm. ki fè sans? Se konsa, pwobabilite pou Gaga se rele pwobabilite a anvan nan Gaga klas la. Paske li jis vle di ke, ki sa ki la pwobabilite ki gen ke klas - ki se Gaga - jis an jeneral, jis ki pa gen okenn kondisyon. Lè sa a, lè mwen gen pwobabilite Gaga bay "ti bebe," nou rele li plis teary yon pwobabilite paske li nan pwobabilite pou li te gen Gaga bay kèk prèv. Se konsa, mwen ban nou prèv la mwen te wè ti bebe a mo ak chante sa a, fè sans? OK. Se konsa, Si mwen kalkile ke pou chak nan chan ki nan pou Lady Gaga, sa ki ta ka - aparamman, mwen pa ka deplase sa a. Pwobabilite pou Gaga yo pral yon bagay tankou, 2 sou 24, fwa 1/2, plis pase 2 sou 53. Li pa enpòtan si ou konnen ki sa nimewo sa yo ap vini soti nan. Men, li la jis yon nimewo ki pral yo dwe plis pase 0, dwa? Lè sa a, lè m 'fè Katy Perry, nan pwobabilite nan "ti bebe" bay Katy se deja 0, dwa? Paske gen nan pa gen "bebe" nan Katy Perry. Se konsa, Lè sa a, sa a vin tounen 0, epi Gaga ranport, ki vle di ke Gaga se pwobableman chantè a. ki fè sans? OK. Se konsa, si mwen vle fè sa-a ofisyèl plis, Mwen ka aktyèlman fè yon modèl pou plizyè mo. Se konsa, kite a di ke mwen gen yon bagay tankou, "ti bebe, se mwen menm sou dife, "oswa yon bagay. Se konsa, li gen plizyè mo yo. Apre sa, nan ka sa a, ou kapab wè ke "ti bebe" se nan Gaga, men se pa nan Katy. Ak "dife" se nan Katy, men li pa nan Gaga, dwa? Se konsa, li resevwa Delice, dwa? Paske li sanble ke ou prèske gen yon menm kantite vòt ant de la. Se konsa, sa ou dwe fè se pran endependans nan mitan mo yo. Se konsa, fondamantalman ki sa sa vle di se ke Mwen jis kalkile ki sa ki la pwobabilite wè "ti bebe," ki sa ki pwobabilite ki genyen pou wè "Mwen," ak "Menm", ak "sou li a," ak "dife," tout separeman. Lè sa a, mwen miltipliye tout nan yo. Apre sa, mwen ap wè ki pwobabilite ki genyen wè fraz la tout antye. Fè sans? Se konsa, fondamantalman, si mwen gen sèlman yon sèl mo, sa m 'vle jwenn se ARG max a, ki vle di, ki sa ki klas la se sa ki bay m 'pwobabilite ki pi wo a? Se konsa, sa a se klas la ki an, ap ban m 'pwobabilite ki pi wo a pou pwobabilite nan klas yo bay mo. Se konsa, nan ka sa a, Gaga bay "ti bebe." Oswa Katy bay "ti bebe." Fè sans? Epi jis soti nan Bayes, ki ekwasyon ke mwen te montre, nou kreye fraksyon sa a. Bagay la sèlman se ke ou wè ke pwobabilite ki genyen pou mo yo bay la chanjman klas depann sou klas la, dwa? Nimewo a nan "ti bebe" s ke mwen gen nan Gaga ki diferan de Katy. Pwobabilite a nan klas la tou chanjman paske li nan jis nimewo a nan chante chak nan yo te genyen an. Men, pwobabilite pou mo nan tèt li a pwal menm bagay la pou la tout atis, dwa? Se konsa, pwobabilite pou mo a se jis, ki pwobabilite a nan wè mo sa a nan la Lang angle? Se konsa, li menm bagay la tou pou tout nan yo. Se konsa, depi sa a se konstan, nou kapab jis gout sa a, epi pa pran swen sou li. Se konsa, sa a pral aktyèlman nan ekwasyon nou ap chèche pou. Men, si mwen gen plizyè mo, mwen se toujou pral gen anvan an pwobabilite isit la. Bagay la sèlman se ke mwen miltipliye pwobabilite ki genyen pou tout lòt mo yo. Se konsa, mwen miltipliye tout nan yo. Fè sans? Li sanble etranj, men fondamantalman vle di, kalkile anvan an nan klas la, ak Lè sa a, miltipliye li pa pwobabilite pou chak nan mo sa yo yo te nan ki klas la. Apre sa, ou konnen ke pwobabilite pou yon mo yo bay yon klas a pwal nan kantite fwa ou wè mo sa a nan ki klas, divize pa kantite a nan mo ou gen nan ke klas an jeneral. Fè sans? Li nan jis ki jan "bebe" te 2 sou ki kantite mo ki Mwen te gen nan lyrics yo. Se konsa, jis frekans lan. Men, gen yon sèl bagay. Sonje ki jan mwen te montre ke nan pwobabilite nan "ti bebe" yo te lyrics soti nan Katy Perry te 0 jis paske Katy Perry pa t 'gen "bebe" nan tout? Men, li son yon ti kras piman bouk nan jis tou senpleman di ke lyrics pa ka soti nan yon atis jis paske yo pa gen mo sa a an patikilye nan nenpòt ki lè. Se konsa, ou ta ka jis di, byen, si ou pa gen pawòl sa a, mwen pral ba ou yon pwobabilite pi ba, men mwen jis pa ale nan ba ou 0 touswit. Paske petèt li te yon bagay tankou, "Dife, dife, dife, dife," ki se totalman Katy Perry. Lè sa a, "ti bebe", epi li jis ale nan 0 touswit paske te gen yon sèl "Ti bebe." Se konsa, fondamantalman sa nou fè se yon bagay rele alaplas atenuasyon. Lè sa a jis vle di ke mwen bay kèk pwobabilite jouk yo rive nan mo sa yo ki pa egziste. Se konsa, sa m 'fè se ke lè mwen se kalkile sa a, mwen toujou ajoute 1 a nimeratè a. Se konsa, menm si mo a pa egziste, nan ka sa a, si sa a se 0, mwen toujou kalkile sa a kòm 1 sou la kantite total mo yo. Sinon, mwen jwenn konbyen mo Mwen gen ak mwen ajoute 1. Se konsa, mwen konte pou tou de ka. Fè sans? Se konsa, kounye a kite a fè kèk kodaj. Mwen pral gen fè li trè vit, men li la jis enpòtan pou w nèg konprann konsèp yo. Se konsa, sa nou ap eseye fè se egzakteman aplike sa a bagay ke mwen jis di - Mwen vle fè ou mete lyrics soti nan Lady Gaga ak Katy Perry. Apre sa, pwogram nan se pral pou kapab di si sa yo nouvo lyrics yo soti nan Gaga oswa Katy Perry. Fè sans? OK. Se konsa, mwen gen pwogram sa a mwen pral yo rele classify.py. Se konsa, sa a se Piton. Li se yon nouvo lang programmation. Li trè menm jan an nan kèk fason yo C ak PHP. Li nan menm jan an paske si ou vle aprann Piton apre konnen C, li nan vrèman pa ke anpil nan yon defi jis paske Piton se pi fasil pase C, premye nan tout. Apre sa, yon bann bagay sa yo deja aplike pou ou. Se konsa, jis ki jan tankou PHP gen fonksyon ki sòt yon lis, oswa kole yon bagay nan yon etalaj, oswa bla, bla, bla. Piton gen tout moun sa yo tou. Se konsa, mwen jis ale nan eksplike byen vit ki jan nou ta ka fè klasman an pwoblèm pou isit la. Se konsa, kite a di ke nan ka sa a, mwen gen lyrics soti nan Gaga ak Katy Perry. Wout la ke mwen gen sa yo lyrics se ke mo nan premye nan lyrics yo se non an nan atis la, ak rès la se lyrics yo. Se konsa, kite a di ke mwen gen lis sa a nan ki youn nan premye se lyrics by Gaga. Se konsa, isit la mwen menm ki sou track dwat la. Apre sa, youn nan pwochen se Katy, ak Li te gen tou lyrics yo. Se konsa, sa a se ki jan ou fè konnen yon varyab nan Piton. Ou pa oblije bay kalite a done. Ou jis ekri "lyrics," kalite renmen nan PHP. Fè sans? Se konsa, sa yo se bagay sa yo ke mwen gen yo kalkile pou kapab kalkile nan pwobablite? Mwen gen yo kalkile "priyeur yo" nan chak nan diferan la klas sa m 'genyen. Mwen gen yo kalkile "posteriors yo," oswa bèl anpil pwobablite yo nan chak nan mo sa yo diferan ki Mwen ka gen pou chak atis. Se konsa, nan Gaga, pou egzanp, mwen pral gen yon lis ki gen konbyen fwa mwen wè chak nan mo yo. Fè sans? E finalman, mwen jis pral gen yon lis ki rele "mo" ki se jis ale gen konbyen mo mwen gen pou chak atis. Se konsa, pou Gaga, pou egzanp, lè m 'gade lyrics yo, mwen te, mwen panse, 24 mo nan total. Se konsa, lis sa a se jis pral gen Gaga 24, ak Katy yon lòt kantite. Fè sans? OK. Se konsa, koulye a, aktyèlman, se pou yo ale nan kodaj la. Se konsa, nan Piton, ou ka aktyèlman retounen yon pakèt moun sou diferan bagay sa yo soti nan yon fonksyon. Se konsa, mwen pral kreye fonksyon sa a yo rele "kondisyonèl", ki se ale retounen tout bagay sa yo, nan "Priyeur," "pwobablite yo," ak nan "Mo yo." Se konsa, "kondisyonèl", epi li nan yo pral rele nan "lyrics." Se konsa, koulye a, mwen vle ou aktyèlman ekri fonksyon sa a. Se konsa, fason ke mwen ka ekri sa a fonksyon se mwen jis yo defini sa a fonksyone ak "def." Se konsa, mwen te fè "def kondisyonèl ", epi li nan pran "Lyrics." Ak sa ki sa a ki pral fè se, premye a tout, mwen gen priyeur mwen ke mwen vle kalkile. Se konsa, fason ke mwen kapab fè sa a se kreye yon diksyonè nan Piton, ki se bèl anpil menm bagay la kòm yon hash tab, oswa li a tankou yon repete etalaj nan PHP. Sa a se ki jan mwen deklare yon diksyonè. Apre sa, fondamantalman ki sa sa a vle di se ke priyeur nan Gaga se 0.5, pou egzanp, si 50% nan lyrics yo yo soti nan Gaga, 50% yo soti nan Katy. Fè sans? Se konsa, mwen gen figi konnen kouman a kalkile priyeur yo. Moun kap vini yo ke mwen gen fè, tou, yo se pwobablite yo ak mo yo. Se konsa, pwobablite yo nan Gaga se lis la nan tout pwobabilite yo ke mwen gen pou chak nan mo sa yo pou Gaga. Se konsa, si m 'ale nan pwobablite nan Gaga "Ti bebe," pou egzanp, li pral ban m ' yon bagay tankou 2 sou 24 nan ka sa a. Fè sans? Se konsa, mwen ale nan "pwobablite," ale nan nan "Gaga" bokit ki gen yon lis tout mo sa yo Gaga, lè sa a mwen pral jwenn "ti bebe," ak mwen wè pwobabilite a. Epi finalman mwen gen sa a "Mo" diksyonè. Se konsa, isit la, "pwobablite." Lè sa a, "Mo yo." Se konsa, si m 'fè "mo," "Gaga," ki sa ki pral rive se ke li nan ale nan ban m '24, ki di ke mwen gen 24 mo ki nan lyrics soti nan Gaga. Fè sans? Se konsa, isit la, "pawòl" egal da-da-da. OK Se konsa, sa mwen pral fè se mwen pral repňte sou chak nan lyrics yo, se konsa chak kòd ki Mwen gen nan lis la. Apre sa, mwen pral kalkile bagay sa yo pou chak nan kandida yo. Fè sans? Se konsa, mwen dwe fè yon pou bouk. Se konsa, nan Piton ki sa mwen kapab fè se "pou liy nan lyrics. "Menm bagay la kòm yon "Pou chak" deklarasyon nan PHP. Sonje kijan pou m 'si li te PHP te kapab di "pou chak lyrics kòm liy. "Fè sans? Se konsa, mwen ap pran chak nan liy ki, nan sa a ka, sa a fil ak pwochen an fisèl se konsa pou chak nan liy ki sa mwen se pral fè se premye, mwen pral fann liy sa a nan yon lis mo separe pa espas. Se konsa, bagay la fre sou Piton se ke ou ta ka jis Google tankou "Ki jan m ka fann yon kòd nan pawòl sa yo? "Epi li pral di ou ki jan fè li. Apre sa, wout la nan fè l ', li jis "liy = Line.split () ", ak li nan fondamantalman pral ba ou yon lis ki gen chak nan mo sa yo isit la. Fè sans? Se konsa, kounye a ke mwen te fè sa m 'vle konnen ki moun ki se chantè a nan ki chante. Apre sa, fè sa mwen jis gen jwenn an premye eleman nan etalaj la, dwa? Se konsa, mwen ka jis di ke mwen "chantè = Liy (0) "Fè sans? Lè sa a, ki sa mwen bezwen fè se, premye a tout moun, mwen pral mete konbyen mo mwen gen nan seksyon "Gaga." se konsa mwen jis ale nan kalkile konbyen mo mwen gen nan lis sa a, dwa? Paske sa a se konbyen mo mwen gen nan lyrics yo ak mwen jis ale nan ajoute li nan "Gaga" etalaj la. ki fè sans? pa konsantre twòp sou sentaks la. Panse plis sou konsèp yo. Sa a pati ki pi enpòtan. OK. Se konsa, sa mwen kapab fè li se si "Gaga" se deja nan ke lis, se konsa "si chantè nan mo "ki vle di ke mwen deja menm ki gen pawòl pa Gaga. Mwen jis vle ajoute plis la mo nan sa. Se konsa, sa m 'fè a se "mo (chantè) + = Len (liy) - 1 ". Lè sa a, mwen ka jis fè a longè liy lan. Se konsa, ki jan anpil eleman mwen gen nan etalaj la. Apre sa, mwen dwe fè mwens 1 jis paske eleman an premye nan etalaj la se jis yon chantè ak sa yo pa lyrics. Fè sans? OK. "Lòt Bagay," sa vle di ke mwen vle aktyèlman insert Gaga nan lis la. Se konsa, mwen jis fè "mo (chantè) = Len (liy) - 1, "regrèt. Se konsa, diferans la sèlman ant de la liy se ke yon sèl sa a, li fè sa ki pa egziste ankò, se konsa mwen jis inisyalizin li. Sa a yon sèl mwen aktyèlman ajoute. OK. Se konsa, sa a te ajoute nan mo yo. Koulye a, mwen vle pou ajoute pou priyeur yo. Se konsa, kouman mwen kalkile priyeur yo? Priyeur yo ka ap kalkile pa konbyen fwa. Se konsa, konbyen fwa ou wè ke chantè nan mitan tout nan mizisyen sa yo ke ou gen, dwa? Se konsa, pou Gaga ak Katy Perry, nan ka sa a, mwen wè Gaga yon fwa, Katy Perry yon fwa. Se konsa, fondamantalman priyeur yo pou Gaga ak pou Katy Perry ta jis pou yon sèl, dwa? Ou jis konbyen fwa Mwen wè atis la. Se konsa, sa a se trè fasil kalkile. Mwen ka jis yon bagay ki sanble kòm tankou "si chantè nan priyeur, "Mwen jis ale ajoute 1 nan bwat priyeur yo. Se konsa, "priyeur (chante)" + = 1 "ak Lè sa a," lòt moun " Mwen pral fè "priyeur (chantè) = 1. "Fè sans? Se konsa, si li pa egziste Mwen jis mete kòm 1, otreman mwen jis ajoute 1. OK, se konsa kounye a tou sa mwen te kite yo fè se tou ajoute chak nan mo yo nan la pwobablite. Se konsa, mwen gen yo konte konbyen fwa Mwen wè chak nan mo yo. Se konsa, mwen jis gen nan fè yon lòt pou bouk nan liy la. Se konsa, premye bagay ke mwen pral fè se tcheke si chantè a deja gen yon pwobablite etalaj. Se konsa, mwen tcheke si chantè a pa fè sa gen yon etalaj pwobablite, mwen se jis ale nan inisyalize yon sèl pou yo. Li pa menm yon etalaj, regrèt, li nan yon diksyonè. Se konsa, pwobablite yo nan chantè ki pral yo dwe genyen yon diksyonè louvri, se konsa mwen jis inisyalizin yon diksyonè pou li. OK? Koulye a, mwen ka aktyèlman fè yon pou bouk yo kalkile chak nan mo sa yo ' pwobablite. OK. Se konsa, sa mwen kapab fè se yon pou bouk. Se konsa, mwen jis ale nan repňte sou etalaj la. Se konsa, fason ke mwen kapab fè ke nan Piton se "pou mwen nan seri." Soti nan 1 paske mwen vle kòmanse nan dezyèm lan eleman paske se youn nan premye a chantè Non. Se konsa, soti nan yon jiska la longè liy lan. Lè m 'varye li aktyèlman ale nan tankou isit la nan 1 rive nan Len nan la liy mwens 1. Se konsa, li deja fè ke bagay pou fè n mwens 1 pou ranje ki se trè pratik. Fè sans? Se konsa, pou chak nan sa yo, ki mwen pral fè se, jis tankou nan yon sèl nan lòt, Mwen pral tcheke si pawòl Bondye a nan sa a pozisyon nan liy lan se deja nan pwobablite. Lè sa a, jan mwen te di isit la, pwobablite mo, tankou nan mwen mete "Pwobablite (chantè)". Se konsa, non an nan chantè a. Se konsa, si li nan deja nan "Probabilit (chantè)", sa vle di ke mwen vle ajoute 1 nan li, se konsa mwen pral fè "pwobablite (chantè)", ak nan se mo yo rele "liy (mwen)". Mwen pral ajoute 1 ak "lòt" mwen se jis ale nan inisyalize li a 1. "Liy (mwen)". Fè sans? Se konsa, mwen kalkile tout ranje yo. Se konsa, kounye a tout sa m 'genyen pou fè pou yon sèl sa a se jis "retounen priyeur, pwobablite ak mo yo. "Ann wè si gen nenpòt ki, OK. Li sanble tout bagay ap travay twò lwen. Se konsa, ki fè sans? Nan kèk fason? OK. Se konsa, koulye a, mwen gen tout pwobablite yo. Se konsa, koulye bagay la sèlman mwen te kite se jis genyen ki bagay ki kalkile pwodwi a nan nan tout pwobablite lè mwen jwenn lyrics yo. Se konsa, kite a di ke mwen vle kounye a rele fonksyon sa a "klasifye ()", ak nan bagay ki fonksyon pran se jis yon agiman. Se pou nou di "Baby, se mwen menm sou dife" ak li nan ale nan figi konnen ki sa ki la pwobabilite ke sa a se Gaga? Ki pwobabilite a ke sa a se Katie? Son bon? Se konsa, mwen jis pral fè yo kreye yon nouvo fonksyon yo rele "klasifye ()", ak li pral pran kèk lyrics tou. Apre sa, san konte lyrics yo mwen menm mwen te bezwen voye priyeur yo, nan pwobablite ak mo yo. Se konsa, mwen pral voye lyrics, priyeur, pwobablite, mo yo. Se konsa, sa a ap pran lyrics, priyeur, pwobablite, mo yo. Se konsa, sa li fè? Li fondamantalman ki pral yo ale nan tout kandida yo posib pou w gen kòm yon chantè. Ak ki kote yo kandida sa yo? Yo ap Nan priyeur yo, dwa? Se konsa, mwen gen tout moun sa yo la. Se konsa, mwen pral gen yon diksyonè nan tout kandida posib. Lè sa a, pou chak kandida nan la priyeur, se konsa li vle di ke li nan ale nan dwe Gaga, Katie si mwen te gen plis li ta plis ankò. Mwen pral kòmanse kalkile sa a pwobabilite. Pwobabilite a kòm nou te wè nan a PowerPoint se fwa yo anvan a pwodwi nan chak nan la lòt pwobablite. Se konsa, mwen kapab fè menm bagay la tou isit la. Mwen ka jis fè pwobabilite se okòmansman jis anvan an. Se konsa, priyeur nan kandida a. Dwa? Koulye a, mwen gen repňte sou nan tout mo ke mwen gen nan lyrics yo yo dwe kapab ajoute pwobabilite ki genyen pou chak nan yo, OK? Se konsa, "pou mo nan lyrics" sa mwen pral fè se, si pawòl Bondye a se nan "Pwobablite (kandida)", ki vle di ke li nan yon mo ki nan kandida gen nan yo lyrics - pou egzanp, "ti bebe" pou Gaga - sa m ap pral fè se ke an pwobabilite se yo pral miltipliye pa 1 plis pwobablite yo nan kandida a pou mo sa a. Apre sa, sa yo rele li "pawòl". Sa a divize pa kantite a nan mo ke mwen gen pou sa kandida. Kantite total mo ke mwen gen pou chantè a ke mwen ap gade. "Lòt Bagay." sa vle di li nan yon nouvo mo se konsa li ta dwe tankou pou egzanp "Dife" pou Lady Gaga. Se konsa, mwen jis vle fè 1 sou "Mo (kandida)". Se konsa, mwen pa vle mete tèm sa a isit la. Se konsa, li pral yo dwe fondamantalman w kopye e kole sa a. Men, mwen pral efase pati sa a. Se konsa, li jis pral fè 1 sou sa. Son bon? Epi, koulye a nan fen a, mwen jis ale nan ekri ak lèt ​​detache non an nan kandida a ak pwobabilite ki genyen pou ou gen nan li te gen S la sou yo lyrics. Fè sans? Apre sa, mwen aktyèlman fè pa menm bezwen diksyonè sa a. Fè sans? Se konsa, kite a wè si sa a aktyèlman ap travay. Se konsa, si mwen kouri sa a, li pa t 'travay. Rete tann yon sèl dezyèm fwa. "Mo (kandida)", "mo (kandida)", sa a, se non an nan etalaj la. OK Se konsa, li di gen nan kèk ensèk pou kandida nan priyeur. Kite m 'jis fredi yon ti kras. OK. Ann eseye. OK. Se konsa, li bay Katy Perry gen sa a pwobabilite nan sa a fwa 10 a nan mwens 7yèm, ak Gaga gen sa a fwa 10 a mwens 6 la. Se konsa, ou wè li montre ke Gaga gen yon pwobabilite ki pi wo. Se konsa, "Baby, mwen se sou dife" se pwobableman yon chante Gaga. Fè sans? Se konsa sa a se sa nou te fè sa. Kòd sa a se yo pral afiche sou entènèt, konsa ou nèg ka tcheke li soti. Petèt sèvi ak kèk nan li pou ou si ou vle fè yon pwojè oswa yon bagay menm jan an. OK. Sa a te jis yo montre sa enfòmatik Kòd lengwistik sanble. Men koulye a, se pou yo ale nan plis wo nivo bagay. OK. Se konsa, lòt pwoblèm yo, mwen te pale sou - pwoblèm nan segmentation se premye nan yo. Se konsa, ou gen isit la Japonè yo. Lè sa a, ou wè sa a pa gen okenn espas. Se konsa, sa a se fondamantalman vle di ke li nan tèt la nan chèz la, dwa? Ou pale Japonè? Li nan tèt la nan chèz la, dwa? ELÈV: Mwen pa konnen sa Kanji a sou gen. LUCAS Freitas: Li [PALE Japonè] OK. Se konsa, li fondamantalman vle di chèz nan tèt. Se konsa, si ou te gen yo mete yon espas li ta isit la. Lè sa a, ou gen [? Ueda-san. ?] Ki fondamantalman vle di Mesye Ueda. Apre sa, ou wè ke "Ueda" epi ou gen yon espas ak Lè sa a, "san." Se konsa, ou wè ke isit la ou "UE", se tankou pa limenm. Ak isit la li gen yon karaktè pwochen li. Se konsa, li pa nan renmen nan sa yo lang karaktè sa vle di yon mo li pou ou jis mete yon anpil nan espas. Karaktè gen rapò ak youn ak lòt. Apre sa, yo kapab ansanm tankou de, twa, yon sèl. Se konsa, ou gen aktyèlman yo kreye kèk kalite nan fason pou mete espas sa yo. Lè sa a bagay se ke chak fwa ou jwenn done ki sòti nan sa yo lang Azyatik, tout bagay vini unsegmented. Paske pa gen moun ki ekri Japonè oswa Chinwa ekri ak espas. Chak fwa w ap ekri Chinwa, Japonè ou jis ekri tout bagay ki pa gen okenn espas. Li pa menm fè sans yo mete espas. Se konsa, Lè sa a, lè ou jwenn done ki sòti nan, gen kèk Lang East Azyatik, si ou vle aktyèlman fè yon bagay ak sa ou gen segman an premye. Panse pou fè egzanp lan nan lyrics yo san yo pa espas. Se konsa, lyrics yo sèlman ki di ou gen yo pral fraz, dwa? Ki separe pa peryòd. Men, Lè sa a, li te gen jis fraz la pral pa reyèlman ede sou bay enfòmasyon nan ki sa yo lyrics yo se pa. Dwa? Se konsa, ou ta dwe mete espas premye. Se konsa, kouman ou ka fè sa? Se konsa, Lè sa a, vini lide a nan yon lang modèl ki se yon bagay ki reyèlman enpòtan pou enfòmatik lengwistik. Se konsa, yon modèl lang se fondamantalman yon tab nan pwobablite ki montre premye nan tout ki pwobabilite ki genyen ki gen pawòl Bondye a nan yon lang? Se konsa, ki montre kouman souvan yon mo se. Lè sa a, tou ki montre relasyon ki ant pawòl yo nan yon fraz. Se konsa, lide prensipal se, si yon moun lòt nasyon te vin pou ou ak pou di yon fraz ou, ki sa ki pwobabilite ki genyen pou, pou egzanp, "sa a se mwen sè [GTF?"?] te fraz la pou moun sa a di? Se konsa, evidamman kèk fraz yo pi komen pase lòt moun. Pou egzanp, "bon maten," oswa "bon mitan lannwit, "oswa" hey la, "se pi plis komen ke pi fò fraz ke nou gen yon lang angle. Se konsa, poukisa yo se fraz sa yo ki pi souvan? Premye a tout, li nan paske ou gen mo ki gen plis souvan. Se konsa, pou egzanp, si ou di, chen an se gwo, ak chen a se gwo konstriksyon, ou anjeneral pwobableman tande chen an se gwo pi souvan paske "gwo" se pi plis souvan nan lang angle pase "gwo konstriksyon." Se konsa, youn nan bagay sa yo se frekans lan mo. Bagay la dezyèm ki se reyèlman enpòtan se jis nan lòd nan mo yo. Se konsa, li komen nan di "chat la se andedan kazye a. "men ou pa fè anjeneral wè nan "bwat la andedan se chat la." Se konsa, ou wè ki di ke gen kèk enpòtans yo nan lòd a nan mo yo. Ou pa ka jis di ke sa yo de fraz gen pwobabilite a menm jis paske yo menm ki gen pawòl yo menm. Ou gen aktyèlman pran swen sou lòd yo tou. Fè sans? Se konsa, sa n'ap fè? Se konsa, sa m 'ka eseye jwenn ou? M ap eseye fè ou jwenn sa nou rele modèl yo n-gram. Se konsa, modèl n-gram fondamantalman asime ke pou chak mo ki ou gen nan yon fraz. Li nan pwobabilite pou li te gen ki mo gen depann pa sèlman sou la frekans nan mo sa a nan lang lan, men tou, sou mo sa yo ki yo ki antoure li. Se konsa, pou egzanp, anjeneral, lè ou wè yon bagay tankou sou oswa nan w ap pwobableman pral wè yon noun apre li fin, dwa? Paske lè ou gen yon prepozisyon anjeneral li pran yon noun apre li. Oswa si w gen yon vèb ki se tranzitif anjeneral ou yo ale nan gen yon fraz non. Se konsa, li la pral gen yon non yon kote alantou li. Se konsa, fondamantalman, ki sa li fè se ke li konsidere pwobabilite pou li te gen mo pwochen youn ak lòt, lè w ap kalkile nan pwobabilite nan yon fraz. Epi sa a, sa ki yon lang modèl se fondamantalman. Jis di sa ki nan pwobabilite a ki gen yon espesifik fraz nan yon lang? Se konsa, poukisa se ke itil, fondamantalman? Apre sa, premye nan tout sa ki yon modèl n-gram, lè sa a? Se konsa, yon modèl n-gram vle di ke chak mo depann sou la pwochen N mwens 1 mo yo. Se konsa, fondamantalman, sa vle di ke si mwen gade, pou egzanp, nan TF nan CS50 lè Mwen kalkile pwobabilite pou fraz la, ou pral tankou "la pwobabilite ki gen pawòl Bondye a "" a fwa pwobabilite pou li te gen "nan CS50 "fwa pwobabilite pou li te gen "TF nan CS50." Se konsa, fondamantalman, mwen konte tout fason posib nan etann li. Lè sa a, anjeneral lè w ap fè sa a, tankou nan yon pwojè, ou mete N yo dwe yon valè ki ba. Se konsa, yo souvan genyen bigrams oswa trigrams. Se konsa, ke ou jis konte de mo, yon gwoup de mo, oswa twa mo, jis pou pwoblèm pèfòmans. Epi tou paske petèt si ou gen yon bagay tankou "TF nan CS50." Lè ou gen "TF," li trè enpòtan ke "CS50" se akote l, dwa? De bagay sa yo Moun sa yo ki yo anjeneral pwochen youn ak lòt. Si ou panse nan "TF," li la pwobableman pral gen sa ki klas li a TF'ing pou. Tou se nan "" vrèman enpòtan pou CS50 TF. Men, si ou gen yon bagay tankou "CS50 nan TF te ale nan klas e li te bay yo elèv yo kèk sirèt. "" sirèt "ak" "a pa gen okenn relasyon reyèlman, dwa? Yo ap konsa byen lwen soti nan chak lòt ki li pa reyèlman gen pwoblèm sa mo ou genyen. Se konsa, pa fè yon bigram oswa yon trigram, li jis vle di ke w ap limite tèt ou bay kèk mo ki alantou. Fè sans? Se konsa, lè ou vle fè segmentation, fondamantalman, ki sa ou vle fè se wè ki sa yo tout fason posib ke ou kapab segman fraz la. Sa yo ke ou wè ki sa ki la pwobabilite nan chak nan fraz sa yo ki ki deja egziste nan lang lan? Se konsa, sa ou fè, se tankou, byen, se pou m 'eseye mete yon espas isit la. Se konsa, ou mete yon espas gen epi ou wè ki sa ki la pwobabilite nan ki fraz? Lè sa a, ou se tankou, OK, petèt sa ki te pa sa ki bon. Se konsa, mwen mete yon espas gen ak yon espas la, epi ou kalkile nan pwobabilite kounye a, epi ou wè ke li nan yon pwobabilite ki pi wo. Se konsa, sa a se yon algorithm rele Tango a segmentation algorithm, ki se aktyèlman yon bagay ki ta dwe reyèlman fre pou yon pwojè, ki fondamantalman pran tèks unsegmented ki kapab Japonè oubyen Chinwa oswa petèt Angle san yo pa espas ak ap eseye mete espas ant mo yo ak li fè sa ki lè l sèvi avèk yon modèl lang ak ap eseye wè ki sa ki pi wo a pwobabilite ou ka jwenn. OK. Se konsa, sa a se segmentation. Koulye a, sentaks. Se konsa, sentaks se ke yo te itilize pou Se konsa, anpil bagay kounye a. Se konsa, pou graf Search, pou Siri pou bèl anpil nenpòt kalite natirèl pwosesis lang ou genyen. Se konsa, sa yo enpòtan nan bagay sou sentaks? Se konsa, fraz an jeneral gen sa nou rele elektè. Ki se kalite tankou gwoup nan mo ki gen yon fonksyon nan fraz la. Apre sa, yo pa ka vrèman dwe apa nan chak lòt. Se konsa, si mwen vle di, pou egzanp, "Lauren renmen Milo. "Mwen konnen ke" Lauren "se yon konstitiyan ak Lè sa a, "Renmen Milo "se tou yon lòt. Paske ou pa ka di tankou "Lauren Milo renmen "nan gen sans la menm. Li pa pral gen siyifikasyon an menm. Oswa Mwen pa ka di tankou "Milo Lauren renmen. "Se pa tout bagay gen menm bagay la tou sa vle di fè sa. Se konsa, de bagay yo ki pi plis enpòtan sou sentaks yo se kalite ki lèksik ki se fondamantalman fonksyon an ke ou gen pou mo pa yo pran pozisyon. Se konsa, ou gen konnen ke "Lauren" ak "Milo" yo se Nouns. "Lanmou" se yon vèb. Epi bagay la dezyèm enpòtan an se yo ke yo ap kalite frazal. Se konsa, ou konnen ke "renmen Milo" se aktyèlman yon fraz vèbal. Se konsa, lè m 'di "Lauren," Mwen konnen ke Lauren ap fè yon bagay. Ki sa ki li fè la a? Li te renmen Milo. Se konsa, li nan yon bagay tout antye. Men, eleman li yo ki ap yon non ak yon vèb. Men, ansanm, yo fè yon fraz vèb. Se konsa, sa nou ka aktyèlman fè ak lengwistik enfòmatik? Se konsa, si mwen gen yon bagay pou egzanp "Zanmi nan Allison." Mwen wè si mwen jis t 'yon pye bwa sentaksik mwen ta konnen ke "Zanmi" se yon fraz non li se yon noun ak Lè sa a, "nan Allison" se yon prepositional fraz nan ki "nan" se yon pwopozisyon ak "Allison" se yon non. Ki sa mwen ta ka fè se anseye òdinatè mwen an ke lè mwen gen yon fraz non yon sèl ak Lè sa a, yon fraz prepositional. Se konsa, nan ka sa a, "zanmi" ak Lè sa a, "nan Milo "Mwen konnen ke sa a vle di ke NP2, yon sèl, dezyèm lan, posede NP1. Se konsa, mwen ka kreye kèk kalite relasyon, kèk kalite fonksyon pou li. Se konsa, chak fwa mwen wè estrikti sa a, ki alimèt egzakteman ak "zanmi nan Allison, "Mwen konnen ke Allison posede zanmi yo. Se konsa, zanmi yo se yon bagay ki Allison te genyen an. Fè sans? Se konsa, sa a se fondamantalman sa Graf Search fè. Li jis kreye règleman pou yon bann bagay sa yo. Se konsa, "zanmi nan Allison," "zanmi m ' k ap viv nan Cambridge, "" zanmi m ' ki moun ki ale nan Harvard. "Li kreye règleman pou tout moun nan bagay sa yo. Koulye a, tradiksyon machin. Se konsa, tradiksyon machin tou se yon bagay estatistik. Apre sa, aktyèlman si w ap resevwa patisipe nan lengwistik enfòmatik, yon anpil nan bagay ou a pwal estatistik. Se konsa, jan mwen te fè egzanp lan ak yon anpil nan pwobablite ke mwen te kalkile, ak Lè sa a, ou jwenn sa a nimewo piti anpil sa a, se final la pwobabilite, ak se sa ki ba ou repons lan. Machin tradiksyon itilize tou yon modèl estatistik. Men, si ou vle panse nan machin tradiksyon nan posib la ki pi senp lan fason sa a, ki sa ou ka panse se jis tradui mo pa mo, dwa? Lè w ap aprann yon lang pou la premye fwa, sa se anjeneral ki sa ou fè sa, dwa? Si ou vle ou tradui yon fraz nan lang ou nan lang lan w ap aprann, anjeneral nan premye, ou tradui chak nan mo sa yo endividyèlman, ak Lè sa a, ou eseye yo mete mo sa yo nan plas li. Se konsa, si mwen te vle tradui sa a, [PALE Pòtigè] ki vle di "chat la blan pran kouri." Si mwen te vle tradui li soti nan Pòtigè ann angle, ki sa mwen ta ka fè se, an premye, mwen jis tradui mo pa mo. Se konsa, "o" se "," "GATO a," "chat," "Branco," "blan", epi Lè sa a, "fugio" se "Pran kouri." Se konsa, Lè sa a, mwen gen tout mo sa yo isit la, men yo pa ap nan lòd. Se tankou "blan an chat kouri" ki se ungrammatical. Se konsa, lè sa a mwen ka gen yon etap dezyèm lan, ki se yo pral jwenn ideyal la pozisyon pou chak nan mo yo. Se konsa, mwen konnen se mwen aktyèlman vle gen "Blan chat" olye de "chat blan." Se konsa, kisa m ka fè se, metòd ki pi nayif ta dwe kreye tout la pèrmutasyon posib pou mo, nan pozisyon. Lè sa a, wè ki yon sèl gen nan pi wo pwobabilite dapre nan modèl lang mwen. Lè sa a, lè m 'jwenn youn ki gen pi wo pwobabilite pou li, ki se pwobableman "chat la blan kouri ale," sa a, se tradiksyon mwen. Lè sa a se yon fason ki senp pou eksplike ki jan yon anpil nan tradiksyon machin algoritm travay. ki fè sans? Sa a se tou yon bagay ki reyèlman enteresan ke ou nèg ka petèt eksplore pou yon pwojè final la, yeah? ELÈV: Oke, ou te di li te wout la nayif, se konsa sa ki nan wout la ki pa nayif? LUCAS Freitas: fason a ki pa nayif? OK. Se konsa, premye bagay ki se move sou metòd sa a se ke mwen jis tradui mo, pawòl pa mo. Men pafwa ou gen mo ki ka gen plizyè tradiksyon. Mwen pral eseye panse nan yon bagay. Pou egzanp, "manga" nan Pòtigè bwat swa dwe "ravaje" oswa "manch rad." Se konsa, lè w ap eseye tradui mo pa mo, li ta ka ban nou yon bagay ki pa fè okenn sans. Se konsa, ou aktyèlman vle ou gade nan tout tradiksyon posib pou a mo yo ak wè, premye nan tout, ki sa ki lòd la. Nou te pale sou permutating bagay sa yo? Pou wè tout lòd yo posib epi lè li chwazi youn nan ak pi wo a pwobabilite? Ou ka chwazi tou tout sa ki posib la tradiksyon pou chak mo ak Lè sa a, wè - konbine avèk pèrmutasyon yo - ki youn gen pwobabilite ki pi wo. Plus, ou kapab gade tou nan pa mo men fraz sèlman. pou ou kapab analize relasyon ki genyen ant mo sa yo ak Lè sa a, jwenn yon pi bon tradiksyon. Epitou yon lòt bagay, se konsa semès sa a Mwen aktyèlman fè rechèch nan Chinwa-angle tradiksyon machin, Se konsa, tradui soti nan Chinwa yo nan lang angle. Apre sa, yon bagay nou fè se, san konte lè l sèvi avèk yon modèl estatistik, ki se jis wè pwobablite yo nan wè kèk pozisyon nan yon fraz, mwen se aktyèlman tou ajoute kèk sentaks mwen modèl, li di: oh, si mwen wè sa a kalite nan konstriksyon, sa a se sa m 'vle chanje l 'bay lè m' tradui. Se konsa, ou ka ajoute tou kèk kalite eleman nan sentaks fè a tradiksyon pi efikas ak plis ankò presi. OK. Se konsa, kouman ou ka jwenn te kòmanse, si ou vle fè yon bagay nan enfomatik lengwistik? Premyèman, ou chwazi pou ou yon pwojè ki enplike nan lang yo. Se konsa, gen nan anpil yo deyò. Genyen anpil bagay ou ka fè. Lè sa a, ka panse a yon modèl ke ou ka itilize. Anjeneral sa vle di panse a sipozisyon, menm jan tankou, oh, lè m 'te tankou panse a lyrics yo. Mwen te tankou, byen, si mwen vle kalkile soti yon ki te ekri sa a, mwen pwobableman vle fè yon gade nan mo sa yo moun nan itilize ak wè ki moun ki sèvi ak mo sa a trè souvan. Se konsa, eseye fè sipozisyon ak eseye panse a modèl. Lè sa a, ou ka tou rechèch sou entènèt pou ki kalite pwoblèm ki di ou gen, epi li ale nan sijere ou modèl ki petèt modle ke bagay byen. Epi tou ou ka toujou voye yon imèl ba m '. me@lfreitas.com. Apre sa, mwen ka jis reponn kesyon ou yo. Nou ka menm ta ka satisfè moute Se konsa, mwen kapab bay sijesyon sou fason pou mete ann aplikasyon pwojè ou. Apre sa, mwen vle di si w ap resevwa patisipe avèk lengwistik enfòmatik, li pral yo dwe gwo. W ap ale nan wè gen se konsa anpil potansyèl yo. Apre sa, endistri a vle anboche ou tèlman mal paske yo te sa a. Se konsa, mwen espere ke ou nèg te jwi sa a. Si ou nèg gen nenpòt kesyon, ou ka mande m 'apre sa a. Men, di ou mèsi.