百度中文分詞的三種技術(shù)
2013/3/26 10:29:20
1.字符串匹配的分詞方法
2.詞義分詞法。
3.統(tǒng)計(jì)分此法。
字符串匹配的分詞方法
也是常用的分詞法,百度就是用此種分詞。字符串匹配的分詞方法,他又分為3中分詞方法。
1.正向最大匹配法
什么意思呢?就是把一個(gè)詞從左至右來(lái)分詞。
舉個(gè)例子。
“不知道你在說(shuō)什么”
這句話采用正向最大匹配法是如何分的呢?“不知道,你,在,說(shuō)什么”與正向最大匹配法相對(duì)應(yīng)的是反向最大匹配發(fā)。這是第二種分詞方法。
2.反向最大匹配法
來(lái)分上面我舉的例子是如何分的呢 ?"不知道你在說(shuō)什么"。反向最大匹配法來(lái)分上面這段是如何分的。“不,知道,你在,說(shuō),什么”,這個(gè)就分的比較多了,反向最大匹配法就是從右至左。
3.就是最短路徑分詞法。
這個(gè)什么理解呢 ,就是說(shuō) 我一段話里面要求切出的詞數(shù)是最少的。還是上面哪句話“不知道你在說(shuō)什么”最短路徑分詞法就是指,我把上面哪句話分成的詞要是最少的。不知道,你在,說(shuō)什么,這就是最短路徑分詞法,分出來(lái)就只有3個(gè)詞了。
好了,當(dāng)然還有上面三種可以相互結(jié)合組成一些分詞方法。比如正向最大匹配法和反向最大匹配法組合起來(lái)就可以叫做雙向最大匹配法。
詞義分詞法
這種其實(shí)就是一種機(jī)器語(yǔ)音判斷的分詞方法。很簡(jiǎn)單,進(jìn)行句法、語(yǔ)義分析,利用句法信息和語(yǔ)義信息來(lái)處理歧義現(xiàn)象來(lái)分詞,這種分詞方法,現(xiàn)在還不成熟。處在測(cè)試階段。
統(tǒng)計(jì)的分詞方法
這個(gè)很簡(jiǎn)單,就是根據(jù)詞組的統(tǒng)計(jì),就會(huì)發(fā)現(xiàn)兩個(gè)相鄰的字出現(xiàn)的頻率最多,那么這個(gè)詞就很重要。就可以作為用戶提供字符串中的分隔符。這樣來(lái)分詞。比如,“我的,你的,許多的,這里,這一,那里”。等等,這些詞出現(xiàn)的比較多,就從這些詞里面分開來(lái)。好了,分詞技術(shù)講完了。
返回列表
返回首頁(yè)
主站蜘蛛池模板:
美女扒开腿让男人捅|
www成人在线观看|
欧美午夜理伦三级在线观看|
免费看又黄又无码的网站|
青青草中文字幕|
国产精品免费久久久久影院|
伊人久久大香线蕉无码|
色国产精品一区在线观看|
国产无套粉嫩白浆在线观看|
一级做a爰片久久毛片一|
日本年轻的妈妈|
亚洲av本道一区二区三区四区|
欧美理论片在线观看|
再深点灬舒服灬太大了网站|
美女无遮挡拍拍拍免费视频|
大炕上农村岳的乱|
一级一级女人18毛片|
无码人妻精品中文字幕|
久久精品久久精品|
柠檬福利第一导航在线|
亚洲成年人网址|
永世沉沦v文bysnow全文阅读|
免费无码专区毛片高潮喷水|
精品日产一区二区三区|
四虎成人精品免费影院|
野狼第一精品社区|
国产成人免费全部网站|
亚洲综合精品香蕉久久网|
国产精品熟女视频一区二区|
99re6这里只有精品视频
|
免费国产黄网站在线观看视频|
美女把腿扒开让男人桶爽了|
国产三级第一页|
韩国免费人成在线观看网站|
国产成人精品久久综合|
午夜性福利视频|
国产精品三级在线观看无码|
1024手机基地在线看手机|
国产草草影院ccyycom|
91高端极品外围在线观看|
在线拍揄自揄在线播放|