什么是中文分詞？對SEO優(yōu)化有什么幫助？發(fā)布者：本站     時(shí)間：2020-05-18 20:05:48

什么是中文分詞?

眾所周知，英文是以詞為單位的，詞和詞之間是靠空格隔開(kāi)，而中文是以字為單位，句子中所有的字連起來(lái)才能描述一個(gè)意思。例如，英文句子I am a student，用中文則為：“我是一個(gè)學(xué)生”。計算機可以很簡(jiǎn)單通過(guò)空格知道student是一個(gè)單詞，但是不能很容易明白“學(xué)”、“生”兩個(gè)字合起來(lái)才表示一個(gè)詞。把中文的漢字序列切分成有意義的詞，就是中文分詞，有些人也稱(chēng)為切詞。

目前主流的中文分詞算法有以下3種：

1、 基于字符串匹配的分詞方法

這種方法又叫做機械分詞方法，它是按照一定的策略將待分析的漢字串與一個(gè)“充分大的”機器詞典中的詞條進(jìn)行配，若在詞典中找到某個(gè)字符串，則匹配成功(識別出一個(gè)詞)。按照掃描方向的不同，串匹配分詞方法可以分為正向匹配和逆向匹配;按照不同長(cháng)度優(yōu)先匹配的情況，可以分為最大(最長(cháng))匹配和最小(最短)匹配;按照是否與詞性標注過(guò)程相結合，又可以分為單純分詞方法和分詞與標注相結合的一體化方法。常用的幾種機械分詞方法如下：

1)正向最大匹配法(由左到右的方向);

2)逆向最大匹配法(由右到左的方向);

3)最少切分(使每一句中切出的詞數最小)。

還可以將上述各種方法相互組合，例如，可以將正向最大匹配方法和逆向最大匹配方法結合起來(lái)構成雙向匹配法。由于漢語(yǔ)單字成詞的特點(diǎn)，正向最小匹配和逆向最小匹配一般很少使用。一般說(shuō)來(lái)，逆向匹配的切分精度略高于正向匹配，遇到的歧義現象也較少。統計結果表明，單純使用正向最大匹配的錯誤率為1/169，單純使用逆向最大匹配的錯誤率為1/245。但這種精度還遠遠不能滿(mǎn)足實(shí)際的需要。實(shí)際使用的分詞系統，都是把機械分詞作為一種初分手段，還需通過(guò)利用各種其它的語(yǔ)言信息來(lái)進(jìn)一步提高切分的準確率。

一種方法是改進(jìn)掃描方式，稱(chēng)為特征掃描或標志切分，優(yōu)先在待分析字符串中識別和切分出一些帶有明顯特征的詞，以這些詞作為斷點(diǎn)，可將原字符串分為較小的串再來(lái)進(jìn)機械分詞，從而減少匹配的錯誤率。另一種方法是將分詞和詞類(lèi)標注結合起來(lái)，利用豐富的詞類(lèi)信息對分詞決策提供幫助，并且在標注過(guò)程中又反過(guò)來(lái)對分詞結果進(jìn)行檢驗、調整，從而極大地提高切分的準確率。

2、 基于理解的分詞方法

這種分詞方法是通過(guò)讓計算機模擬人對句子的理解，達到識別詞的效果。其基本思想就是在分詞的同時(shí)進(jìn)行句法、語(yǔ)義分析，利用句法信息和語(yǔ)義信息來(lái)處理歧義現象。它通常包括三個(gè)部分：分詞子系統、句法語(yǔ)義子系統、總控部分。在總控部分的協(xié)調下，分詞子系統可以獲得有關(guān)詞、句子等的句法和語(yǔ)義信息來(lái)對分詞歧義進(jìn)行判斷，即它模擬了人對句子的理解過(guò)程。這種分詞方法需要使用大量的語(yǔ)言知識和信息。由于漢語(yǔ)語(yǔ)言知識的籠統、復雜性，難以將各種語(yǔ)言信息組織成機器可直接讀取的形式，因此目前基于理解的分詞系統還處在試驗階段。

3、 基于統計的分詞方法

從形式上看，詞是穩定的字的組合，因此在上下文中，相鄰的字同時(shí)出現的次數越多，就越有可能構成一個(gè)詞。因此字與字相鄰共現的頻率或概率能夠較好的反映成詞的可信度?？梢詫φZ(yǔ)料中相鄰共現的各個(gè)字的組合的頻度進(jìn)行統計，計算它們的互現信息。定義兩個(gè)字的互現信息，計算兩個(gè)漢字X、Y的相鄰共現概率?；ガF信息體現了漢字之間結合關(guān)系的緊密程度。當緊密程度高于某一個(gè)閾值時(shí)，便可認為此字組可能構成了一個(gè)詞。這種方法只需對語(yǔ)料中的字組頻度進(jìn)行統計，不需要切分詞典，因而又叫做無(wú)詞典分詞法或統計取詞方法。但這種方法也有一定的局限性，會(huì )經(jīng)常抽出一些共現頻度高、但并不是詞的常用字組，例如“這一”、“之一”、“有的”、“我的”、“許多的”等，并且對常用詞的識別精度差，時(shí)空開(kāi)銷(xiāo)大。實(shí)際應用的統計分詞系統都要使用一部基本的分詞詞典(常用詞詞典)進(jìn)行串匹配分詞，同時(shí)使用統計方法識別一些新的詞，即將串頻統計和串匹配結合起來(lái)，既發(fā)揮匹配分詞切分速度快、效率高的特點(diǎn)，又利用了無(wú)詞典分詞結合上下文識別生詞、自動(dòng)消除歧義的優(yōu)點(diǎn)。

那分詞技術(shù)再SEO優(yōu)化中有什么幫助呢?

SEO優(yōu)化過(guò)程中是絕對離不開(kāi)分詞的技術(shù)作為輔助!