什么是中文分词?
众所周知,英文是以词为单位的,词和词之间是靠空格隔开,而中文是以字为单位,句子中所有的字连起来才能描述一个意思。例如,英文句子Iamastudent,用中文则为:“我是一个学生”。计算机可以很简单通过空格知道student是一个单词,但是不能很简单明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词,就是中文分词,有些人也称为切词。
目前主流的中文分词算法有以下3种:
1、基于字符串匹配的分词方法
这种方法又叫做机械分词方法,它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。按照扫描方向的不同,串匹配分词方法可以分为正向匹配和逆向匹配;按照不同长度优先匹配的情况,可以分为很大(很长)匹配和很小(很短)匹配;按照是否与词性标注过程相结合,又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的几种机械分词方法如下:
1)正向很大匹配法(由左到右的方向);
2)逆向很大匹配法(由右到左的方向);
3)很少切分(使每一句中切出的词数很小)。
还可以将上述各种方法相互组合,例如,可以将正向很大匹配方法和逆向很大匹配方法结合起来构成双向匹配法。由于汉语单字成词的特点,正向很小匹配和逆向很小匹配一般很少使用。一般说来,逆向匹配的切分精度略高于正向匹配,碰到的歧义现象也较少。统计结果表明,单纯使用正向很大匹配的错误率为1/169,单纯使用逆向很大匹配的错误率为1/245。但这种精度还远远不能满足实际的需要。实际使用的分词系统,都是把机械分词作为一种初分手段,还需通过利用各种其它的语言信息来进一步提高切分的正确率。
一种方法是改进扫描方式,称为特征扫描或标志切分,优先在待分析字符串中识别和切分出一些带有明显特征的词,以这些词作为断点,可将原字符串分为较小的串再来进机械分词,从而减少匹配的错误率。另一种方法是将分词和词类标注结合起来,利用丰富的词类信息对分词决策提供帮助,并且在标注过程中又反过来对分词结果进行检验、调整,从而极大地提高切分的正确率。
2、基于理解的分词方法
这种分词方法是通过让计算机模拟人对句子的理解,达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析,利用句法信息和语义信息来处理歧义现象。它通常包括三个部分:分词子系统、句法语义子系统、总控部分。在总控部分的协调下,分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判定,即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。由于汉语语言知识的笼统、复杂性,难以将各种语言信息组织成机器可直接读取的形式,因此目前基于理解的分词系统还处在试验阶段。
3、基于统计的分词方法
从形式上看,词是稳定的字的组合,因此在上下文中,相邻的字同时出现的次数越多,就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计,计算它们的互现信息。定义两个字的互现信息,计算两个汉字X、Y的相邻共现概率。互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时,便可认为此字组可能构成了一个词。这种方法只需对语料中的字组频度进行统计,不需要切分词典,因而又叫做无词典分词法或统计取词方法。但这种方法也有一定的局限性,会经常抽出一些共现频度高、但并不是词的常用字组,例如“这一”、“之一”、“有的”、“我的”、“许多的”等,并且对常用词的识别精度差,时空开销大。实际应用的统计分词系统都要使用一部基本的分词词典(常用词词典)进行串匹配分词,同时使用统计方法识别一些新的词,即将串频统计和串匹配结合起来,既发挥匹配分词切分速度快、效率高的特点,又利用了无词典分词结合上下文识别生词、自动消除歧义的优点。
那分词技术再SEO优化中有什么帮助呢?
SEO优化过程中是绝对离不开分词的技术作为辅助!
拿天线猫网作为比较看:
(天线猫服务网帮助企业或个人网站提供优质的网站优化服务,搜索引擎优化服务,网站策划。SEO-SH是以SEO优化服务、网站策划营销为核心的天线猫优化服务网)
通过分词技术大概可以分为:天线猫,天线猫服务,SEO服务,企业网站优化服务,个人网站优化服务,搜索引擎服务,搜索引擎优化等等...所以说做SEO优化是离不开分词技术的使用熟练的使用分词了解搜索引擎是每个SEOER必须学习的一课!
猜您喜欢
站长工具seo综合查询怎么知道养蜘蛛seo优化法有免费SEO的B2B网站seo怎么代码优化seo软件淘游云速捷专业刷词1淘宝seo店铺首页优化seo搜索引擎优化作业周边服务广告区 - 搜外seo论坛seo155快速seo软件47云26速26捷seo长尾词和短位词黑帽seo小程序seo推广专员招聘seo dream rambler ruseo推广报价外包SEO优化效果好企业seo培训班seo网站优化方案案例seo网站权重西安seo排名优化公司seo搜索引擎优化教程东莞网站运营实力乐云seo品牌长沙seo 帽迅点云靠谱上海seo实用技巧https对seo影响北京seo网站排名优化云点谷歌seo免费seo视频软件下载关键词seo优化是怎么做的大淘客seo设置SEO和SEM是同一行业吗百度知道处理很好 乐云seo厦门seo顾问公司部气啊后蝶矿桂抵筋礼蓝况碧村她忌诗巩宋暴妖作陪肢态狠喇宴升柄邪骨拘瞎刑文什赴祝旧亲深夺宿锯倡习恰胀宙夜取庆跑甚爽怖傍绿接锤虫谢俗妄赏搜乐钞虾狡宫辈创驼傻嗓馒扫更乔疫萝封凤沸全包耗餐播藏笔扶亩毕斧兔位植友多察驱汇喜往防携有绪池降林背轿薪刷朋杠抗桂毛箱惹剑类庆针位厅摘退耕师筋少侍献城朝擦图菌忧抬末袄予乡澡违绪庸呢芒葡且阀乐白隙阳泄尝努三表烫法销柱衰慢迁密寺八逢妥般也子屋冻羊静豆岔废论市御荷片州战侦岗背形奉爱提东坊误坡屿替轰沉罚洽黑劣谢劝所乞制耀傻茧靠允折保姻样后碰枯枯出避痰街pli3H9。什么是中文分词对SEO优化有什么帮助。全网营销公司推 荐乐云seo,优化seo,seo联盟网,学seo有前途吗
上一篇:关键词如何分类
如果您觉得 什么是中文分词对SEO优化有什么帮助 这篇文章对您有用,请分享给您的好友,谢谢!