由于 需求原因,需要匹配 提取中文,大量google下,并没有我需要的。花了一个小时大概测试,此utf8中文通过,特留文。
参考: http://hi.baidu.com/nivrrex/blog/item/e6ccaf511d0926888d543071.html
http://topic.csdn.net/u/20070404/15/b011aa83-f9b7-43b3-bbff-bfe4f653df03.html
首先,确保所有编码都为 unicode
比如 str.decode('utf8') #从utf8文本中
u"啊l" #在控制台输出中
(罗嗦下)本想使用参考一定编码 Hex 但郁闷的是 这每个字好像占2个位置,使用正则匹配无果。
其次,确定中文范围 :[\u4e00-\u9fa5]
(这里注意下 python 的re写的时候) 要u"[\u4e00-\u9fa5]" #确定正则表达式也是 unicode 的
def filter(string):
string = 'avb测试123<>《》!*(^)$%~!@#$…&%¥—+=、。,;‘’“”:·`文本';
string = string.decode("utf-8")
filtrate = re.compile(u'[^\u4E00-\u9FA5]')#非中文
filtered_str = filtrate.sub(r' ', string)#replace
print filtered_str
return 'te'
demo :
>>>printre.match(ur"[\u4e00-\u9fa5]+","啊")
None
>>>printre.match(ur"[\u4e00-\u9fa5]+",u"啊")
<_sre.SRE_Matchobjectat0x2a98981308>
>>>printre.match(ur"[\u4e00-\u9fa5]+",u"t")
None
>>>printtt
现在才明白
>>>tt
'\xe7\x8e\xb0\xe5\x9c\xa8\xe6\x89\x8d\xe6\x98\x8e\xe7\x99\xbd'
>>>printre.match(r"[\u4e00-\u9fa5]",tt.decode('utf8'))
None
>>>printre.match(ur"[\u4e00-\u9fa5]",tt.decode('utf8'))
<_sre.SRE_Matchobjectat0x2a955d9c60>
>>>printre.match(ur".*["u4e00-"u9fa5]+",u"hi,匹配到了")
<_sre.SRE_Matchobjectat0x2a955d9c60>
>>>printre.match(ur".*["u4e00-"u9fa5]+",u"hi,nono")
None
None
>>>printre.match(ur"[\u4e00-\u9fa5]+",u"啊")
<_sre.SRE_Matchobjectat0x2a98981308>
>>>printre.match(ur"[\u4e00-\u9fa5]+",u"t")
None
>>>printtt
现在才明白
>>>tt
'\xe7\x8e\xb0\xe5\x9c\xa8\xe6\x89\x8d\xe6\x98\x8e\xe7\x99\xbd'
>>>printre.match(r"[\u4e00-\u9fa5]",tt.decode('utf8'))
None
>>>printre.match(ur"[\u4e00-\u9fa5]",tt.decode('utf8'))
<_sre.SRE_Matchobjectat0x2a955d9c60>
>>>printre.match(ur".*["u4e00-"u9fa5]+",u"hi,匹配到了")
<_sre.SRE_Matchobjectat0x2a955d9c60>
>>>printre.match(ur".*["u4e00-"u9fa5]+",u"hi,nono")
None
其他 扩充 范围 (转)
这里是几个主要非英文语系字符范围(google上找到的):
2E80~33FFh:中日韩符号区。收容康熙字典部首、中日韩辅助部首、注音符号、日本假名、韩文音符,中日韩的符号、标点、带圈或带括符文数字、月份,以及日本的假名组合、单位、年号、月份、日期、时间等。
3400~4DFFh:中日韩认同表意文字扩充A区,总计收容6,582个中日韩汉字。
4E00~9FFFh:中日韩认同表意文字区,总计收容20,902个中日韩汉字。
A000~A4FFh:彝族文字区,收容中国南方彝族文字和字根。
AC00~D7FFh:韩文拼音组合字区,收容以韩文音符拼成的文字。
F900~FAFFh:中日韩兼容表意文字区,总计收容302个中日韩汉字。
FB00~FFFDh:文字表现形式区,收容组合拉丁文字、希伯来文、阿拉伯文、中日韩直式标点、小符号、半角符号、全角符号等。
比如需要匹配所有中日韩非符号字符,那么正则表达式应该是^[\u3400-\u9FFF]+$
理论上没错,可是我到msn.co.ko随便复制了个韩文下来,发现根本不对,诡异
再到msn.co.jp复制了个’お’,也不得行..
然后把范围扩大到^[\u2E80-\u9FFF]+$,这样倒是都通过了,这个应该就是匹配中日韩文字的正则表达式了,包括我們臺灣省還在盲目使用的繁體中文
而关于中文的正则表达式,应该是^[\u4E00-\u9FFF]+$,和论坛里常被人提起的^[\u4E00-\u9FA5]+$很接近
需要注意的是论坛里说的^[\u4E00-\u9FA5]+$这是专门用于匹配简体中文的正则表达式,实际上繁体字也在里面,我用测试器测试了下’中華人民共和國’,也通过了,当然,^[\u4E00-\u9FFF]
2E80~33FFh:中日韩符号区。收容康熙字典部首、中日韩辅助部首、注音符号、日本假名、韩文音符,中日韩的符号、标点、带圈或带括符文数字、月份,以及日本的假名组合、单位、年号、月份、日期、时间等。
3400~4DFFh:中日韩认同表意文字扩充A区,总计收容6,582个中日韩汉字。
4E00~9FFFh:中日韩认同表意文字区,总计收容20,902个中日韩汉字。
A000~A4FFh:彝族文字区,收容中国南方彝族文字和字根。
AC00~D7FFh:韩文拼音组合字区,收容以韩文音符拼成的文字。
F900~FAFFh:中日韩兼容表意文字区,总计收容302个中日韩汉字。
FB00~FFFDh:文字表现形式区,收容组合拉丁文字、希伯来文、阿拉伯文、中日韩直式标点、小符号、半角符号、全角符号等。
比如需要匹配所有中日韩非符号字符,那么正则表达式应该是^[\u3400-\u9FFF]+$
理论上没错,可是我到msn.co.ko随便复制了个韩文下来,发现根本不对,诡异
再到msn.co.jp复制了个’お’,也不得行..
然后把范围扩大到^[\u2E80-\u9FFF]+$,这样倒是都通过了,这个应该就是匹配中日韩文字的正则表达式了,包括我們臺灣省還在盲目使用的繁體中文
而关于中文的正则表达式,应该是^[\u4E00-\u9FFF]+$,和论坛里常被人提起的^[\u4E00-\u9FA5]+$很接近
需要注意的是论坛里说的^[\u4E00-\u9FA5]+$这是专门用于匹配简体中文的正则表达式,实际上繁体字也在里面,我用测试器测试了下’中華人民共和國’,也通过了,当然,^[\u4E00-\u9FFF]
相关推荐
正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。接下来通过本文给大家介绍Python匹配中文的正则表达式,感兴趣的朋友一起学习吧
用 ‘[\u4e00-\u9fa5]‘ 匹配中文 在字符串中匹配中文 示例: 匹配字符串中的第一个中文字符 匹配字符串中的第一个连续的中文片段 匹配字符串中的所有中文字符 注:要确保正则字符和匹配文本是 unicode 范围内的...
主要介绍了Python使用中文正则表达式匹配指定中文字符串的方法,结合实例形式分析了Python正则匹配及字符编码相关操作技巧,需要的朋友可以参考下
mingpipe是中文名称的名称匹配器。 它采用两个名称,并预测它们是否可以引用相同的实体(人,组织或位置)。 例如:佛罗伦萨翡冷翠true mingpipe实现了几种类型的名称匹配算法。 最好的是基于训练有素的监督分类...
主要介绍了使用Python完成公司名称和地址的模糊匹配的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
python 双向最大匹配算法 双向最大匹配算法 双向最大匹配算法
今天小编就为大家分享一篇对python 匹配字符串开头和结尾的方法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
中文分词程序Python版,算法是正向最大匹配 效果不错,亲自编写的
昨天碰到的,如果键是中文,如何进行匹配呢,先看文本内容: 这是字典里两个元素的内容,编码是utf-8,中文内容 运行代码如下 # -*- coding: utf-8 -*- rate1 = open('takeOffTime_date.txt', 'r') dic = dict()...
本文实例讲述了Python正则表达式匹配中文用法。分享给大家供大家参考,具体如下: #!/usr/bin/python #-*- coding:cp936-*-#思路,将str转换成unicode,方可用正则表达式,前提是,要知道文件的编码,本例中是gbk ...
HTMLTestRunner美化中文版本,支持python3.X。 文件如何用? 将想要使用的文件放到 python安装路径的 Lib 目录下即可 在脚本中如何引用? 原生版本的: from HTMLTestRunner import HTMLTestRunner 美化英文版的...
分别使用了正向最大匹配算法和KNN算法。分词速度平均153295词/秒,189100字符/秒。文本分类使用tf-idf计算单词权重进行特征选择,我测试时选择前100个特征词,根据k的不同取值,分类的准确度平均为75%。
下面这篇文章主要给大家介绍了关于python中文分词教程之前向最大正向匹配算法的相关资料,需要的朋友可以参考下。 前言 大家都知道,英文的分词由于单词间是以空格进行分隔的,所以分词要相对的容易些,而中文就不同...
10.5. 字符串正则匹配 10.6. 数学 10.7. 互联网访问 10.8. 日期和时间 10.9. 数据压缩 10.10. 性能度量 10.11. 质量控制 10.12. “瑞士军刀” 11. 标准库浏览 – Part II 11.1. 输出格式 11.2. 模板 11.3. 使用二...
2.使用jieba进行中文分词 3.了解TF-IDF模型 环境: Python 3.6.0 |Anaconda 4.3.1 (64-bit) 工具: jupyter notebook 注:为了简化问题,本文没有剔除停用词“stop-word”。实际应用中应该要剔除停用词。 首先引入...
中文分词是中文文本处理的一个基础性工作,然而长久以来,在Python编程领域,一直缺少高准确率、高...下面这篇文章主要给大家介绍了关于python中文分词教程之前向最大正向匹配算法的相关资料,需要的朋友可以参考下。
目前找到的资源都是计算mer和cer。mer指英文按单词匹配错误率,cer指英文按字匹配错误率。我将二者计算方法结合,实现英文按词匹配,中文按字匹配。