Python
共 42 篇文章
python编码问题总结
http://www.xprogrammer.com/1258.html 最近利用python抓取一些网上的数据,遇到了编码的问题。非常头痛,总结一下用到的解决方案。 linux中vim下查看文件编码的命令 set fileencoding python中一个强力的编码检测包 chardet ,使用方法非常简单。linux下利用pip install chardet实现简单安装 import chardet f = open('file','r') fencoding=chardet.detect(f.read()) print fencoding fencoding输出格式 {‘confi…
2014-02-16 19:55 · Python
Windows下打印utf-8文件
估计入门时都会遇到的。我是在windows下用的Python25自带的IDLE编辑运行的,发现运行脚本得出的结果有一些中文显示是乱码,但有一些是 正常的。百思不得其解。首先查看了一下源文件的编码格式,是UTF-8。经过搜索再搜索,调试再调试,也换了几个编译器,发现比IDLE还糟糕(可能需要 进行encode设置)。问题终于解决了,一共花了俺将近5个小时,写在这里,希望遇到问题的人能搜索到这里,不再重犯。 乱码原因: 因为你的文件声明为utf-8,并且也应该是用utf-8的编码保存的源文件。但是windows的本地默认编码是cp936,也就是gbk编码,所以在控制台 直接打印utf-8的字符串…
使用python 提取html文件中的特定数据
python提供了SGMLParser类用于html文件的解析。用户只需从SGMLParser类继承子类,并在子类中对html文件做具体处理。 例如 具有如下结构的html文件 [html] view plain copy <divclass='entry-content'> <p>感兴趣内容1</p> <p>感兴趣内容2</p> …… <p>感兴趣内容n</p> </div> <divclass='content'> <p>内容1</p> <p>内容2</p> …… <p>内容n</p> </div> 我们尝试获得'感兴趣内容' 对于文本内容,我们保存到IDList中。 可是如何标记我们遇…
排序Python
一、字典排序 在程序中使用字典进行数据信息统计时,由于字典是无序的所以打印字典时内容也是无序的。因此,为了使统计得到的结果更方便查看需要进行排序。Python中字典的排序分为按“键”排序和按“值”排序。 1、按“值”排序 按“值”排序就是根据字典的值进行排序,可以使用内置的sorted()函数。 sorted(iterable[, cmp[, key[, reverse]]]) (1)iterable:是可迭代类型类型; (2)cmp:用于比较的函数,比较什么由key决定,有默认值,迭代集合中的一项; (3)key:用列表元素的某个属性和函数进行作为关键字,有默认值,迭代集合中的一项; (4…
2013-06-20 14:37 · Python
lambda sort
dic = {'a':31, 'bc':5, 'c':3, 'asd':4, '33':56, 'd':0} 想把dic的value按照从大到小排序(value都是整数)。 写法如下:sorted(dic.iteritems(), key=lambda d:d[1], reverse = False ) 呵呵,看了是不是觉得有点晕?没关系。慢慢来。 先看lambda函数是什么意思? >>> f=lambda x:x+1 >>> f(2) 3 很简单了,x是参数,x+1是函数返回值。 那dic.iteritems()是什么?在sorted函数里又是怎么和lambda发生关系的呢?看我的调试代码…
2013-01-17 11:46 · Python
lambda dict sort
dic = {'a' : 31, 'b' : 5, 'c' : 3, 'd' : 4, '33' : 56, 'd' : 0} 想把dic的value按照从大到小排序(value都是整数)。 写法如下:sorted(dic.iteritems(), key=lambda d:d[1], reverse = False ) 呵呵,看了是不是觉得有点晕?没关系。慢慢来。 先看lambda函数是什么意思? >>> f=lambda x:x+1 >>> f(2) 3 很简单了,x是参数,x+1是函数返回值。 那dic.iteritems()是什么?在sorted函数里又是怎么和lambda发生关系的…
2013-01-17 11:45 · Python
bisect
from bisect import bisect_left a = ['liu', 'yuan', 'is', 'a', 'chinese'] bisect_left(a, 'is') 此模块可以查找已知的element在序列中的index(从左向右找出第一个) Python Doc http://docs.python.org/release/2.5/lib/module-bisect.html <nobr><strong><tt id="l2h-746" class="function" style="font-family:'lucida typewriter',lucidatype…
2013-01-11 16:30 · Python
python set使用
转载自:http://hi.baidu.com/����_xu/blog/item/5b9650c513bd3f049d163d8b<wbr style="line-height:21px; font-size:14px; font-family:simsun; color:rgb(70,70,70)"><span style="line-height:21px; font-size:14px; font-family:simsun; color:rgb(70,70,70)">.html</span><wbr style="line-height:21px; font-size:14px; …
2013-01-09 13:44 · Python
utf-8读文件
for line in f: vec = line.split("\t") line = vec[0] target = int(vec[1]) y.append(target) wordList = self.segmenter.Split(line.decode("utf-8"))
2013-01-09 13:34 · Python
PyMining
PyMining-开源中文文本数据挖掘平台 Ver 0.1发布 项目首页: http://code.google.com/p/python-data-mining-platform/ (可能需) 目前已经在该googlecode中加入了Tutorial等内容,可以在wiki中查看 项目介绍(复制自项目首页的说明): 这是一个能够根据源数据(比如说用csv格式表示的矩阵,或者中文文档)使用多种多样的算法去得到结果的一个平台。 算法能够通过xml配置文件去一个一个的运行,比如在开始的时候,我们可以先运行一下主成分分析算法去做特种选择,然后我们再运行随机森林算法来做分类。 目前算法主要是针对那些单…
python No-ASCII character ,编码错误
python出现Non-ASCII character '\xe7' in file ex6.py on line 1, but no encoding declare错误 python中出现Non-ASCII character '\xe7' in file ex6.py on line 1, but no encoding declare的错误 可按照错误建议网址查看http://www.python.org/peps/pep-0263.html 发现是因为Python在默认状态下不支持源文件中的编码所致。解决方案有如下三种: 一、在文件头部添加如下注释码: # coding=<enco…
2013-01-09 10:39 · Python
python dict sorted
1、 准备知识: 在python里,字典dictionary是内置的数据类型,是个无序的存储结构,每一元素是key-value对: 如:dict = {‘username’:‘password’,‘database’:‘master’},其中‘username’和‘database’是key,而‘password’和‘master’是value,可以通过d[key]获得对应值value的引用,但是不能通过value得到key。 对于dictionnary,需知道以下几点注意事项: dictionary 的 key 是大小写敏感的; 一个dictionary中不能有重复的 key; dicti…
2012-12-26 21:28 · Python
Python Dict用法
python]dictionary方法说明 2007-05-19 23:24 申明 m={}; [python]dictionary方法说明 2007-03-13 18:10 Operation Result Notes len(a) the number of items in a 得到字典中元素的个数 a[k] the item of a with key k 取得键K所对应的值 (1), (10) a[k] =v set a[k] to v 设定键k所对应的值成为v dela[k] remove a[k] from a 从字典中删除键为k的元素 (1) a.clear() remove…
2012-12-26 20:29 · Python
Python 类的定义、继承及使用对象
Python 类的定义、继承及使用对象 作者:保⑩洁 本文转载: http://www.17jo.com/program/python/base/ClassUse.html Python编程中类的概念可以比作是某种类型集合的描述,如“人类”可以被看作一个类,然后用人类这个类定义出每个具体的人——你、我、他等作为其对象。类还拥有属性和功能,属性即类本身的一些特性,如人类有名字、身高和体重等属性,而具体值则会根据每个人的不同;功能则是类所能实现的行为,如人类拥有吃饭、走路和睡觉等功能。具体的形式如下: # 例:类的概念<wbr></wbr> class 人类:<wbr></wbr> 名字 = '…
2012-12-26 20:09 · Python
python class属性
Class 有一些特殊的属性,便于我们获得一些额外的信息。 >>> class Class1(object): """Class1 Doc.""" def __init__(self): self.i = 1234 >>> Class1.__doc__ # 类型帮助信息 'Class1 Doc.' >>> Class1.__name__ # 类型名称 'Class1' >>> Class1.__module__ # 类型所在模块 '__main__' >>> Class1.__bases__ # 类型所继承的基类 (<type 'object'>,) >>> Class1.__dict__ …
2012-12-26 20:08 · Python
解决UnicodeEncodeError: 'ascii' codec can't encode
#coding = GBK #coding = utf-8 解决UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3问题 转自: http://cooler1217.iteye.com/blog/1465335 异常: 'ascii' codec can't encode characters 字符集的问题,在文件前加两句话: reload(sys) sys.setdefaultencoding( "utf-8" ) 完美解决,ok 领 当字符串里有 \n、\t、\r时,json.loads()失效…
2012-11-22 16:48 · Python
python for
本文讲述了 Python for 循环。for 循环用于迭代 Python 集合中的项目,集合包括前面的 “探索 Python” 文章中讨论的 Python tuple、string 和 list 容器类型。通过使用 range(或 xrange)方法,for 循环还可用于访问某个container 类型中的元素。另外,还可以使用 range 方法在 for 循环内对一组语句执行特定次数。 for 循环 本系列前面 “探索 Python,第 5 部分:用 Python 编程” 一文讨论了 if 语句和 while 循环,讨论了复合语句以及适当缩进 Python 语句来指示相关 Python …
2012-11-20 19:35 · Python
Python list 操作
创建列表 sample_list = ['a',1,('a','b')] Python 列表操作 sample_list = ['a','b',0,1,3] 得到列表中的某一个值 value_start = sample_list[0] end_value = sample_list[-1] 删除列表的第一个值 del sample_list[0] 在列表中插入一个值 sample_list[0:0] = ['sample value'] 得到列表的长度 list_length = len(sample_list) 列表遍历 for element in sample_list: print…
2012-11-08 22:11 · Python
python中dict和list排序
1、list排序 列表的排序是python内置功能,自身含有sort方法 如: >>> s=[2,1,3,0] >>> s.sort() [0, 1, 2, 3] 2、dict排序 对字典的排序,因为每一个项包括一个键值对,所以要选择可比较的键或值进行排序 sorted(iterable[, cmp[, key[, reverse]]] cmp和key一般使用lambda 如: >>> d={"ok":1,"no":2} 对字典按键排序,用元组列表的形式返回 >>> sorted(d.items, key=lambda d:d[0]) [('no', 2), ('ok', 1)] 对字典按值…
2012-11-08 22:11 · Python
Linux下Python基础调试
当手边没有IDE,面对着python调试犯愁时,你就可以参考下本文;(pdb 命令调试) 参考:http://docs.python.org/library/pdb.html和 (pdb)help 首先你选择运行的 py python -m pdb myscript.py (Pdb) 会自动停在第一行,等待调试,这时你可以看看 帮助 (Pdb) h 说明下这几个关键 命令 >断点设置 (Pdb)b 10 #断点设置在本py的第10行 或(Pdb)b ots.py:20 #断点设置到 ots.py第20行 删除断点(Pdb)b #查看断点编号 (Pdb)cl 2 #删除第2个断点 >运行 (P…