ITeye博客

2012 年文章归档

共 124 篇文章

CRF++使用

前段时间写了 中文分词的一些记录 里面提到了CRF的分词方法,近段时间又研究了一下,特把方法写下来,以备忘,另外,李沫南同学优化过CRF++,见: http://www.coreseek.cn/opensource/CRF/ 。我觉得CRF++还有更大的优化空间,以后有时间再搞。 1 下载和安装 CRF的概念,请google,我就不浪费资源啦。官方地址如下:http://crfpp.sourceforge.net/ 我用的是Ubutnu,所以,下载的是源码:http://sourceforge.net/projects/crfpp/files/ 下载 CRF++-0.54.tar.gz 没有…

2012-12-28 11:01 · C++ · shell · NLP

基于libsvm的中文文本分类原型

支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决 小样本 、 非线性 及 高维模式识别 中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的 VC 维理论和结构风险最小 原理基础上的,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度,Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷,以期获得最好的推广能力(或称泛化能力)。SVM理论的学习,请参考 jasper的博客 。 LIBSVM 是台湾大学林智仁(Chih-Jen Lin)博…

2012-12-28 10:21 · ML · DM

文本分类 特征选取之CHI开方检验

前文提到过,除了分类算法以外,为分类文本作处理的特征提取算法也对最终效果有巨大影响,而特征提取算法又分为特征选择和特征抽取两大类,其中特征选择算法有互信息,文档频率,信息增益,开方检验等等十数种,这次先介绍特征选择算法中效果比较好的开方检验方法。 开方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。具体做的时候常常先假设两个变量确实是独立的(行话就叫做“原假设”),然后观察实际值(也可以叫做观察值)与理论值(这个理论值是指“如果两者确实独立”的情况下应该有的值)的偏差程度,如果偏差足够小,我们就认为误差是很自然的样本误差,是测量手段不够精确导致或者偶然发生的,两者确确实…

2012-12-28 10:05 · NLP · DM

python dict sorted

1、 准备知识: 在python里,字典dictionary是内置的数据类型,是个无序的存储结构,每一元素是key-value对: 如:dict = {‘username’:‘password’,‘database’:‘master’},其中‘username’和‘database’是key,而‘password’和‘master’是value,可以通过d[key]获得对应值value的引用,但是不能通过value得到key。 对于dictionnary,需知道以下几点注意事项: dictionary 的 key 是大小写敏感的; 一个dictionary中不能有重复的 key; dicti…

2012-12-26 21:28 · Python

Python Dict用法

python]dictionary方法说明 2007-05-19 23:24 申明 m={}; [python]dictionary方法说明 2007-03-13 18:10 Operation Result Notes len(a) the number of items in a 得到字典中元素的个数 a[k] the item of a with key k 取得键K所对应的值 (1), (10) a[k] =v set a[k] to v 设定键k所对应的值成为v dela[k] remove a[k] from a 从字典中删除键为k的元素 (1) a.clear() remove…

2012-12-26 20:29 · Python

Python 类的定义、继承及使用对象

Python 类的定义、继承及使用对象 作者:保⑩洁 本文转载: http://www.17jo.com/program/python/base/ClassUse.html Python编程中类的概念可以比作是某种类型集合的描述,如“人类”可以被看作一个类,然后用人类这个类定义出每个具体的人——你、我、他等作为其对象。类还拥有属性和功能,属性即类本身的一些特性,如人类有名字、身高和体重等属性,而具体值则会根据每个人的不同;功能则是类所能实现的行为,如人类拥有吃饭、走路和睡觉等功能。具体的形式如下: # 例:类的概念<wbr></wbr> class 人类:<wbr></wbr> 名字 = '…

2012-12-26 20:09 · Python

python class属性

Class 有一些特殊的属性,便于我们获得一些额外的信息。 >>> class Class1(object): """Class1 Doc.""" def __init__(self): self.i = 1234 >>> Class1.__doc__ # 类型帮助信息 'Class1 Doc.' >>> Class1.__name__ # 类型名称 'Class1' >>> Class1.__module__ # 类型所在模块 '__main__' >>> Class1.__bases__ # 类型所继承的基类 (<type 'object'>,) >>> Class1.__dict__ …

2012-12-26 20:08 · Python

QuickFix

本节所用命令的帮助入口: :help quickfix :help :make :help 'makeprg' :help 'errorformat' :help 'switchbuf' :help location-list :help grep :help :vimgrep :help :grep :help starstar-wildcard 以前读武侠小说,看到武林高手们都是从来剑不离手的。使用VIM开发软件项目,你也可以做到这一点,:-) VIM由一个程序员开发,而且为更多的程序所使用,所以在VIM中加强了对软件开发的支持,quickfix模式的引入就是一个例子。所谓quickfi…

2012-12-25 15:10 · VIM

C++ Map Source

/* * ===================================================================================== * * Filename: main.cpp * * Description: * * Version: 1.0 * Created: 2012年12月18日 13时29分04秒 * Revision: none * Compiler: gcc * * Author: YOUR NAME (), * Company: * * ============================================…

2012-12-21 11:39 · Data structure · C++

ReadFromFile

import java.io.*; import java.util.*; class Extractor{ private File PageFile = null; private String Html = null; Extractor(String path) throws IOException { PageFile = new File(path); Html = readFromFile(PageFile, "utf-8"); String Result = new RegularExpression(Html).getResult(); System.out.println…

2012-12-21 11:33 · Java

C++ Map传递参数

map可以被看做是普通变量一样可以直接赋值,同时map也可以看做普通变量一样在函数间以值传递或者以指针传递方式传递。 下面是一个小小的例子: #include <iostream> #include <map> #include <string.h> using namespace std; void translate(map<int,int> temp_map);//map直接作为参数传递 void translate(map<int,int> *pMap);//传递map指针 int main() { map<int,int> map1; map1.insert(map<int,int…

2012-12-20 17:29 · Data structure · C++

C++ Map用法

/************************************************************************ * * Map的特点: 1、存储Key-value对 * 2、支持快速查找,查找的复杂度基本是Log(N) * 3、快速插入,快速删除,快速修改记 * /************************************************************************/ #include <iostream> #include <string> #include <map> using namespace std; …

2012-12-20 17:14 · Data structure · C++

C++ eof()函数陷阱

C++中用eof()检查是否到达文件结尾 分类: C 编程 2007-06-26 11:15 到达文件结尾有两种可能的解释: 一是当程序从一个文件读取数据时,在程序读取文件中的最后一项之后就立即出现文件结束的条件。另一种是只有当程序想越过文件的最后一项进行读取时才出现文件结束的条件。 Ada和Pascal采用第一种解释。在这些语言中,一个从外部文件读取数据的DO循环应该形如(用C++语言来写): do{ if (infile.eof()) break; double amount; infile>>amount; ......} C++,JAVA采用第二种解释,在这些语言中,一个从外部文件读…

2012-12-20 16:49 · C++

ifstream eof()函数

用ifstream的eof(),竟然读到文件最后了,判断eof还为false。网上查找资料后,终于解决这个问题。 参照文件: http://tuhao.blogbus.com/logs/21306687.html 在使用C/C++读文件的时候,一定都使用过eof()这个函数来判断文件是否为空或者是否读到文件结尾了,也会在使用 这个函数的过程中遇到一些问题,如不能准确的判断是否为空或者是否到了文件尾,以至于有些人可能还会怀疑这个函数是不是本身在设计上就有问题。 先来看看如下这段代码: #include<iostream> #include<fstream> using namespace st…

2012-12-18 17:39 · C++

Linux输入不同颜色字体

echo -e "\033[32;49;1m [DONE] \033[39;49;0m" 输出结果 :[DONE] 把知识延伸下:(以下转载) ########################### 文本终端的颜色可以使用“ANSI非常规字符序列”来生成。举例: echo -e "\033[44;37;5m ME \033[0m COOL" 以上命令设置背景成为蓝色,前景白色,闪烁光标,输出字符“ME”,然后重新设置屏幕到缺省设置,输出字符 “COOL”。“e”是命令 echo 的一个可选项,它用于激活特殊字符的解析器。“\033”引导非常规字符序列。“m”意味着设置属性然后结束非常规字符序…

2012-12-18 15:34 · Linux · shell

C++ File IO

在C++中如何实现文件的读写? 作者: infobillows 发表日期: 2007-04-03 21:33 点击数: 465 一、ASCII 输出 为了使用下面的方法, 你必须包含头文件<fstream.h>(译者注:在标准C++中,已经使用<fstream>取代< fstream.h>,所有的C++标准头文件都是无后缀的。)。这是 <iostream.h>的一个扩展集, 提供有缓冲的文件输入输出操作. 事实上, <iostream.h> 已经被<fstream.h>包含了, 所以你不必包含所有这两个文件, 如果你想显式包含他们,那随便你。我们从文件操作类的设计开始, 我会讲解如何进行AS…

2012-12-18 14:50 · C++

c++ clang_complete

前一段时间发现了clang complete,发现效果很好(广告一下:D).所以推荐一下.clang complete是llvm/clang带来的额外功能.clang complete是靠编译C++文件,应该是获得抽象语法树,进而进行补全的.所以,补全效果非常好,非常准确.但是,也有可能会比较慢. OK,有兴趣的多去Google一下 llvm/clang ,关注一下llvm/clang这些个项目.顺便关注一下 clang_complete ,这些项目更新的都很快. clang complete有两种补全,一种是用clang(exec)编译代码进行补全,另外一种是用libclang,后一种依赖…

2012-12-17 17:01 · VIM · C++

logminer

前两天发现评论表的在指定时间以前的数据都被删除,领导要知道是谁干的,但用户通过应用程序 删除也无法查到具体的人,因为数据库只记录和他直接相连的应用程序的信息,无法定位到客户端 的信息,但像我遇到的这样的情况,可能性大的就是个别人通过自己的pc机操作数据库,这时我们 就要靠oracle的logminer工具来分析日志了,下面我就来一起体验下logminer的威力吧,呵呵 步骤 1.数据库的supplemental的状态调整 2.创建数据库级别的触发器,用以记录客户的登录信息 3.安装logminer 4.创建logminer数据字典(如果没有创建数据自己,而是在线分析,看见的不是原始sql,而…

2012-11-26 17:05 · DB · DM

解决UnicodeEncodeError: 'ascii' codec can't encode

#coding = GBK #coding = utf-8 解决UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3问题 转自: http://cooler1217.iteye.com/blog/1465335 异常: 'ascii' codec can't encode characters 字符集的问题,在文件前加两句话: reload(sys) sys.setdefaultencoding( "utf-8" ) 完美解决,ok 领 当字符串里有 \n、\t、\r时,json.loads()失效…

2012-11-22 16:48 · Python

python for

本文讲述了 Python for 循环。for 循环用于迭代 Python 集合中的项目,集合包括前面的 “探索 Python” 文章中讨论的 Python tuple、string 和 list 容器类型。通过使用 range(或 xrange)方法,for 循环还可用于访问某个container 类型中的元素。另外,还可以使用 range 方法在 for 循环内对一组语句执行特定次数。 for 循环 本系列前面 “探索 Python,第 5 部分:用 Python 编程” 一文讨论了 if 语句和 while 循环,讨论了复合语句以及适当缩进 Python 语句来指示相关 Python …

2012-11-20 19:35 · Python