Python结巴分词

python做的好的分词应该就是结巴分词了,不但速度快,还可以自定义词库,对于SE来说一般应用于词库的维护,比如,通过分词后可以根据词性去除掉停词,再根据TF-IDF过滤高频词(没用的),还得做一些拼错的,多种称呼其实一样的的等也得做一下分类。最后就是关键词分类了,分类我是人工的,太失败了是吧,见笑,像我连阿里巴巴国际站也做,我这个行业的关键词的分类还好,特征比较明显,主要可能是英文的关系吧,不过还是有很多遗漏。下面是篼雨python的结巴分词代码:
结巴分词
运行结果如下:运行结果
然后还是放一下文本代码:复制有误就直接敲一下代码吧!

#-*-coding:utf-8-*-
import sys
import jieba
import jieba.analyse
reload(sys)
sys.setdefaultencoding("utf-8")
def fenci(a):
    for line in a:
        url=line.rstrip()   #rstrip() 删除 string 字符串末尾的指定字符(默认为空格)
        jiegou=jieba.analyse.extract_tags(url,3)  #提取关键词
        n=','.join(jiegou)   #生成字符串
        op_word_txt.write(n+'\n')
        print u'写入成功'

if __name__ == '__main__':
    a=open('daifenci.txt','r')
    op_word_txt=open('top_fenci.txt','a')
    fenci(a)

小弟非科班出生,如有什么错误,请指点,另篼雨的博客之后会继续慢慢更新一些SEO相关小脚本!Thank you!

1 thought on “Python结巴分词”

Leave a Comment