python做的好的分词应该就是结巴分词了,不但速度快,还可以自定义词库,对于SE来说一般应用于词库的维护,比如,通过分词后可以根据词性去除掉停词,再根据TF-IDF过滤高频词(没用的),还得做一些拼错的,多种称呼其实一样的的等也得做一下分类。最后就是关键词分类了,分类我是人工的,太失败了是吧,见笑,像我连阿里巴巴国际站也做,我这个行业的关键词的分类还好,特征比较明显,主要可能是英文的关系吧,不过还是有很多遗漏。下面是篼雨python的结巴分词代码:
运行结果如下:
然后还是放一下文本代码:复制有误就直接敲一下代码吧!
#-*-coding:utf-8-*- import sys import jieba import jieba.analyse reload(sys) sys.setdefaultencoding("utf-8") def fenci(a): for line in a: url=line.rstrip() #rstrip() 删除 string 字符串末尾的指定字符(默认为空格) jiegou=jieba.analyse.extract_tags(url,3) #提取关键词 n=','.join(jiegou) #生成字符串 op_word_txt.write(n+'\n') print u'写入成功' if __name__ == '__main__': a=open('daifenci.txt','r') op_word_txt=open('top_fenci.txt','a') fenci(a)
小弟非科班出生,如有什么错误,请指点,另篼雨的博客之后会继续慢慢更新一些SEO相关小脚本!Thank you!
希望你的博客如这个夏天一样火热。