标签归档:Python爬虫

Python使用Scrapy框架爬虫示例

首先安装Scrapy框架,python最好使用2.7.x的版本,貌似还不支持3.x,然后最好不要用64位的,主要是你会发现Python的第三方库很难找到64位的,篼雨现在就是,然后也比较难,省的换,所以最好还是一开始的时候做好准备,那肯定有人好奇为什么,有urllib2,request,pycurl等还要搞scrapy,主要是可以自定义爬取规则,http错误处理,XPath,RPC,Pipeline机制等,那下面是windows7环境下下安装Scrapy! 继续阅读

python实现简单爬虫功能

    最近流行用Python写SEO工具,现在互联网上也有很多Python的培训、相当地火爆,今天给大家粗略写下一些模块如urllib和pycurl以及requests、tornado下编写Spider的代码,pycurl、requests、tornado是是第三方库,需安装Python的自身环境后再去百度下个模块安装即可! 继续阅读