Python使用Scrapy框架爬虫示例

首先安装Scrapy框架,python最好使用2.7.x的版本,貌似还不支持3.x,然后最好不要用64位的,主要是你会发现Python的第三方库很难找到64位的,篼雨现在就是,然后也比较难,省的换,所以最好还是一开始的时候做好准备,那肯定有人好奇为什么,有urllib2,request,pycurl等还要搞scrapy,主要是可以自定义爬取规则,http错误处理,XPath,RPC,Pipeline机制等,那下面是windows7环境下下安装Scrapy!

Read morePython使用Scrapy框架爬虫示例