标签归档:Python爬虫

Python使用Scrapy框架爬虫示例

首先安装Scrapy框架,python最好使用2.7.x的版本,貌似还不支持3.x,然后最好不要用64位的,主要是你会发现Python的第三方库很难找到64位的,篼雨现在就是,然后也比较难,省的换,所以最好还是一开始的时候做好准备,那肯定有人好奇为什么,有urllib2,request,pycurl等还要搞scrapy,主要是可以自定义爬取规则,http错误处理,XPath,RPC,Pipeline机制等,那下面是windows7环境下下安装Scrapy! 继续阅读

Python下用urllib与pycurl编写Spider

听说最近很流行用Python写SEO工具,现在互联网上也有很多Python的培训、相当地火爆,今天篼雨给大家粗略写下两个模块urllib和pycurl下编写Spider的代码,pycurl是是第三方库,需安装Python的自身环境后再去百度下个pycurl安装即可!学习Python编程一开建议从互联网上下载一些视频观看,看书并不是每个新人都能看懂,做SEO的话可以重点偏向网络应用编程这一块,学会之后思路就会上个台阶了!老板也开始担心你要跳槽了,哈哈,开个玩笑!请尝试下面的代码,你动手就赢了不少人了! 继续阅读