Python下用urllib与pycurl编写Spider

听说最近很流行用Python写SEO工具,现在互联网上也有很多Python的培训、相当地火爆,今天篼雨给大家粗略写下两个模块urllib和pycurl下编写Spider的代码,pycurl是是第三方库,需安装Python的自身环境后再去百度下个pycurl安装即可!学习Python编程一开建议从互联网上下载一些视频观看,看书并不是每个新人都能看懂,做SEO的话可以重点偏向网络应用编程这一块,学会之后思路就会上个台阶了!老板也开始担心你要跳槽了,哈哈,开个玩笑!请尝试下面的代码,你动手就赢了不少人了!
urllib库spider代码如下:

#-*-coding:utf-8-*-
import urllib
url='http://www.baidu.com/'
page=urllib.urlopen(url).read()
print page
</pre>
pycurl库Spider代码如下:
<pre lang="html" line="1" escaped="true" >
#-*-coding:utf-8-*-
import pycurl
import StringIO
url='http://www.baidu.com'
c=pycurl.Curl()
c.setopt(c.URL, url)
b = StringIO.StringIO()
c.setopt(c.WRITEFUNCTION, b.write)
c.setopt(c.FOLLOWLOCATION, 1)
c.setopt(c.HEADER, True)
c.perform()
html=b.getvalue()
print html
b.close()
c.close()

直接复制代码就可以用,是不是写个蜘蛛很简单,do it~
欢迎转载,请保留出处!

Python下用urllib与pycurl编写Spider》上有1条评论

发表评论

电子邮件地址不会被公开。