分类目录归档:Python

python与seo_python教程_数据挖掘_数据采集python爬虫_数据整理_数据分析_SEO站长工具等。

Python用post方法登陆知乎

在以往的文章中,我们主要使用了requests的get方法来直接获取网页的内容。支持GET方法的网页,接受我们的URL, 从URL里面取出参数,然后再将结果返回给浏览器。由于URL的长度是有限制的,所以只能接收少量的参数。而支持POST方法的网页,可以传递大量的参数和大量的信息。如果一个网页只支持POST方法,那这个网页是没有办法在浏览器里面直接输入网址访问的。requests的post方法支持将参数以POST方式提交给网页,并得到网页的返回信息。 继续阅读

Selenium安装与使用

1. Selenium 介绍

有时候,网站动态加载的内容经过加密后,我们是无法看懂密文的,但是JavaScript可以看懂,所以如果能一行一行读JavaScript代码,理论上可以读取任何动态加载的页面内容。但问题是大型网站的JavaScript动辄上万行,还经过混淆,肉眼去读几乎不可完成。 继续阅读

Python多线程鸡年不鸡肋

当初在刚学习python多线程时,上网搜索资料几乎都是一片倒的反应python没有真正意义上的多线程,python多线程就是鸡肋。当时不明所以,只是了解到python带有GIL解释器锁的概念,同一时刻只能有一个线程在运行,遇到IO操作才会释放切换。那么,python多线程是否真的很鸡肋呢?要解决这个疑惑,我想必须亲自动手测试。 继续阅读

Python多线程爬虫

多线程爬虫介绍
我们之前所讲到的爬虫,都只有一个进程一个线程,我们称之为单线程爬虫。单线程爬虫每次只访问一个页面,不能充分利用电脑的网络带宽。一个页面最多也就几百KB,所以爬虫在爬取一个页面的时候,多出来的网速就浪费掉了。 继续阅读