作者归档:Bigway

Fiddler的安装和使用

Fiddler是Windows下的一个网络调试工具,可以在浏览器和网站服务器之间建立一个代理。浏览器和网站之间的所有数据交换都会经过Fiddler,因此使用Fiddler可以对网络数据进行抓包,从而分析数据的格式和内容。 继续阅读

Python多线程爬虫

多线程爬虫介绍
我们之前所讲到的爬虫,都只有一个进程一个线程,我们称之为单线程爬虫。单线程爬虫每次只访问一个页面,不能充分利用电脑的网络带宽。一个页面最多也就几百KB,所以爬虫在爬取一个页面的时候,多出来的网速就浪费掉了。 继续阅读

百度咋做长文本去重

缘起:
(1)原创不易,互联网抄袭成风,很多原创内容在网上被抄来抄去,改来改去
(2)百度的网页库非常大,爬虫如何判断一个新网页是否与网页库中已有的网页重复呢?
这是本文要讨论的问题(尽量用大家都能立刻明白的语言和示例表述)。 继续阅读

[干货]新产品利用AMZHelper获取reviewer

很多新手做亚马逊一直很困惑,amazon到底怎么做才会出单。那么我们从本质上来分析出单的一些因素:
出单量=点击量 x 转化率
点击量的因素:展示量,图片吸引度,价格吸引度,
转化率的因素:价格吸引度,Listing的吸引度,Review的评分数。
展示量的因素:搜索排名,点击率,转化率,其它流量入口
继续阅读