scrapy这个框架使用起来有点累，语法相对其它的一些爬虫模块来说要复杂一点，但scrapy自身相当牛逼，上一篇https://bigwayseo.com/412就说到，不再累赘。这次的脚本呢是批量获取指定域名爱站的外链数据，使用到有scapy框架（最主要），另外正则表达式，xpath也都用上，主要是都用一下，不然脑袋不好使，容易忘，此代码仅供交流学习之用，同时也只是记录一下自己学习scrapy的笔记，学习不易，尤其这方面代码少，看官方，那英文，苦逼青年啊，下面直接上代码：
百度谷歌地址栏参数
百度地址栏参数分析：
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=baidu&wd=%E9%83%91%E5%B7%9ESEO
?：搜索
百度搜索结果页使用了重定向，因此我们看到的不是search.php?这样的url格式
ie：查询输入文字的编码
此项设置会影响搜索参数的编码类型
f：搜索行为判断
8为用户自主搜索，3为下拉框搜索，1为相关搜索。该参数主要用户用户搜索行为记录以及关键词统计
rsv_bp：搜索次数
聊聊营销自己那点事
马云曾说：“25 years old，make enough mistakes！”所以关于这个年纪要学习的、要体会的、要领悟的、要努力的还很多很多、、、比如说作为一个电商运营人员应该所具备的知识和能力等：数据分析能力、产品经理思维、项目管理技巧、对行业的了解、团队的建设等等。又比如说作为一个市场推广人员，如何拓展产品的市场占有率和品牌影响力；如何建立以数据为导向，消费者至上的基础上，挖掘细分市场需求，拓宽销售渠道，同时规划好对产品的定位；这些都是要努力的方向。 所以在我们埋头苦干的时候，有必要在抬头看着天空时，一定要保持一颗谦虚学习的心，虚怀若谷，求知若渴，这也是在公司团队文化里学到的一点最重要的东西！
Python批量采集百度下拉框关键词
批量采集百度下拉框关键词之前用shell写了一下，现在用python写一下，环境是windows–sublime2的编辑器，大概就是用urllib爆api然后用正则表达式匹配出关键词内容，最后利用for函数来实现批量操作，导出的话看回我之前的一些python小脚本就可以实现，很简单吧，下面的代码粗糙，不过还是请看：
Shell批量采集百度下拉框关键词
Shell批量采集百度下拉框关键词，这边自己顺便也记录一下，另外也用python写一下，对比shell与Python脚本，其实python的代码也很简短，shell吧感觉还是用来处理一下文本文档，分析服务器日志这块比较快手，暂时别的地方没太多用，下面直接上shell的代码详解，环境是windows的cygwin，python批量采集百度下拉框关键词的链接是https://bigwayseo.com/464
SEO三人行论坛帖子
1,看到seo三人行论坛有人问site首页不在第一，但是却有排名是怎么回事，site是否在第一和你是否有排名并没有直接的关系的，不用太在意。但是有一个 小技巧，就是你可以搜索你的要查询的关键词，然后site：www.xx.com，这样就可以看出来你的网站中哪个页面和这个关键词最相关。
Python批量获取爱站外链数据
基于python强大简洁的语法结构，python在seoer中应该是最多的脚本语言了，做seo的来写程序不是必要的话，我觉得将来应该变成必要了，起码我们seoer能写一些脚本来处理seo上的需求，尤其当数据量有一定量的时候，而且seo应该也需要以强大科学的数据作为指导，那么首先就是要数据采集、挖掘，其次数据分析，并且最好可以做到数据可视化。python就是首选语言！
Python使用Scrapy框架爬虫示例
首先安装Scrapy框架，python最好使用2.7.x的版本，貌似还不支持3.x，然后最好不要用64位的，主要是你会发现Python的第三方库很难找到64位的，篼雨现在就是，然后也比较难，省的换，所以最好还是一开始的时候做好准备，那肯定有人好奇为什么,有urllib2，request，pycurl等还要搞scrapy，主要是可以自定义爬取规则，http错误处理，XPath，RPC，Pipeline机制等，那下面是windows7环境下下安装Scrapy！
Python使用XPath快速获取文章标题
XPath是什么？XPath是xml路径语言，看不懂没关系，可直接百度百科科普一下；而在SEO上的应用就是数据采集等等吧，xpath跟正则表达式有点像，通过自己的语言来提取想要的内容而已，至于两者之间的对比，篼雨个人认为各有秋千，这个不是废话吗？呵呵，那下面还是进去正题看看如何使用XPath首先介绍怎么获取XPath。