Shell批量采集百度下拉框关键词

Shell批量采集百度下拉框关键词,这边自己顺便也记录一下,另外也用python写一下,对比shell与Python脚本,其实python的代码也很简短,shell吧感觉还是用来处理一下文本文档,分析服务器日志这块比较快手,暂时别的地方没太多用,下面直接上shell的代码详解,环境是windows的cygwin,python批量采集百度下拉框关键词的链接是http://bigwayseo.com/464
第一步:先用curl神器爆一下这个api,然后数据就直接出来,不过乱码了
shell第一步
第二步:解决乱码问题
shell第二步
第三步:用awk提取出想要的部分
shell第三步
第四步:零宽断言grep -oP参数
shell第四步
第五步:使用sed替换
shell第五步
第六步:批量处理
shell批量处理
第七步:ok.txt里面的关键词全部显示在一行了,用unix2dos转换一下格式就好
unix2dos

发表评论

电子邮件地址不会被公开。