shell获取百度真实URL

有时候觉得shell挺好玩的,为了预防忘记,主要是博主脑子不好使,特别容易忘东西,保持一下shell的语感还是要的,那就得想想需求了是吧,有需求才是重点,之前的文章有用python写的,然并卵,而且感觉好像之前我的seo博客都没有记录用shell获取URL的文章,记录下吧,用的是lynx这个命令,好像市面上也比较少用,还挺好用的,结合-dump就直接提取页面中所有的url了,然后按需求提取自己想要的url。
说到shell和seo之间的联系,还是日志分析这块比较多,感觉也不用怎么深入去学似得,定制爬虫还是python牛逼,采集数据用;前端随着html5的火热,javascript无疑更加得学了,至于PHP,有空再学吧,毕竟python也能干好这个事情,我是希望python火热起来,不至于要学那么多,不然好苦逼,真实苦逼seo,苦逼青年!
shell获取百度真实URL
一、使用lynx -dump来提取url:然后也不止url,比如标题,真实url其实都有打印出来了,但我不知道怎么提取出来,没找到规律吧
lynx
二、使用grep寻找想要获取的url
grep
三、使用xargs再逐个请求一次url
xargs
下面就自己发挥,用awk,egrep提取链接就是!

shell获取百度真实URL》上有4条评论

发表评论

电子邮件地址不会被公开。