四川SEO转《如何抓取某网站所有URL》

四川SEO转《如何抓取某网站所有URL

抓取自己或者别人网站的所有URL。在某些情况下是非常有用的。

比如我要把我三方博客的所有文章拿去Ping一下,不知道所有的URL,比如我要偷他的文章页面的URL去刮对方的评论,比如我要拿对方的页面来搞个神马坏事之类的,就非常好用了。

我来说下有几种方法:

1、通过搜索引擎的inurl:***.com抽出所有的URL,但是要过滤一次,不然不准确。而且只能抓取收录的页面,没有收录的页面是抓取不到的。

2、通过我下面说的这个办法。

方法一之装逼版:首先要准备几个工具,一个Xenu。一个正则表达式测试工具,下载地址是:

http://deerchao.net/tools/regex_tester/index.htm

然后,用Xenu给网站扒一次。取出所有图片JS,CSS和HTML链接。导出来,再用正则抽出链接,保存出来就来了。

测试之后,发现完整保存,爽。

1

如果熟练的话,操作也是非常快的。而且可以把所有链接抽出来。

方法一之高手版:只上一张图就行了。不解释了。

2

 

其实做SEO,手上称手的工具不会太多。但是每个工具都可以发挥它牛X的作用。才是最重要的。

合理使用自己的工具,大多情况都可以合理解决。国庆假期结束了,成都SEO小五,也要开始继续工作了。加油赚钱哦。。。

四川SEO转《如何抓取某网站所有URL》

(本文来源:四川seohttp://www.seo028.net/)



本文固定链接: http://www.seo028.net/zhuaqu-url/ | 邹义科|邹老师博客

该日志由 四川SEOer邹义科 于2012年10月08日发表在 SEO工具 分类下, 你可以发表评论,并在保留原文地址及作者的情况下引用到你的网站或博客。
原创文章转载请注明: 四川SEO转《如何抓取某网站所有URL》 | 邹义科|邹老师博客
关键字: , , , , , , , ,

四川SEO转《如何抓取某网站所有URL》:等您坐沙发呢!

发表评论

Spam Protection by WP-SpamFree

快捷键:Ctrl+Enter

无觅相关文章插件,快速提升流量