SEO教程:总结URL的规划应该怎么做(2)
这样一来，在“待抓取列表”里，那些重复的URL就可以被去重了。这是一个节点在一种理想状态下的情况，不过实际上因为搜索引擎以后还要更新这个网页等等一些原因，一个网站每天还是有很多重复抓取。所以在以前的文章中，我告诉大家用一些方法减少重复抓取的几率。
这里有一个问题，很多人肯定想问是不是一个网页上所有的链接搜索引擎都会提取的，答案是肯定的。但是在《google网站质量指南》中，有这样一句：“如果站点地图上的链接超过 100 个，则需要将站点地图拆分为多个网页。”有些人把这句话理解为：“爬虫只能抓取前100个链接”，这是不对的。
因为在“待抓取列表”里的URL，爬虫并不会每一个链接都会抓取的。 链接放在这个列表里是没问题的，但是爬虫没有那么多时间也没必要每个链接都要去抓取，需要有一定的优先级。在“待访问列表”里，爬虫一边按照优先级抓取一部分的URL，一边把还未被抓取的URL记录下来等待下次抓取，只是这些还未被抓取的URL，下次爬虫来访问的频率就每个网站都不一样了， 每一类URL被访问的频率也不一样。
按优先级抓取
那么在“待抓取列表”里的URL，哪些是能被优先抓取，哪些是被次要抓取的呢？
我们稍微思考一下都能明白这个抓取的优先级策略应该怎么定。首先，那些目录层级比较深的URL是次要抓取的；那些在模板部分的或重复率非常高的URL是被次要抓取的；那些动态参数多的URL是次要抓取的…。.
这么做的原因，就是因为搜索引擎的资源是有限的，一个网站实际拥有的内容也是有限的，但是URL数量是无限的。爬虫需要一些“蛛丝马迹”来确定哪些值得优先抓取，哪些不值得。
在《谷歌搜索引擎入门指南》中，google建议要优化好网站的URL结构，如建议不要用“…/dir1/dir2/dir3/dir4/dir5/dir6/page.html”这样的多层嵌套。就是因为在待抓取列表里，在其他条件相同的情况下，爬虫会优先抓取目录层级浅的URL。如用Lynx在线版查看本网站的页面：
抓取优先级
如果说，在这17个链接里，爬虫只能选几个链接抓取的话，红色箭头所指的链接在其他条件相同的情况下是要优先的。
但是这里又有一个误区，有人在SEO过程中，把所有的网页都建立在根目录下，以为这样能有排名的优势。这样也是没有理解这个原因。而且爬虫在这个网站上先抓取哪些URL后抓取哪些URL，都是自己的URL和自己的URL比，如果所有网页都是在同一个目录下，那就没有区别了。
最好的规划URL目录层级的方式，就是按照业务方的逻辑来规划，从内容上应该是什么从属关系就怎么规划URL就是。就像《谷歌搜索引擎入门指南》中举的那些例子一样。
（顺带说一下。我经常看到，一个网站中，很多人非SEO的人员，如工程师和网页设计人员或者网站编辑，都以为SEO和他们做的事情是相反的。这都是因为长期以来一些SEOer经常提交很多明显违反用户体验的SEO需求给他们，造成他们以为SEO就是和他们做的事情是有冲突的。实际上，SEO和别的部门有非常少的冲突，只要你能用科学的方法去实践，就能发现以前有太多误导人的观点了。还有，对于其他部门的专业人员，他们专业领域的意见非常值得去考虑。）
爬虫有一个特点，就是它不能实时的比较它正在抓取的内容是不是重复的内容。因为如果要做到实时的比较，那它至少要把正在抓取的页面和那些已经在索引库的页面做对比，这是不可能短时间内可以完成的。 前面把所有URL统一放到一个待抓取列表中的方法只能避免那种URL完全一模一样的重复抓取，但是无法应对URL不一样、但是内容一样的抓取。
正如所有搜索引擎都强调的那样，动态参数是一个经常产生URL不一样、但是内容一样的现象的原因。所以搜索引擎建议大家用静态化的方法去掉那些参数。静态化的本质是URL唯一化，在《优化网站的抓取与收录》这篇文章中，曾经用的“一人一票”这个描述就很贴切的表达了这个意思。静态化只是一个手段而不是目的，为了保证URL的唯一化，可以把URL静态化、也可以用robots.txt或nofollow屏蔽动态内容、可以用rel=canonical属性、还可以在webmaster tool里屏蔽一些参数等等。
而静态化也会有好的静态化和不好的静态化之别。我们这里不说那种把多个参数直接静态化了的案例，而是单纯来看看如下两个URL：
http://www.semyj.com/archives/1097和 http://www.semyj.com？p=1097
这两个URL中，这个静态化的是不是就比动态的好呢？ 实际上这两个URL的差别很小。首先这两种URL搜索引擎都能收录，如果说动态URL“？p=1097”可能产生大量重复的内容让爬虫抓取，那这个静态的URL“archives/1097”也不能保证不会产生大量重复的内容。特别是爬虫在抓取时碰到大量有ID的静态的URL时，爬虫无法判断这个网站是不是把session ID等参数静态化了才造成的，还是这个网站本来就有这么多内容。 所以更好的静态化是这样的：
http://www.semyj.com/archives/seo-jingli
这种URL就能保证唯一化而不会和其他情况混淆了，所以URL中要尽量用有意义的字符。这不是因为要在URL增加关键词密度而这么做的，是为了方便搜索引擎抓取。
以上是因为爬虫固有的特点造成的抓取障碍，而有时网站的结构也能造成爬虫的抓取障碍。这种结构在《优化网站的抓取与收录》一文中用的名字是“无限空间”。文中举了一个日历的例子：如很多博客上都会有一个日历，顺着这个日历的日期一直往下点，永远都有链接供你点击的，因为时间是无限的。