对于做SEO的人员来讲，收录那必须是第一步，而搜索引擎的收录是从蜘蛛的爬行开始的，这个大家都非常的明确，也许今天再谈这个话题在很多大虾的眼里已经是一个小儿科，可是作为菜鸟的我，我感觉这样的理论知识还要是搞明白的好，另外，网络营销交流基地(www.chhua.com)提倡理论与实践想接合的学习方法。
做任何事情不要以为谈理论就是纸上谈兵，当然了，有很多人没有任何的理论也已经成为了SEO高手，可是我感觉，如果再加上适当的理论，也许你会更厉害。
好了，咱们下面就说一说搜索引擎蜘蛛的爬行规则吧。
大家知道，整个互联网是由链接组成的，而蜘蛛就是通过这一些一层又一层的链接来抓取页面内容的，而抓取内容的时候，大致可以分为两种形式，一种是纵向抓取，一种是横向抓取。
纵向抓取原理：
就是当蜘蛛进入一个网站的时候，会沿着一个链接一步一步的深入，直到无法再向前前进的时候再返回爬行另外一个链接。
横向抓取原理：
就是当蜘蛛进入一个网站的时候，在一个页面上发现有很多的链接的时候，不是顺着各各链接进行一步步的纵向抓取，而是把第一层的链接全部抓取完成，再沿第二层链接进行抓取。
无论是蜘蛛进行纵向抓取还是进行横向抓取，只要有足够的时间给蜘蛛，蜘蛛就能爬完整个互联网中的所有网页，呵呵，当然不能是被搜索引擎K过的网站。
我认为，在一个蜘蛛进入站点进，对于内部链接已经是纵向抓取优先，对于外链则是横向抓取，总之一句话，网络蜘蛛抓取页面是纵向原则和横向原则想接合使用的。
好了，今天就写到这里，以后还会在网络营销交流基地发表更多的关于搜索引擎优化原理的文章，希望大家多多关注。
自由转载，转载请注明： 转载自WEB开发笔记 www.chhua.com
本文链接地址: 搜索引擎蜘蛛爬行原理 http://www.chhua.com/web-note3143
评论