搜索引擎的蜘蛛其实就是一个程序，用来爬行互联网更新的内容。然后抓取到自己的数据库，蜘蛛爬行是个很形象的名字，就好像蜘蛛猎食是一样的。
原理：
1、爬行习惯，从一个链接访问，到所有很多人认为的是搜索引擎的爬行，是越靠近左上角的链接权重越高。其实这个也有一定的误区，链接越靠前也算是蜘蛛越容易爬行，这是对的，但是在与网站的管理网站的分布，布局来说很多方面上没有做到这一点；
2、一般来说，在搜索引擎蜘蛛进入网站时候，首先是对内部连接纵向抓取，其次是对外部横向抓取，也就是说搜索引擎蜘蛛抓取页面是纵向原则和横向原则想结合的。但无论是纵向抓取还是横向抓取，只要网站是和蜘蛛的爬行和胃口，蜘蛛就能将您的网站所有网页爬完。
下载本文