为了能够让搜索引擎抓取更多的页面，一般会采用深度优先或是广度优先这两种方法来进行页面链接的跟踪。常理来讲，只要时间够充足，页面的内容一般都会被抓取到。但是现实情况却不是这样，会受到服务器或者是宽带资源的影响，蜘蛛抓取不到很大一部分的页面内容。
现在网站与网站的竞争越来越激烈，那要怎么样才能使蜘蛛抓取更多的页面内容来提高收录呢? 我们应该主动让搜索引擎蜘蛛来爬行我们的网站，就应该让网站有些新颖的内容，可以通过一些比较重要的页面来吸引蜘蛛。那什么样的页面才是蜘蛛眼中重要的页面呢?
1. 权重高、经常更新内容并且更新内容质量好的，比较有资格的网站，这类网站一般会被优先抓取，所以内容会被大量收录，收录快照的更新速度比较快;
2. 经常更新的网站，当网站被蜘蛛收录进数据库时，在被蜘蛛信任的前提下，蜘蛛就会不定时的过来看看有没有更新新的内容，如果有更新，收录的速度就会提高，反之则会降低;
3. 拥有较多的导入链接，只有存在导入链接的进入页面，蜘蛛才能够抓取内链或是外链，不然蜘蛛根本既没有办法知道还有这样的页面存在，要想蜘蛛的爬行深度增加，就一定要导入链接多并且比较广泛的站点;
4. 网站权重大的站，这样被搜索引擎蜘蛛爬行的概率也相对比较大。
一个新的网站想要被快速收录的话，网站的更新频率一定要提高，外链和内链的优化工作也一定要做好，使站点的收录效率提高，进而提升关键词的排名。
