在过程中经常遇到这样的问题，有一些网页，内容优质、用户也可以正常访问，但是搜索引擎蜘蛛却无法正常访问并抓取，造成搜索结果覆盖率缺失，对搜索引擎对站点都是一种损失。百度把这种情况叫""对于大量内容无法正常抓取的网站，搜索引擎会认为网站存在用户体验上的缺陷，并降低对网站的评价，其在抓取、索引、排序上都会受到一定程度的负面影响，最终影响到网站从百度获取的流量。抓取异常主要有哪些原因呢？
一、链接异常
1、访问被拒绝：爬虫发起抓取，httpcode返回码是403。
2、找不到页面：爬虫发起抓取，httpcode返回码是404。
3、服务器错误：爬虫发起抓取，httpcode返回码是5XX。
4、其他错误：爬虫发起抓取，httpcode返回码是4XX，不包括403和404。
二、网站异常
1、dns异常：当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。
2、连接超时：抓取请求连接超时，可能原因服务器过载，网络不稳定。
3、抓取超时：抓取请求连接建立后，下载页面速度过慢，导致超时，可能原因服务器过载，带宽不足。
4、连接错误：无法连接或者连接建立后对方服务器拒绝。
优化猩专注企业营销型网站的建设与推广，帮助无数家企业成功向网络营销方向转型。我们不是为了做网站而做网站，不是为了推广而推广！而是为了营销而做网站！为了效果而做推广！如果您有意于营销型网站建设，欢迎您与我们联系。
