推广

教你网站抓取异常的常见原因是什么。

iseeyu3年前 (2023-12-01)推广146

为了更好的监测网站优化的情况,站长们几乎都会统计一些日常的数据更新。网站是否出现抓取的情况也在数据统计的行列,根据记录的情况,站长们还要因地制宜做一些分析和优化措施。

1.服务器的问题

服务器不稳定的情况下会造成网站终端访问不了,无法链接。或者出现一直连接不上的情况,针对这种情况就只能换好的服务器了,千万不贪图小便宜,最终害了网站。

2.运营商的问题

国内正常情况下都使用的是电信和联通这两种,一般用的是双线服务,如果使用了单线服务造成的网站无法访问,那么最好升级国双线服务或者使用CND服务等方法解决。

3.DNS异常

当蜘蛛无法解析你网站的IP的时候,就会出现DNS异常或者DNS错误问题,可能是服务商把蜘蛛设置封禁了,或者网站IP的地址不正确造成的。可使用工具检查域名是否解析正确,如果不正确或者无法解析,那么联系域名商更新IP解决即可。

4.禁止蜘蛛抓取

这个就要看查看相关的代码设置,是否有禁止Baiduspider抓取设置,或者robots协议的设置问题等。

5.UA封禁

UA是用户代理(User-Agent),服务器通过UA识别访问者的身份,返回异常页面(如403,500)或跳转到其他页面的情况,即为UA封禁。

当网站不希望Baiduspider访问的时候,需要设置对应的访问权限。

6.死链

死链是网站中的无效页面,没有任何价值并且出现访问无效的情况。有协议死链和内容死链。

对于死链问题,通过采用404页面制作或统计好404页面向百度站长平台提交数据即可。

7.异常跳转

异常跳转也就是当前的无效页面比如死链、已经删除的页面通过301直接跳转到首页或相关目录页面的情况。

或者是跳转到出错、无效的页面上。

这些情况都需要重视。主要还是301协议的问题,没有必要的建议不要设置即可。

8.其它情况

a.JS代码问题,JS代码与搜索引擎并不友好,也不是重点识别的对象,如果JS代码蜘蛛识别不了,那么也会现问题异常。

b.百度会根据网站的内容、规模、访问情况等自动设定一个合理的抓取压力。但是异常情况下,压力控制失常的话,会导致服务器负荷作出自我保护的突发性封禁情况。

c.压力过大引起的偶然封禁:百度会根据站点的规模、访问量等信息,自动设定一个合理的抓取压力。但是在异常情况下,如压力控制失常时,服务器会根据自身负荷进行保护性的偶然封禁。这种情况下,请在返回码中返回503(其含义是“Service Unavailable”),这样搜索引擎蜘蛛会过段时间再来尝试抓取这个链接,如果网站已空闲,则会被成功抓取。

扫描二维码推送至手机访问。

版权声明:本文由西安泽虎代运营发布,如需转载请注明出处。

转载请注明出处https://www.0291.com.cn/post/122708.html

相关文章

西安企业做百度推广,一个月花三千和花三万到底差在哪?

4|最近跟几个西安的老板聊天,发现一个挺有意思的现象:同样做百度推广,有人一个月花三千块,询盘不断;有人一个月砸三万,水花都没见着。问他们区别在哪,大多数人说不清楚,只知道'钱花了,没效果'。 5| 6|百度推广这东西,说复杂也复杂,说简单也简单。核心就一件事:让你的潜在客户搜某个词的时候,你的信息...

我想当策划,大学应该选什么专业?

我想当策划,大学应该选什么专业?

学,广告,传播,公关,这些专业其实都可以。另外也可以学像汉语言文学,以及一些跟文学相关的一些专业,会对你找工作有帮助。但是,你想从事这个这份职业,除了专业的学习之外,更多的是,你要在上学的时候积极参与一些更营销策划相关的社会实践。比如说你可以做一些兼职,比如说帮别人去写稿,...

服装市场营销策略分析,“定位不慎满盘皆输”

服装市场营销策略分析,“定位不慎满盘皆输”

不同的区域需要不同的策略,而不同的营销策略需要不同的销售思路来配合。因此,在研究女装产品销售思路之前,最好先对于市场与营销策略做一次深入地了解。1.市场区域化(market segmentation):目标营销的第一步,是将整个市场拆分成若干个同性质的小市场。2.目标市场的...

晚间悦读丨你的思维方式,决定你的人生高度!

晚间悦读丨你的思维方式,决定你的人生高度!

越长大,越发现,能够决定你人生高度的,往往是你的认知层次。 你的认知在哪个层级,你的人生就处在什么状态。你认知的高度,决定了你人生的高度。 那如何才能升级方式、提升认知能力呢?可以从这三个方面做出改变。 NO. 1 改变态度 有人...

编写项目营销策划方案六大要点

编写项目营销策划方案六大要点

现在商业发展非常迅速,的需求非常的大,但是要做好营销策划是有一定难度的,我把自己做营销策划的一些体会在这里分享给朋友们。营销策划方案六大要点我们先说项目营销策划方案这个话题。大部分的营销策划人都是在企业里工作,大部分项目之初都是来源于一个想法,创始人、老板或者创始团队的一个...

【商场营销策划】如何进行商场营销策划?

【商场营销策划】如何进行商场营销策划?

商场是策划者们关注的永恒话题,那么究竟该如何作好商场营销策划呢?掌握以下这几点营销策略设计原则,至关重要!1.义利兼顾的原则。商场在获取利润的同时要充分考虑到消费者的合法利益和商场的长远利益。在作商场活动营销策略方案的时候应该将这一点作为首要的原则。对商场有利而对顾客不利的...

现在,非常期待与您的又一次邂逅

我们努力让每一部企业宣传片和抖音短视频成为商业大片