推广

如何排除无关蜘蛛爬虫干扰高质搜索引擎蜘蛛抓取网站。

iseeyu3年前 (2023-12-30)推广131

在搜索引擎优化过程中,你是否遇到过这样的问题:服务器访问的CPU利用率接近,页面加载速度特别慢,似乎受到了DDoS的攻击。  

经过回顾,我发现原来的目标网站经常被大量无关的“爬虫”抓走,这对一个小网站来说可能是一场灾难。  

因此,在进行网站优化时,我们需要有选择地引导特定的蜘蛛。  

根据以往SEO经验分享,重蔚自留地SEO小编将通过以下几点来阐述:  

一、搜索引擎爬虫  

对于国内的小伙伴来说,我们都知道在SEO的过程中,我们面对的常见的爬虫就是搜索引擎的爬虫,比如百度蜘蛛,还有各种搜索引擎的蜘蛛,比如:  

①360Spider、SogouSpider、Bytespider  

②Googlebot、Bingbot、Slurp、Teoma、iauarchiver、twiceler、MSNBot  

③其他爬行动物  

如果不故意配置robots.txt文件,理论上,可以对目标页进行爬网和爬网。然而,对于一些中小型网站来说,它偶尔会浪费自己的服务器资源。  

此时,我们需要做出有选择性、合理的指导,特别是一些尴尬的问题,比如:你希望谷歌减少对网站的爬网,但不能完全屏蔽它,你可能需要一些提示,比如:对于具体的爬网访问,反馈不同的文章列表:  

①控制更新频率表  

②反馈重复性强,内容农场页面  

③善意的“蜘蛛陷阱”,如flash  

④如何调整对方的SEO管理平台,获取评论并进行适当调整  

虽然这样的策略很可能会对页面声誉造成损害,但我可以想出一个相对“有效”的方法,合理控制那些不想频繁爬行但需要不断爬行的蜘蛛的爬行。  

二、链接分析爬虫  

从目前来看,一个SEO外部链分析管理工具需要每天花费大量的服务器资源来抓取和检测每个网站的页面链接。  

对于一些资源密集型的网站来说,每天爬行数千次是可能的,这种爬行动物很常见。  

如果你不想让自己的网站参与其中,简单的策略是在robots协议中完全关闭此类爬虫程序。  

三、内容收集爬网程序  

但当我们面对一些恶意的内容收集爬虫时,就相对尴尬了。另一方经常采用“看不见”的状态,比如:模拟一个出名搜索引擎蜘蛛的名字。  

要解决这个问题,只能手工判断对方庐山的真伪,比如:使用IPpan解析命令判断真伪。  

①Linux平台:主机IP  

②Windows平台:nslookupip  

从而确定对方的解析地址是否为相应的搜索引擎域名。  

四、蜘蛛池爬行动物  

目前,市面上有很多人做百度蜘蛛池,其主要目的是协助更多的页面做百度快速收录,但由于一些随意下载蜘蛛池的程序设计不规范。  

由于没有对不同的蜘蛛进行合理的抓取和限制,服务器资源经常被服务提供商占用,很容易被关闭。  

如果你试图使用这个策略来提高你的页面包含率,那么你可能需要更多的关注。

扫描二维码推送至手机访问。

版权声明:本文由西安泽虎代运营发布,如需转载请注明出处。

转载请注明出处https://www.0291.com.cn/post/109508.html

相关文章

西安企业做百度推广,一个月花三千和花三万到底差在哪?

4|最近跟几个西安的老板聊天,发现一个挺有意思的现象:同样做百度推广,有人一个月花三千块,询盘不断;有人一个月砸三万,水花都没见着。问他们区别在哪,大多数人说不清楚,只知道'钱花了,没效果'。 5| 6|百度推广这东西,说复杂也复杂,说简单也简单。核心就一件事:让你的潜在客户搜某个词的时候,你的信息...

我想当策划,大学应该选什么专业?

我想当策划,大学应该选什么专业?

学,广告,传播,公关,这些专业其实都可以。另外也可以学像汉语言文学,以及一些跟文学相关的一些专业,会对你找工作有帮助。但是,你想从事这个这份职业,除了专业的学习之外,更多的是,你要在上学的时候积极参与一些更营销策划相关的社会实践。比如说你可以做一些兼职,比如说帮别人去写稿,...

服装市场营销策略分析,“定位不慎满盘皆输”

服装市场营销策略分析,“定位不慎满盘皆输”

不同的区域需要不同的策略,而不同的营销策略需要不同的销售思路来配合。因此,在研究女装产品销售思路之前,最好先对于市场与营销策略做一次深入地了解。1.市场区域化(market segmentation):目标营销的第一步,是将整个市场拆分成若干个同性质的小市场。2.目标市场的...

晚间悦读丨你的思维方式,决定你的人生高度!

晚间悦读丨你的思维方式,决定你的人生高度!

越长大,越发现,能够决定你人生高度的,往往是你的认知层次。 你的认知在哪个层级,你的人生就处在什么状态。你认知的高度,决定了你人生的高度。 那如何才能升级方式、提升认知能力呢?可以从这三个方面做出改变。 NO. 1 改变态度 有人...

编写项目营销策划方案六大要点

编写项目营销策划方案六大要点

现在商业发展非常迅速,的需求非常的大,但是要做好营销策划是有一定难度的,我把自己做营销策划的一些体会在这里分享给朋友们。营销策划方案六大要点我们先说项目营销策划方案这个话题。大部分的营销策划人都是在企业里工作,大部分项目之初都是来源于一个想法,创始人、老板或者创始团队的一个...

【商场营销策划】如何进行商场营销策划?

【商场营销策划】如何进行商场营销策划?

商场是策划者们关注的永恒话题,那么究竟该如何作好商场营销策划呢?掌握以下这几点营销策略设计原则,至关重要!1.义利兼顾的原则。商场在获取利润的同时要充分考虑到消费者的合法利益和商场的长远利益。在作商场活动营销策略方案的时候应该将这一点作为首要的原则。对商场有利而对顾客不利的...

现在,非常期待与您的又一次邂逅

我们努力让每一部企业宣传片和抖音短视频成为商业大片