推广

什么是站点抓取压力?

iseeyu3年前 (2024-01-26)推广165

什么是站点抓取压力?
站点抓取压力即搜索引擎在单位时间内对一个服务器访问的频率和总次数。
什么是抓取压力反馈工具:
1. 此工具主要是为了让站长在网站抓取压力出现问题时,可以向百度及时反馈网站抓取压力问题,同时还提供给站长近一个月的站点抓取量趋势图,站长可以了解站点抓取压力是否存在异常并符合预期。
2. 为保证您网站的正常抓取,百度会将您的调整压力和网站实际情况综合考虑,因此并不能保证完全按照您的反馈进行调整。这个反馈是个参考值,我们会根据实际情况综合调整,避免因压力调整造成不必要的抓取异常。
在网站robots里限制百度的抓去频率!
如:
User-agent:Baiduspider
crawl-delay: 3600
意思是限制百度蜘蛛抓去网站频率间隔为3600秒。
楼主也可以根据日志,分析出蜘蛛爬去时间频率最高和抓去哪些页面是否具有价值,在robots.txt进一步限制

如下可以限制蜘蛛的访问时间:
Visit-time:0930-1630
意思:制定百度蜘蛛每天开始访问和结束访问网站的时间。
国内的搜索引擎蜘蛛
百度蜘蛛:baiduspider
搜狗蜘蛛:sogou spider
有道蜘蛛:YodaoBot和OutfoxBot
搜搜蜘蛛: Sosospider
国外的搜索引擎蜘蛛
google蜘蛛: googlebot
yahoo蜘蛛:Yahoo! Slurp
alexa蜘蛛:ia_archiver
bing蜘蛛(MSN):msnbot
bing蜘蛛(MSN):msnbot
robots.txt内容格式非常简单,用文本文件的每一行代表一条规则。
? User-Agent: 适用下列规则的漫游器
? Allow: 充许被抓取的网页
? Disallow: 要拦截的网页
Robots.txt的两个常用符号
“*”: 匹配0或多个任意字符(也有所有的意思)
“$”:匹配行结束符。
禁止某一蜘蛛抓取:
User-agent: 蜘蛛名(上面介绍得有)
Disallow: /
只充许某一蜘蛛抓取:
User-agent: 蜘蛛名(上面介绍得有)
Disallow:
User-agent: *
Disallow: /
robots.txt扩展协议
robots协议中除allow,disallow外,其扩展协议中还有Request-rate,Crawl-delay,Visit-time等,可以通过率这些协议来限制蜘蛛访问的频率,访问的时间等。
一、Crawl-delay 这个协议可以指定蜘蛛两次抓取时间的间隔值。
语法:Crawl-delay:XX
“XX”,是指两间抓取的间隔时间,,单位为秒。如果蜘蛛的抓取频率太高可以指定这个值,来减轻服务器的负担。
二、Visit-time 指定蜘蛛的访问时间。
语法:Visit-time:0930-1630
开头的文本行指定每天允许网络蜘蛛采集的时间段,格式为mmss-mmss,例如0930-1630
三、Request-rate 指定采集的频率
语法:Request-rate:1/5 0600-0845
指定同一个网络蜘蛛每多少秒采集一次网页和采集时间段,例如1/5 0600-0845。
四、禁止指定类型后缀的文件抓取
Disallow: .jpg$ 禁止抓取的格式
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
Disallow: .jpg$ 禁止抓取的格式
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
另外,在网页中增加名字为“robots”的meta标签,也可以让某些网络蜘蛛不采集这一页。不过,这也只是某些网络蜘蛛认同,不是大家都认同的标准。
实例
例1.禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
例2.允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt”)
User-agent: *
Allow: /
另一种写法是
User-agent: *
Disallow:
例3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Allow: /
例5. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 “Disallow: /cgi-bin/ /tmp/”。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
例7. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
例8. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow:/ .htm$
例9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
例10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: /.jpg$
Disallow: / .jpeg$
Disallow:/ .gif$
Disallow:/ .png$
Disallow: /.bmp$
例11. 仅允许Baiduspider抓取网页和。gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: /.jpg$
Disallow:/ .jpeg$
Disallow:/ .png$
Disallow: /.bmp$
例12. 仅禁止Baiduspider抓取。jpg格式图片
User-agent: /Baiduspider
Disallow:/ .jpg$

扫描二维码推送至手机访问。

版权声明:本文由西安泽虎代运营发布,如需转载请注明出处。

转载请注明出处https://www.0291.com.cn/post/96812.html

相关文章

西安企业做百度推广,一个月花三千和花三万到底差在哪?

4|最近跟几个西安的老板聊天,发现一个挺有意思的现象:同样做百度推广,有人一个月花三千块,询盘不断;有人一个月砸三万,水花都没见着。问他们区别在哪,大多数人说不清楚,只知道'钱花了,没效果'。 5| 6|百度推广这东西,说复杂也复杂,说简单也简单。核心就一件事:让你的潜在客户搜某个词的时候,你的信息...

我想当策划,大学应该选什么专业?

我想当策划,大学应该选什么专业?

学,广告,传播,公关,这些专业其实都可以。另外也可以学像汉语言文学,以及一些跟文学相关的一些专业,会对你找工作有帮助。但是,你想从事这个这份职业,除了专业的学习之外,更多的是,你要在上学的时候积极参与一些更营销策划相关的社会实践。比如说你可以做一些兼职,比如说帮别人去写稿,...

服装市场营销策略分析,“定位不慎满盘皆输”

服装市场营销策略分析,“定位不慎满盘皆输”

不同的区域需要不同的策略,而不同的营销策略需要不同的销售思路来配合。因此,在研究女装产品销售思路之前,最好先对于市场与营销策略做一次深入地了解。1.市场区域化(market segmentation):目标营销的第一步,是将整个市场拆分成若干个同性质的小市场。2.目标市场的...

晚间悦读丨你的思维方式,决定你的人生高度!

晚间悦读丨你的思维方式,决定你的人生高度!

越长大,越发现,能够决定你人生高度的,往往是你的认知层次。 你的认知在哪个层级,你的人生就处在什么状态。你认知的高度,决定了你人生的高度。 那如何才能升级方式、提升认知能力呢?可以从这三个方面做出改变。 NO. 1 改变态度 有人...

编写项目营销策划方案六大要点

编写项目营销策划方案六大要点

现在商业发展非常迅速,的需求非常的大,但是要做好营销策划是有一定难度的,我把自己做营销策划的一些体会在这里分享给朋友们。营销策划方案六大要点我们先说项目营销策划方案这个话题。大部分的营销策划人都是在企业里工作,大部分项目之初都是来源于一个想法,创始人、老板或者创始团队的一个...

【商场营销策划】如何进行商场营销策划?

【商场营销策划】如何进行商场营销策划?

商场是策划者们关注的永恒话题,那么究竟该如何作好商场营销策划呢?掌握以下这几点营销策略设计原则,至关重要!1.义利兼顾的原则。商场在获取利润的同时要充分考虑到消费者的合法利益和商场的长远利益。在作商场活动营销策略方案的时候应该将这一点作为首要的原则。对商场有利而对顾客不利的...

现在,非常期待与您的又一次邂逅

我们努力让每一部企业宣传片和抖音短视频成为商业大片