推广

如何查看网站被百度抓取的情况。

iseeyu2年前 (2024-01-29)推广152

百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。

查看日志的方式:

通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。

因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。

日志内容如下:

如何查看网站被百度抓取的情况。

61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] \"GET /bbs/thread-7303-1-1.html HTTP/1.1\" 200 8450 \"-\" \"Baiduspider+(+http://www.baidu.com/search/spider.htm)\"  

分析:

GET /bbs/thread-7303-1-1.html   代表,抓取/bbs/thread-7303-1-1.html 这个页面。

200  代表成功抓取。

8450  代表抓取了8450个字节。

如果你的日志里格式不是如此,则代表日志格式设置不同。

很多日志里可以看到 200 0 0和200 0  64 则都代表正常抓取。

抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。

 

扫描二维码推送至手机访问。

版权声明:本文由西安泽虎代运营发布,如需转载请注明出处。

转载请注明出处https://www.0291.com.cn/post/95082.html

相关文章

0成本做出广告爆量素材!

0成本做出广告爆量素材!

  笔者做广告运营4年多,接触过不少客户,后来便开始兼职为广告主做广告代投。在这期间,我一个人得包揽所有投放的工作,其中最为棘手的不是投放本身,而是素材的制作上,尤其是视频素材的制作。 关于做素材制作,我想过很多借助外力的办法,比如把素材交给第三方制作公司,但成本方面实在承担...

无货源网店需要什么采集软件(无货源用什么软件采集)

无货源网店需要什么采集软件(无货源用什么软件采集)

首先是小草莓采集如家,这个软件具有非常强大的数据库,性价比表高,且采集速度非常快,其次是依云采集软件,这个软件系统非常稳定,功能很强大,还有一个就是小象采集软件,可以一键登录,避免重复铺货。...

信息流广告重大利好,“超级”粉丝通来袭!附效果案例

信息流广告重大利好,“超级”粉丝通来袭!附效果案例

想必各位渠道圈的小伙伴,从今年年初就陆续听到风声说,微博要推出超级粉丝通,经过半年的测试,超级粉丝通在今年6月份正式上线。 大家对超级粉丝通有很多疑问,例如,超级粉丝通相比粉丝通到底有哪些升级?超级粉丝通的效果怎么样?今天,带大家用2分钟,来了解超级粉丝通的“超级”功能和投放案例及效果!...

云南大哥开水果店,利用人的赌性,一年狂赚140万,赚钱方法给你

云南大哥开水果店,利用人的赌性,一年狂赚140万,赚钱方法给你

今天要给大家带来的案例是:云南有一家水果店,老板利用人的赌性,在短短一年的时间里,疯狂盈利140万。【1】案例背景都说这年头的生意难做,然而大家有没有想过,为什么生意会不好做呢?其实原因非常简单,很多老板的经营理念还停留在十几二十年前,觉得只要自家的东西好,那么守在店里都会...

短视频实操经验:从0到1000万粉给短视频运营的98条建议。

短视频实操经验:从0到1000万粉给短视频运营的98条建议。

近几年最火的风口是什么?当然是短视频。尤其是现在连流量巨大的微信都推出了「视频号」,这让短视频这一战场又出现了很多变局。 那做短视频有哪些注意点?在各大平台上发布视频需要注意什么?如何从 0 到 1 做出爆款账号? 这些问题的答案,这篇文章将会给出答案。 我是潇潇,之前是做知乎运营的,...

百秋电商:如何做好品牌软文营销?

百秋电商:如何做好品牌软文营销?

从近几年的销售历史看,形象在萎缩,社会满意度在下降,这种现象是很值得深思的。要想把这两点毁了很容易,反之提升就难了。随着大行其道,很多人也都投身进入到软文营销行业当中。而软文营销虽说看起来只是的一个手段而言,但是实际上软文营销也是有着详细的分类的。像是品牌软文营销、产品软文...

现在,非常期待与您的又一次邂逅

我们努力让每一部企业宣传片和抖音短视频成为商业大片