推广

日志收集系统loki+promtail+Grafana 部署

iseeyu3年前 (2024-02-21)推广178

image.png

Loki文档网址：https://grafana.com/docs/loki/latest/

下载网址：https://github.com/grafana/loki/releases

二、原理分析
promtail收集并将日志发送给loki的 Distributor 组件
Distributor会对接收到的日志流进行正确性校验，并将验证后的日志分批并行发送到Ingester
Ingester 接受日志流并构建数据块，压缩后存放到所连接的存储后端
Querier 收到HTTP查询请求，并将请求发送至Ingester 用以获取内存数据，Ingester 收到请求后返回符合条件的数据；
如果 Ingester 没有返回数据，Querier 会从后端存储加载数据并遍历去重执行查询，通过HTTP返回查询结果

三、与 ELK 比较优势
ELK虽然功能丰富，但规模复杂，资源占用高，操作苦难，很多功能往往用不上，有点杀鸡用牛刀的感觉。
loki 不对日志进行全文索引。通过存储压缩非结构化日志和索引元数据，Loki 操作起来会更简单，更省成本。
通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组，这使得日志的扩展和操作效率更高。
安装部署简单快速，且受 Grafana 原生支持。

四、下载(这个版本可用)

curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip" 
curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip"
wget https://dl.grafana.com/oss/release/grafana-7.1.0-1.x86_64.rpm

五、安装loki和grafana

先将loki-linux-amd64.zip和grafana-7.1.0-1.x86_64.rpm 上传到日志服务器； 193
再将promtail-linux-amd64.zip 上传到应用服务器 158-178
在日志服务器上创建目录

mkdir  /data
mkdir  /data/loki
mkdir  /data/loki/{chunks,index}

image.png

mkdir /usr/local/loki
unzip loki-linux-amd64.zip
mv loki-linux-amd64 /usr/local/loki/
cd /usr/local/loki/
vim config.yaml
-------------------------
auth_enabled: false
server:
  http_listen_port: 3100
ingester:
  lifecycler:
    address: 10.24.70.193
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 5m
  chunk_retain_period: 30s

schema_config:
  configs:
  - from: 2021-07-01
    store: boltdb
    object_store: filesystem
    schema: v11
    index:
      prefix: index_
      period: 168h   #每张表的时间范围7天

storage_config:
  boltdb:
    directory: /data/loki/index   #索引文件存储地址

  filesystem:
    directory: /data/loki/chunks  #块存储地址

limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h


chunk_store_config:
# 最大可查询历史日期 28天,这个时间必须是schema_config中的period的倍数，否则报错。
  max_look_back_period: 672h
# 表的保留期28天
table_manager:
  retention_deletes_enabled: true
  retention_period: 672h

启动loki

nohup ./loki-linux-amd64 -config.file=./config.yaml >./loki.log 2>&1 &

image.png

安装grafana

rpm -ivh  ./grafana-7.1.0-1.x86_64.rpm

报错：

image.png

yum install fontconfig urw-fonts -y

image.png

安装的版本：
fontconfig.x86_64 0:2.13.0-4.3.el7
urw-base35-fonts.noarch 0:20170801-10.el7

rpm -ivh  ./grafana-7.1.0-1.x86_64.rpm

image.png

systemctl daemon-reload
systemctl enable grafana-server.service
systemctl start grafana-server.service
systemctl status grafana-server.service

image.png

在应用服务器安装 promtail

image.png

应用服务器158,上传promtail-linux-amd64.zip后解压

mkdir /usr/local/promtail
unzip promtail-linux-amd64.zip
vim promtail.yaml
------------------------
server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: ./positions.yaml

clients:
  - url: http://10.24.70.193:3100/loki/api/v1/push

scrape_configs:
#ucenter1
 - job_name: ucenter1
   static_configs:
   - targets:
       - 10.24.70.158
   - labels:
      job: ucenter1
      host: 10.24.70.158
      __path__: /usr/local/tomcat/logs/user-center/log_error.log

启动
nohup ./promtail-linux-amd64 -config.file=./promtail.yaml > ./promtail.log 2>&1 &

image.png

最后在grafana上配置默认账号admin 密码admin

image.png

http://172.26.189.214:3100
这个地址就是之前启动loki的服务器地址，端口3100

image.png

{job=”yszs1″}

和之前promtail.yaml配置文件中的 job: yszs1 对应。

#yszs
 - job_name: yszs1
   static_configs:
   - targets:
       - 8.142.0.103
   - labels:
      job: yszs1
      host: 8.142.0.103
      __path__: /var/shida/logs/ys/log_error.log