prometheus 云原生 轻型日志收集系统loki+promtail的部署说明_loki+promtail+gateway(1)
【代码】prometheus 云原生 轻型日志收集系统loki+promtail的部署说明_loki+promtail+gateway(1)
百度网盘下载地址:链接:https://pan.baidu.com/s/1XKqwdJrrYYewsAcy8foQ5Q?pwd=kkey
提取码:kkey
或者在github官网下载,地址为:
Releases · grafana/loki · GitHub
五,
loki的部署
相关介质上传到服务器上后,解压,编写配置文件,文件内容如下:
cat >loki-cfg.yaml<<EOF
auth_enabled: false
server:
http_listen_port: 13100 #http监听端口,代理服务(promtail)会向此端口发送日志流
grpc_listen_port: 9086 #grpc监听端口,简单部署不用管
ingester:
lifecycler:
address: 192.168.123.11
ring:
kvstore:
store: inmemory
replication_factor: 1
final_sleep: 0s
chunk_idle_period: 5m
chunk_retain_period: 30s
max_transfer_retries: 0
schema_config:
configs:
- from: 2023-12-02 #2023-12-02之后loki信息用下面的配置,这个主要是用来做兼容的
store: boltdb #索引使用哪种存储
object_store: filesystem #怎么存储,简单部署的话保存在本地文件系统
schema: v11
index:
prefix: index_
period: 24h #索引期限24小时
storage_config:
boltdb:
directory: /tmp/loki/index
filesystem:
directory: /tmp/loki/chunks
limits_config:
enforce_metric_name: false
reject_old_samples: true
reject_old_samples_max_age: 168h
ingestion_rate_mb: 32 #采集速率
ingestion_burst_size_mb: 64 #单次采集大小
max_entries_limit_per_query: 0 #查询返回的条目的最大行数,默认是5000,0表示无限制
retention_period: 24h #全局保留期,超过这个时间的日志会被删除,具体删除规则在compactor里配置
#retention_stream: #局部保留期
#- selector: '{level="error"}'
# priority: 1
# period: 720h
chunk_store_config:
max_look_back_period: 0s #最大日志可见时间,0表示一直可见。or 24h等等
table_manager:
retention_deletes_enabled: false
retention_period: 0s
compactor:
working_directory: /data/loki/compactor #compactor运行状态保存目录
shared_store: filesystem
retention_enabled: true #启动日志删除
compaction_interval: 10m #compactor每隔10分钟运行一次
retention_delete_delay: 2h #在compactor运行2小时后删除
retention_delete_worker_count: 150 #用150个worker删除chunks
analytics:
reporting_enabled: false #关闭向loki团队发送此配置文件
EOF
配置文件说明:
ingestion_rate_mb: 32 #采集速率,如果日志量比较大的话,需要调整的
ingestion_burst_size_mb: 64 #单次采集大小,如果日志量比较大的话,需要调整的
max_entries_limit_per_query: 0 #查询返回的条目的最大行数,默认是5000,0表示无限制这三个是比较重要的,其它的其实是可以默认的,就性能比较好
在Loki中,对于客户端push到distributor中产生的每条日志流是可以对其做条目的大小限制的,这个在配置里面默认是不限制,也就是说每行的日志大小可以是无限?,当然大部分情况下我们都不会去限制这个,如果有的同学环境特殊,可以考虑开启对每行日志的大小限制。
limits_config: # 日志条目的大小限制,默认不限制 max_line_size: | default = none
除此之外,对于单次查询的限制还有的chunk、stream和series的,不过大部分场景我们不会去对此做调整
limits_config: # 单个查询最多匹配的chunk个数 max_chunks_per_query: | default = 2000000 # 限制查询是匹配到的chunk大小,默认0为不限制 max_query_length: | default = 0 # 单词查询最多匹配到的日志流个数 max_streams_matchers_per_query: | default = 1000 # 限制查询时最大的日志度量个数 max_query_series: | default = 500 # 查询的并发数 max_query_parallelism | default = 14 # 允许租户缓存结果的有效时间 max_cache_freshness_per_query |default = 1m.
启动脚本:
/var/log/loki/ 目录需要提前建立,/opt/loki/loki-linux-amd64 是loki的执行程序,/opt/loki/loki-cfg.yaml是loki的配置文件绝对路径
cat >/etc/systemd/system/loki.service <<EOF
[Unit]
Description=loki
After=network.target
[Service]
ExecStart=/opt/loki/loki-linux-amd64 -config.file=/opt/loki/loki-cfg.yaml &>> /var/log/loki/loki.log
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
EOF
启停和自动启动:
systemctl enable loki && systemctl start loki && systemctl status loki
六,
promtail的部署
promtail的配置文件:
这个是一个非常简单的静态读取/var/log/目录下的log后缀文件信息,并上传到loki
cat promtail_config.yaml
server:
http_listen_port: 9080
grpc_listen_port: 0
# 记录读取日志的位置信息文件,Promtail重新启动时需要它
positions:
filename: /tmp/positions.ymal
# Loki的api服务的地址
clients:
- url: http://192.168.123.11:13100/loki/api/v1/push
scrape_configs:
- job_name: system
static_configs:
- targets:
- localhost
### 计算机网络
* HTTP 缓存
* 你知道 302 状态码是什么嘛?你平时浏览网页的过程中遇到过哪些 302 的场景?
* HTTP 常用的请求方式,区别和用途?
* HTTPS 是什么?具体流程
* 三次握手和四次挥手
* 你对 TCP 滑动窗口有了解嘛?
* WebSocket与Ajax的区别
* 了解 WebSocket 嘛?
* HTTP 如何实现长连接?在什么时候会超时?
* TCP 如何保证有效传输及拥塞控制原理。
* TCP 协议怎么保证可靠的,UDP 为什么不可靠?
![](https://img-blog.csdnimg.cn/img_convert/614771dc66a0fec7a3e33c2c7e1fa878.png)
### 算法
* 链表
* 字符串
* 数组问题
* 二叉树
* 排序算法
* 二分查找
* 动态规划
* BFS
* 栈
* DFS
* 回溯算法
![](https://img-blog.csdnimg.cn/img_convert/6c250b6200355d0edce85b970db267bd.png)
更多推荐
所有评论(0)