当前位置:   article > 正文

filebeat日志采集_filebeat 收集系统日志

filebeat 收集系统日志

filebeat可以减少logstash的资源损耗

filebeat是轻量级日志采集器

es,kibana,filebeat三个版本一定要一样,可以参考下面的链接安装es和kibana

es安装教程

docker拉取filebeat

docker pull docker.elastic.co/beats/filebeat:8.1.0

创建日志文件夹

  1. mkdir -p /usr/share/filebeat/demo1
  2. mkdir -p /usr/share/filebeat/demo2
  3. cd /usr/share/filebeat
  4. vi /usr/share/filebeat/filebeat.yml

内容

定义demo1、demo2等应用的input类型、以及存放的具体路径

/var/log/demo1/ docker容器的目录

/var/log/demo2/ docker容器的目录

dm1,dm2,在es创建的索引

username: "elastic" es的账号 如果你的没有设置 可以删除掉

password: "hVdm3ICXpNkT9zozGlzc" es的密码 如果你的没有设置 可以删除掉

hosts :es集群的地址,也可以为单节点

  1. filebeat.inputs:
  2. - type: log
  3. enabled: true
  4. paths:
  5. - /var/log/demo1/*.log
  6.   fields:
  7.     index: dm1
  8. - type: log
  9. enabled: true
  10. paths:
  11. - /var/log/demo2/*.log
  12. fields:
  13. index: dm2
  14. # 自定义ES的索引需要把ilm设置为false
  15. setup.ilm.enabled: false
  16. #-------------------------- Elasticsearch output ------------------------------
  17. output.elasticsearch:
  18. hosts: ["http://192.168.1.11:9200","http://192.168.1.12:9200","http://192.168.1.13:9200"]
  19. username: "elastic"
  20. password: "hVdm3ICXpNkT9zozGlzc"
  21.   indices:
  22.     - index: "dm1"
  23.     when.equals:
  24.     fields:
  25.     index: "dm1"
  26.     - index: "dm2"
  27.     when.equals:
  28.     fields:
  29.     index: "dm2"

启动容器

  1. docker run -d -v /usr/share/filebeat/demo1/:/var/log/demo1/ \
  2. -v /usr/share/filebeat/demo2/:/var/log/demo2/ \
  3. -v /usr/share/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \
  4. --name filebeat docker.elastic.co/beats/filebeat:8.1.0

查看日志

 docker logs -f filebeat

我们在开一个窗口

  1. cd /usr/share/filebeat/demo1
  2. vi cc.log

随便输入一个1234567

我们可以看到filebeat的日志立马刷新了

我们来kibana控制台看下索引下的内容

GET dm1/_search

我们在来demo2目录写一个日志

  1. cd /usr/share/filebeat/demo2
  2. vi dd.log

随便输入一个78910

我们在来kibana控制台看一下dm2索引下的内容

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/706278
推荐阅读
相关标签
  

闽ICP备14008679号