Docker-Compose部署ELK_docker-compose elk

Docker-Compose部署ELK(保姆级教程)

• 部署elk

• 创建目录 和文件
• 配置docker-compose并启动
• 打开kibana

1.创建docker-elk目录 （此目录任意 推荐使用此 否则需要更改compose配置）

sudo mkdir /opt/docker_elk
1

2.创建logstash配置文件

sudo mkdir /opt/docker_elk/logstash
sudo touch  /opt/docker_elk/logstash/logstash.conf
1
2

3.配置logstash.conf，其内容如下

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "logstash-%{+YYYY.MM.dd}"
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14

在这里指定了输入的日志的端口是4560，那么下面对外暴露的端口也必须是4560。 此端口为logStash 通信端口 可更改（更改同样修改 compose 配置）

4.创建docker-compose.yml文件

sudo touch /opt/docker_elk/docker-compose.yml
1

5.配置 docker-compose并启动

sudo cd /opt/docker_elk
sudo vi docker-compose.yml
1
2

配置内容如下

version: '3.7'
services:
  elasticsearch:
    image: elasticsearch:7.6.2
    container_name: elasticsearch
    privileged: true
    user: root
    environment:
      #设置集群名称为elasticsearch
      - cluster.name=elasticsearch 
      #以单一节点模式启动
      - discovery.type=single-node 
      #设置使用jvm内存大小
      - ES_JAVA_OPTS=-Xms512m -Xmx512m 
    volumes:
      - /opt/docker_elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - /opt/docker_elk/elasticsearch/data:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
      - 9300:9300

  logstash:
    image: logstash:7.6.2
    container_name: logstash
    ports:
       - 4560:4560
    privileged: true
    environment:
      - TZ=Asia/Shanghai
    volumes:
      #挂载logstash的配置文件
      - /opt/docker_elk/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf 
    depends_on:
      - elasticsearch 
    links:
      #可以用es这个域名访问elasticsearch服务
      - elasticsearch:es 
    

  kibana:
    image: kibana:7.6.2
    container_name: kibana
    ports:
        - 5601:5601
    privileged: true
    links:
      #可以用es这个域名访问elasticsearch服务
      - elasticsearch:es 
    depends_on:
      - elasticsearch 
    environment:
      #设置访问elasticsearch的地址
      - elasticsearch.hosts=http://es:9200 
   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54

这里使用privileged设置为true是赋予这个容器root权限。然后启动

sudo docker-compose up -d
1

在启动时，如果Elasticsearch启动报错，说/usr/share/elasticsearch/data下的文件无权限，那么需要给宿主机授予读写权限

chmod 777 /opt/docker_elk/elasticsearch/data
1

在启动时，如果Elasticsearch启动报错，说/usr/share/elasticsearch/data下的文件无权限，那么需要给宿主机授予读写权限

chmod 777 /opt/docker_elk/elasticsearch/data
1

6.打开kibana

输入http://xxx.xxx.x.xxx:5601，访问Kibana web界面。点击左侧设置，进入Management界面

7.收集日志

新建一个springboot的项目，需要导入web的依赖

<dependency>    <groupId>org.springframework.boot</groupId>    <artifactId>spring-boot-starter-web</artifactId></dependency>
1

除此之外，需要导入logstash的依赖：

<!--集成logstash--><dependency>    <groupId>net.logstash.logback</groupId>    <artifactId>logstash-logback-encoder</artifactId>    <version>6.6</version></dependency>
1

logback是SpringBoot自带的日志，只要导入了web的依赖即可使用。

1）在测试包下新建一个测试类和测试方法

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.junit.jupiter.api.Test;
import org.springframework.boot.test.context.SpringBootTest;

@SpringBootTest
public class AppTest {

    //创建日志对象
    Logger logger = LogManager.getLogger(this.getClass());

    @Test
    public void test1() {
        logger.info("logback的日志信息过来了");
        logger.error("logback的错误信息过来了");
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

2）在需要目录新建logback-spring.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration>
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
    <include resource="org/springframework/boot/logging/logback/console-appender.xml"/>
    <!--应用名称-->
    <property name="APP_NAME" value="springboot-logback-elk-demo"/>
    <!--日志文件保存路径-->
    <property name="LOG_FILE_PATH" value="${LOG_FILE:-${LOG_PATH:-${LOG_TEMP:-${java.io.tmpdir:-/tmp}}}/logs}"/>
    <contextName>${APP_NAME}</contextName>
    <!--每天记录日志到文件appender-->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${LOG_FILE_PATH}/${APP_NAME}-%d{yyyy-MM-dd}.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>${FILE_LOG_PATTERN}</pattern>
        </encoder>
    </appender>
    <!--输出到logstash的appender-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--可以访问的logstash日志收集端口-->
        <destination>xxx.xxx.xx.xxx:4560</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
    </appender>
    <root level="INFO">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="FILE"/>
        <appender-ref ref="LOGSTASH"/>
    </root>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

3）启动测试方法，然后点击index Patterns后，点击创建索引

4）点击创建索引，

5）创建名称为logstash-的index，此名字是在配置文件logstash.conf中配置的。上述配置的是logstash-%{+YYYY.MM.dd}，故这里使用代替日期


6）然后在Next Step(下一步)中选择@timestamp的filter

7）创建完成之后，点击Discover，并选择刚才创建的index

8）查看kibana的日志信息

到此已完成配置

8.使用log4j2记录日志

1）排除logback并导入依赖

<dependency>    <groupId>org.springframework.boot</groupId>    <artifactId>spring-boot-starter</artifactId>    <exclusions>        <!-- 引入log4j日志时需去掉默认的logback -->        <exclusion>            <groupId>org.springframework.boot</groupId>            <artifactId>spring-boot-starter-logging</artifactId>        </exclusion>    </exclusions></dependency><!-- 日志管理log4j2 --><dependency>    <groupId>org.springframework.boot</groupId>    <artifactId>spring-boot-starter-log4j2</artifactId>    <version>2.1.0.RELEASE</version></dependency>
1

2）在资源目录下新建log4j2.xml

<?xml version="1.0" encoding="UTF-8"?>

<configuration status="info">
    <Properties>
        <!-- 声明日志文件存储的目录 -->
        <Property name="LOG_HOME">E:\logs</Property>
        <Property name="LOG_PATTERN"
                  value="%date{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%thread][%class{36}:%line] - %msg%n"></Property>
    </Properties>

    <Appenders>
        <!--输出控制台的配置-->
        <Console name="Console" target="SYSTEM_OUT">
            <!--控制台只输出level及以上级别的信息（onMatch），其他的直接拒绝（onMismatch）-->
            <ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
            <!-- 输出日志的格式-->
            <PatternLayout pattern="${LOG_PATTERN}"/>
        </Console>

        <!--这输出日志到文件的配置，每次大小超过size，则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩，作为存档-->
        <RollingFile name="RollingFile" fileName="${LOG_HOME}\app_${date:yyyy-MM-dd}.log"
                     filePattern="${LOG_HOME}\${date:yyyy-MM}\app_%d{yyyy-MM-dd}_%i.log">
            <ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
            <!-- 输出日志的格式-->
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <!-- 日志文件大小 -->
            <SizeBasedTriggeringPolicy size="20MB"/>
            <!-- 最多保留文件数 -->
            <DefaultRolloverStrategy max="30"/>
        </RollingFile>

        <!--输出到logstash的appender-->
        <Socket name="Socket" host="xxx.xxx.xx.xxx" port="4560" protocol="TCP">
            <!--输出到logstash的日志格式-->
            <PatternLayout pattern="${LOG_PATTERN}"/>
        </Socket>
    </Appenders>

    <!--然后定义Logger，只有定义了Logger并引入的Appender，Appender才会生效。Root中level配置了日志级别，可配置其他级别-->
    <Loggers>
        <Root level="info">
            <AppenderRef ref="Console"/>
            <AppenderRef ref="RollingFile"/>
            <AppenderRef ref="Socket"/>
        </Root>
    </Loggers>

</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

logstash 指定host 与配置文件相同

9.功能提升

9.1 汉化Kibana

在使用Kibana界面时，发现都是英文的，实际上是可以配置中文版。方法如下：

1）进入容器内部

sudo docker exec -it kibana bash
1

2）打开配置文件

vi /opt/kibana/config/kibana.yml
1

3）在配置文件最后添加一行，设置语言是中文

i18n.locale: zh-CN
1

需要注意的是，zhe-CN和:号之间必须有个空格，否则kibana无法启动。

9.2 自定义日志过滤

对应logstash，默认是格式是使用的logback的默认格式，一旦使用log4j2或其他日志框架来指定日志的输出格式时，那么logstash便无法解析，需要进行自定义过滤。

上述章节使用log4j2配置的输出格式进行日志收集时，定义的格式：

它把所有的信息都记录在message上了如下图：

但实际上并吧需要这么多的信息，只需具体的信息，因此需要手动对日志格式过滤。

日志过滤
1）修改日志输出的格式。紧接着时间的后面的一个参数必须使用中括号包裹，否则解析有问题

将log4j2.xml的日志输出格式修改如下：

<Property name="LOG_PATTERN"
                  value="%date{yyyy-MM-dd HH:mm:ss.SSS} [%-5level] [%thread][%class{36}:%line] - %msg%n"></Property>
1
2

2）在logstash.conf中添加过滤规则：

filter {

    grok {
        match => {
            message => "%{DATA:datetime}\ \[%{DATA:level}\]\ \[%{DATA:class}\] - %{GREEDYDATA:logger}"
            remove_field =>[ "message" ]
        }
    }
    date {
        match => ["datetime", "yyyy-MM-dd HH:mm:ss.SSS"]
    }
    if "_grokparsefailure" in [tags]    {
        drop {}
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

其中grok是根据正则来匹配日志的，data是指定上面时间的格式，if是用于将解析失败的信息删除。

grok的正则语法在次略，其可以在kibana界面进行验证。打开在dev Tools，选择Grok Debugger，输入数据和规则点击模拟进行验证和解析

3）重启logstash后，再打印日志，把日志推送到过去，在kibana中筛选level和logger进行查看（logger是具体的信息，在配置grok时指定的），看到信息已正常解析

安装插件multiline

运行时会发生异常，把异常的错误信息通过日志推送到logstash

但在kibana中却看不到详细的信息

主要原因是错误信息换行输出的，对于上述配置的logstash会解析失败，故不会显示，因此需要安装插件multiline将多行合并为一行输出。

2）安装multiline

进入logstash容器内部，查看是否已安装multiline

logstash-plugin list
1

若没有安装过，则进行安装

logstash-plugin install logstash-filter-multiline
1

安装完成后在logstash.conf中的filter配置

multiline {
        pattern => "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}"
        negate => true
        what => "previous"
    }
1
2
3
4
5

配置后重启logstash，再次执行方法，会发现错误日志已正常记录

需要注意的是，必须先安装multiline才能重启logstash，否则只配置logstash.conf会导致logstash无法启动。
1