docker是k8s 编排必备容器工具（Docker部署ELK7.3.0日志收集服务最佳实践）

# 修改配置sysctl.conf
vi /etc/sysctl.conf
# 添加下面配置：
vm.max_map_count=262144
# 重新加载：
sysctl -p
# 最后重新启动elasticsearch，即可启动成功。

# 安装依赖工具bash-complete
yum install -y bash-completion
ource /usr/share/bash-completion/completions/docker
source /usr/share/bash-completion/bash_completion

mkdir -p {/mnt/es1/master/data,/mnt/es1/master/logs}
vim /mnt/es1/master/conf/es-master.yml

# 集群名称
cluster.name: es-cluster
# 节点名称
node.name: es-master
# 是否可以成为master节点
node.master: true
# 是否允许该节点存储数据,默认开启
node.data: false
# 网络绑定
network.host: 0.0.0.0
# 设置对外服务的http端口
http.port: 9200
# 设置节点间交互的tcp端口
transport.port: 9300
# 集群发现
discovery.seed_hosts:
 - 172.17.0.2:9300
 - 172.17.0.3:9301
# 手动指定可以成为 mater 的所有节点的 name 或者 ip，这些配置将会在第一次选举中进行计算
cluster.initial_master_nodes:
 - 172.17.0.2
# 支持跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
# 安全认证
xpack.security.enabled: false
#http.cors.allow-headers: "Authorization"
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

#解决跨域问题
#http.cors.enabled: true
#http.cors.allow-origin: "*"
#http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE
#http.cors.allow-headers: "X-Requested-With, Content-Type, Content-Length, X-User"

# 拉取镜像，可以直接构建容器，忽略此步
docker pull elasticsearch:7.3.0

# 构建容器
## 映射5601是为Kibana预留的端口
docker run -d -e ES_JAVA_OPTS="-Xms256m -Xmx256m" \
-p 9200:9200 -p 9300:9300 -p 5601:5601 \
-v /mnt/es1/master/conf/es-master.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mnt/es1/master/data:/usr/share/elasticsearch/data \
-v /mnt/es1/master/logs:/usr/share/elasticsearch/logs \
-v /etc/localtime:/etc/localtime \
--name es-master elasticsearch:7.3.0

mkdir -p {/mnt/es1/slave1/data,/mnt/es1/slave1/logs}
vim /mnt/es1/slave1/conf/es-slave1.yml

# 集群名称
cluster.name: es-cluster
# 节点名称
node.name: es-slave1
# 是否可以成为master节点
node.master: true
# 是否允许该节点存储数据,默认开启
node.data: true
# 网络绑定
network.host: 0.0.0.0
# 设置对外服务的http端口
http.port: 9201
# 设置节点间交互的tcp端口
transport.port: 9301
# 集群发现
discovery.seed_hosts:
 - 172.17.0.2:9300
 - 172.17.0.3:9301
# 手动指定可以成为 mater 的所有节点的 name 或者 ip，这些配置将会在第一次选举中进行计算
cluster.initial_master_nodes:
 - 172.17.0.2
# 支持跨域访问
http.cors.enabled: true
http.cors.allow-origin: "*"
# 安全认证
xpack.security.enabled: false
#http.cors.allow-headers: "Authorization"
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

# 拉取镜像，可以直接构建容器，忽略此步
docker pull elasticsearch:7.3.0

# 构建容器
docker run -d -e ES_JAVA_OPTS="-Xms256m -Xmx256m" \
-p 9201:9200 -p 9301:9300 \
-v /mnt/es1/slave1/conf/es-slave1.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mnt/es1/slave1/data:/usr/share/elasticsearch/data \
-v /mnt/es1/slave1/logs:/usr/share/elasticsearch/logs \
-v /etc/localtime:/etc/localtime \
--name es-slave1 elasticsearch:7.3.0

# 查看主从容器IP
docker inspect es-master
docker inspect es-slave1

docker restart es-master

docker restart es-slave1

# 查看es日志

docker logs -f --tail 100f es-master

vim /mnt/kibana.yml
#
## ** THIS IS AN AUTO-GENERATED FILE **
##
#
## Default Kibana configuration for docker target
server.name: kibana
#配置Kibana的远程访问
server.host: "0.0.0.0"
#配置es访问地址
elasticsearch.hosts: [ "http://127.0.0.1:9200" ]
#汉化界面
i18n.locale: "zh-CN"

#xpack.monitoring.ui.container.elasticsearch.enabled: true

docker ps|grep es-master

# 拉取镜像，可以直接构建容器，忽略此步
docker pull docker.elastic.co/kibana/kibana:7.3.0

# 构建容器
## --network=container 表示共享容器网络
docker run -it -d \
-v /mnt/kibana.yml:/usr/share/kibana/config/kibana.yml \
-v /etc/localtime:/etc/localtime \
-e ELASTICSEARCH_URL=http://172.17.0.2:9200 \
--network=container:40eff5876ffd \
--name kibana docker.elastic.co/kibana/kibana:7.3.0

docker logs -f --tail 100f kibana

input {
  # 来源beats
  beats {
    # 端口
    port => "5044"
  }
}
# 分析、过滤插件，可以多个
filter {
  grok {
	# grok 表达式存放的地方
	patterns_dir => "/grok"
	
	# grok 表达式重写
    # match => {"message" => "%{SYSLOGBASE} %{DATA:message}"}
	
	# 删除掉原生 message字段
	overwrite => ["message"]

  # 定义自己的格式
	match => {
		"message" => "%{URIPATH:request} %{IP:clientip} %{NUMBER:response:int} \"%{WORD:sources}\" (?:%{URI:referrer}|-) \[%{GREEDYDATA:agent}\] \{%{GREEDYDATA:params}\}"
	}
  }
 # 查询归类插件
 geoip {
    source => "message"
  }
}
output {
	# 选择elasticsearch
	elasticsearch {
		# es 集群
		hosts => ["http://172.17.0.2:9200"]
      #username => "root"
      #password => "123456"

		# 索引格式
		index => "omc-block-server-%{[@metadata][version]}-%{+YYYY.MM.dd}"

		# 设置为true表示如果你有一个自定义的模板叫logstash，那么将会用你自定义模板覆盖默认模板logstash
		template_overwrite => true
	}
}

# 拉取镜像，可以直接构建容器，忽略此步
docker pull logstash:7.3.1 

# 构建容器
# xpack.monitoring.enabled 打开X-Pack的安全和监视服务
# xpack.monitoring.elasticsearch.hosts 设置ES地址，172.17.0.2为es-master容器ip
# docker允许在容器启动时执行一些命令，logsatsh -f 表示通过指定配置文件运行logstash，/usr/share/logstash/config/logstash-sample.conf是容器内的目录文件

docker run -p 5044:5044 -d \
-v /mnt/logstash-filebeat.conf:/usr/share/logstash/config/logstash-sample.conf \
-v /etc/localtime:/etc/localtime \
-e elasticsearch.hosts=http://172.17.0.2:9200 \
-e xpack.monitoring.enabled=true \
-e xpack.monitoring.elasticsearch.hosts=http://172.17.0.2:9200 \
--name logstash logstash:7.3.1 -f /usr/share/logstash/config/logstash-sample.conf

input {
  # 来源beats
  beats {
    # 端口
    port => "5044"
  }
  file {
    type => "server-log"
    path => "/logs/*.log"
    start_position => "beginning"
    codec=>multiline{
        // 正则表达式，所有“20”前缀日志, 如果你的日志是以“[2020-06-15”这类前缀则，可以替换成"^["
        pattern => "^20"
        // 是否对正则规则取反
        negate => true
        // previous 表示合并到上一行，next 表示合并到下一行
        what => "previous"
    }

  }
}

## /mnt/omc-dev/logs 为应用日志目录，必须将应用的部署目录映射出来
mkdir -p {/mnt/omc-dev/logs,/mnt/filebeat/logs,/mnt/filebeat/data}
vim /mnt/filebeat/filebeat.yml

filebeat.inputs:
- type: log
 enabled: true
 paths:
  # 当前目录下的所有.log文件
  - /home/project/spring-boot-elasticsearch/logs/*.log
 multiline.pattern: '^20'
 multiline.negate: true
 multiline.match: previous

logging.level: debug

filebeat.config.modules:
 path: ${path.config}/modules.d/*.yml
 reload.enabled: false

setup.template.settings:
 index.number_of_shards: 1

setup.dashboards.enabled: false

setup.kibana:
 host: "http://172.17.0.2:5601"

# 不直接传输至ES
#output.elasticsearch:
# hosts: ["http://es-master:9200"]
# index: "filebeat-%{[beat.version]}-%{+yyyy.MM.dd}"

output.logstash:
 hosts: ["172.17.0.5:5044"]

#scan_frequency: 1s
close_inactive: 12h
backoff: 1s
max_backoff: 1s
backoff_factor: 1
flush.timeout: 1s

processors:
 - add_host_metadata: ~
 - add_cloud_metadata: ~

# 拉取镜像，可以直接构建容器，忽略此步
docker pull docker.elastic.co/beats/filebeat:7.3.0

# 构建容器
## --link logstash 将指定容器连接到当前连接，可以设置别名，避免ip方式导致的容器重启动态改变的无法连接情况，logstash 为容器名
docker run -d -v /mnt/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /mnt/omc-dev/logs:/home/project/spring-boot-elasticsearch/logs \
-v /mnt/filebeat/logs:/usr/share/filebeat/logs \
-v /mnt/filebeat/data:/usr/share/filebeat/data \
-v /etc/localtime:/etc/localtime \
--link logstash --name filebeat docker.elastic.co/beats/filebeat:7.3.0

docker logs -f --tail 100f filebeat