Filebeat日志采集到Elasticsearch集群-福福不服

一、安装Filebeat

注意：所有版本需要一直，我这里Elasticsearch是7.10.1，包括后期的Logstash那些都需要版本一致。

我在/data下新建了一个filebeat目录

下载并解压filebeat

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.1-linux-x86_64.tar.gz
tar xzvf filebeat-7.10.1-linux-x86_64.tar.gz

进入解压后的filebeat目录，嫌目录文件名长的话可以用mv命令修改一下。

[root@postgresql filebeat]# cd filebeat-7.10.1-linux-x86_64

二、配置Filebeat

解压后就是已经安装好了，接下来配置filebeat

在目录下可以看见有个filebeat.yml文件，默认是不启用的。

编辑配置文件filebeat.yml

vim filebeat.yml

修改filebeat.inputs输入设置

将enabled设置为True，默认关闭的

paths的路径就是你要收集的日志文件路径。

filebeat.inputs:

# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.

- type: log

  # Change to true to enable this input configuration.
  enabled: true

  # Paths that should be crawled and fetched. Glob based paths.
  paths:
    - /data/logs/*.log
    #- c:\programdata\elasticsearch\logs\*

接着修改output.elasticsearch输出设置

这里我是通过filebeat直接推到Elasticsearch，默认也是推到Elasticsearch的，其它地方都是注释掉的。

hosts：设置你的Elasticsearch地址，将localhost替换为你的es地址，我这里是都在本机。

index：默认是没有的，这里设置索引格式为ffbf_nginx-版本号-日期，默认格式为filebeat-版本号-日期。

setup.template.name :模板的名称。默认是filebeat。 Filebeat 版本始终附加到给定名称，因此最终名称为 filebeat-%{[agent.version]}。

setup.template.pattern :应用到默认索引设置的模板模式。默认模式是 filebeat-*。 Filebeat 版本始终包含在模式中，所以最终的模式是 filebeat-%{[agent.version]}-*。通配符 -* 用于匹配所有每日索引。

setup.ilm.enabled ：对 Filebeat 创建的任何新索引启用或禁用索引生命周期管理。有效值为 true、false 和 auto。当在 7.0 及更高版本上指定 auto（默认）时，如果 Elasticsearch 中启用了该功能并且具有所需的许可证，Filebeat 会自动使用索引生命周期管理；否则，Filebeat 将创建每日索引。

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["localhost:9200","localhost:9201","localhost:9202"]
  index: "ffbf_nginx-%{[agent.version]}-%{+yyyy.MM.dd}"
#注意:自定义索引就必须配置下面的参数,下面3项配置不要和index平齐,放在顶格不然启动报错.
setup.template.name: "ffbf_nginx"
setup.template.pattern: "ffbf_nginx-*"
setup.ilm.enabled: false

:wq保存退出