Redis抓取数据到Logstash再推到Elasticsearch集群

一、安装Logstash

前面安装过Logstash了，不做解释直接跳过

二、配置Logstash

在logstash目录下，编辑我们之前的配置文件logstash.conf

vim logstash.conf

input、output字面意思，从redis去拿取数据，输出到Elasticsearch

data_type：数据类型为list

key ：key叫redis_demo

db：15数据库

host：数据库地址

port：端口号

index：索引命名格式为redis_demo-日期

我这里是测试数据库，没有为redis设置密码，有密码需要多加个password参数指定密码

input {
  redis {
    data_type => "list"
    key => "redis_demo"
    host => "192.168.170.12"
    port => "6380"
    db => "15"
  }
}

output {
  elasticsearch {
    hosts => ["http://192.168.170.111:9200","http://192.168.170.111:9201","http://192.168.170.111:9202"]
    index => "redis_demo-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

保存退出后启动logstash

bin/logstash -f logstash.conf

三、Redis写入测试数据

连接Redis，进入15数据库，list类型，key叫redis_demo写入多个数据

192.168.170.12:6380[15]> LPUSH redis_demo "Monster"
(integer) 1
192.168.170.12:6380[15]> LPUSH redis_demo "他是真滴帅!!!"
(integer) 1
192.168.170.12:6380[15]> LPUSH redis_demo "哈哈哈哈!!!"
(integer) 1
192.168.170.12:6380[15]> LPUSH redis_demo "嘻嘻嘻嘻哈!!!"
(integer) 1
192.168.170.12:6380[15]> LPUSH redis_demo "biubiu比u哈!!!"
(integer) 1

前往Elastic-管理-索引管理，可以看到自动创建了个redis_demo-日期的索引

后面就老样子了，去创建个索引模式，匹配以redis_demo开头的索引

随后就可以在Discover查看了