Linux下Logstash与Elasticsearch集成

Logstash、Elasticsearch 和 Kibana（简称 ELK Stack）是一套开源的日志管理工具

1. 安装 Logstash：

在 Linux 系统上，你可以使用包管理器（如 apt 或 yum）来安装 Logstash。以下是在基于 Debian 的系统（如 Ubuntu）上安装 Logstash 的命令：

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.list sudo apt update sudo apt install logstash 

2. 配置 Logstash：

创建一个新的 Logstash 配置文件（例如：/etc/logstash/conf.d/logstash-elasticsearch.conf），并添加以下内容：

input {   file {     path => "/path/to/your/log/files/*.log"     start_position => "beginning"   } }  filter {   # 根据你的日志格式添加相应的过滤器   grok {     match => { "message" => "%{COMBINEDAPACHELOG}" }   } }  output {   elasticsearch {     hosts => ["localhost:9200"]     index => "your_index_name-%{+YYYY.MM.dd}"   } } 

这个配置文件定义了一个输入（从文件中读取日志）、一个过滤器（解析日志格式）和一个输出（将解析后的日志发送到 Elasticsearch）。

3. 安装 Elasticsearch：

在 Linux 系统上，你可以使用包管理器（如 apt 或 yum）来安装 Elasticsearch。以下是在基于 Debian 的系统（如 Ubuntu）上安装 Elasticsearch 的命令：

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.list sudo apt update sudo apt install elasticsearch 

4. 配置 Elasticsearch：

编辑 Elasticsearch 的配置文件（例如：/etc/elasticsearch/elasticsearch.yml），并添加以下内容：

network.host: localhost http.port: 9200 

5. 启动 Logstash 和 Elasticsearch：

在命令行中运行以下命令来启动 Logstash 和 Elasticsearch：

sudo systemctl start logstash sudo systemctl start elasticsearch 

现在，Logstash 已经与 Elasticsearch 集成，并开始从日志文件中读取数据并将其发送到 Elasticsearch。你可以使用 Kibana 来可视化和分析这些数据。