阅读量:0
logstash收集服务日志文件
一、logstash收集appache日志文件，转发到elasticsearch
1、建立在elk1、2、3搭建好elk架构基础之上 192.168.168.61 es1 2/4g 192.168.168.62 es2 2/4g 192.168.168.63 logstash kibana nginx/http 4/8g 三台开启服务 systemctl stop firewalld setenforce 0 elk为主收集日志服务器 yum源安装httpd服务，logstash实现日志收集，elasticsearch实现存储，kibana实现可视化。 yum -y install httpd cd /etc/logstash/conf.d vim http.conf input { file{ path => "/etc/httpd/logs/access_log" type => "access" start_position => "beginning" } file{ path => "/etc/httpd/logs/error_log" type => "error" start_position => "beginning" } } output { if [type] == "access" { elasticsearch { hosts => ["192.168.168.61:9200","192.168.168.62:9200"] index => "appache_access-%{+YYYY.MM.dd}" } } if [type] == "error" { elasticsearch { hosts => ["192.168.168.61:9200","192.168.168.62:9200"] index => "appache_error-%{+YYYY.MM.dd}" } } } logstash -f http.conf --path.data /opt/test3 & API接口：软件内部代码之间通信的接口 代码的连接点。
端口是对外提供访问程序的内容接口。
进入谷歌浏览器
访问192.168.168.63访问httpd
刷新几次后，到kibana查看日志
----------------------------------------------------------------------------------以上是收集appache日志文件---------------------------------------------------------------
二、logstash收集nginx日志文件，转发到elasticsearch
--------编译安装的nginx主机部署filebeat收集日志文件发送给logstash，logstash转让es1和es2接收，再让kibana可视化阅读----------------
2.1、filebeat轻量级日志收集服务
1、可以在本机收集日志
2、也可以远程收集日志
3、轻量级的日志收集系统，可以在非java环境运行
logstash是在jvm环境下，资源消耗很大，启动一个logstash要消耗500M左右的内存。
filebeat只消耗10M左右的内存。
[root@nginx1 opt]# mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat 配置文件vim /usr/local/filebbeat/filebeat.yml ##配置文件因为编译安装移动软件 [root@nginx1 opt]# systemctl stop firewalld [root@nginx1 opt]# setenforce 0 [root@nginx1 opt]# tar -xf filebeat-6.7.2-linux-x86_64.tar.gz [root@nginx1 opt]# mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat [root@nginx1 opt]# cd /usr/local/filebeat/ [root@nginx1 filebeat]# ls fields.yml filebeat.yml module README.md filebeat kibana modules.d filebeat.reference.yml LICENSE.txt NOTICE.txt [root@nginx1 filebeat]# vim filebeat.yml 21 - type: log 22 enabled: true 23 paths: 24 - /usr/local/nginx/logs/access.log 25 - /usr/local/nginx/logs/error.log ##开启日志收集，以及确定日志文本路径，指定标签和发送到目标主机的logstash 26 tags: ["nginx"] 27 fields: 28 service_name: 192.168.168.31_nginx ##定义日志的名称 29 log_type: nginx 30 from: 192.168.168.31 
151 #output.elasticsearch: ##注释 152 # Array of hosts to connect to. 153 # hosts: ["localhost:9200"] ##注释 
164 output.logstash: 165 # The Logstash hosts 166 hosts: ["192.168.168.63:5045"] ##日志发送到此日志收集服务器logstash 
5044 logstash默认的端口
端口范围是计算机网络通信中的一个重要概念，用于标识网络通信中的不同应用程序或服务。端口号通过一个16位的数字来表示，因此其范围是从0到65535。这些端口号可以根据其用途和分配方式进一步细分为不同的类别，具体如下： ### 端口号分类 1. 系统或保留端口（Well-Known Ports） ： - 范围：从0到1023。 - 用途：这些端口号通常分配给系统级或者熟知的服务和应用。例如，HTTP服务通常运行在端口80上，而HTTPS则是443。普通用户通常不拥有权限来绑定这些端口。 2. 注册端口（Registered Ports） ： - 范围：从1024到49151。 - 用途：这些端口号没有固定的用途，但对于一些无法使用系统端口的服务来说，这些端口号是预留的。有些软件企业会为自己的服务预留一些端口号。 3. 动态和/或私有端口（Dynamic or Private Ports） ： - 范围：从49152到65535。 - 用途：这些端口不被ICANN或IANA管理，可供任意使用，常用于客户端软件临时通讯，比如临时的端点。 ### 端口号的特殊用途 - **端口0**：通常不用于常规网络通信，但在某些特殊情况下用作服务请求的占位标识。 - **端口号80和443**：分别是HTTP和HTTPS通信的标准端口。 - **端口号25**：通常用于SMTP，即简单邮件传输协议，用于电子邮件发送。 - **端口号53**：通常用于DNS服务，即域名解析服务。 ### 端口号的使用注意事项 - 尽管每个端口号通常与某些特定的服务相关联，但任何端口都可以被任何服务或应用程序使用，前提是操作系统和网络策略允许。 - 管理员可以根据安全要求或配置更改端口号的分配，但应确保相关服务或应用程序能够正确识别和使用新的端口号。 ### 总结 端口范围是从0到65535，根据端口号的分配和使用方式，可以将其分为系统或保留端口、注册端口和动态或私有端口。这些端口号在计算机网络通信中起着至关重要的作用，用于标识不同的服务和应用程序。了解端口号的分类和用途有助于更好地管理和维护网络通信环境。 2.2、logstash设置文件识别标签，接收文件
logstash收集nginx的日志，接收filebeat发送过来的日志文件，识别指定的标签，进行接收。
1、建立在elk1、2、3搭建好elk架构基础之上
192.168.168.61 es1 2/4g
192.168.168.62 es2 2/4g
192.168.168.63 logstash kibana nginx/http 4/8g
[root@elk3 ~]# cd /etc/logstash/conf.d/ [root@elk3 conf.d]# vim nginx_31.conf input { beats { port => "5045"} } output { if "nginx" in [tags] { elasticsearch { hosts => ["192.168.168.61:9200","192.168.168.62:9200"] index => "%{[fields][service_name]}-%{+YYYY.MM.dd}" } } } [root@nginx1 filebeat]# pwd /usr/local/filebeat nohup ./filebeat -e -c filebeat.yml > filebeat.out & ##先启动nginx的filebeat轻量级收集日志服务 ##解释： nohup ./filebeat -e -c filebeat.yml > filebeat.out & -e：输出到标准输出 -c：指定配置文件 nohup：在系统的后台运行，不会因为终端的额关闭而停止，关闭xhell也不会关闭 可以把运行的日志保存到指定文件 [root@elk3 conf.d]# logstash -f nginx_31.conf --path.data /opt/test3 & 浏览器打开访问192.168.168.31（也就是nginx,filebeat服务器）
ps -aux | grep logstash ##查看logstash开启的后台进程
三、filebeat实现收集转发httpd、nginx、msqld的日志到logstash，logstash发送到es存储，kibana实现可视化读
1、建立在elk1、2、3搭建好elk架构基础之上
192.168.168.61 es1 2/4g
192.168.168.62 es2 2/4g
192.168.168.63 logstash kibana nginx/http 4/8g
192.168.168.11 编译安装mysql 编译安装nginx yum源安装httpd 编译拿安装filebeat
远程收集发送到logstash主机
192.168.168.11_mysqld-* ##mysql的日志需要在/etc/my.cnf下配置打开
192.168.168.11_nginx-*
192.168.168.11_httpd-*
-------------------以下操作均对nginx+mysql+http进行操作--------------------
vim /etc/my.cnf
max_allowed_packet=16M
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log ##数据库日志存储位置
server-id = 1
systemctl restart mysqld ##改完配置文件重启服务
yum -y install httpd ##yum源安装httpd
nginx端口和httpd服务端口一致
vim /usr/local/nginx/conf/nginx.conf ##编译安装nginx的配置文件目录
vim /etc/nginx/nginx.conf ##yum源安装的nginx的配置文件目录
server {
listen 81;##避免端口冲突，设置监听端口为81；
systemctl restart nginx.service ##改完配置文件重启服务
systemctl restart httpd ##重启服务
测试服务开启状态
curl 192.168.168.11 ##查看appache服务开启状态
或者浏览器访问
curl 192.168.168.11:81 ##查看nginx服务开启状态
编译安装filebeat，并配置文件
[root@mysql1 opt]# systemctl stop firewalld [root@mysql1 opt]# setenforce 0 [root@mysql1 opt]# tar -xf filebeat-6.7.2-linux-x86_64.tar.gz [root@mysql1 opt]# mv filebeat-6.7.2-linux-x86_64 /usr/local/filebeat [root@mysql1 opt]# cd /usr/local/filebeat/ [root@mysql1 filebeat]# ls fields.yml filebeat.yml module README.md filebeat kibana modules.d filebeat.reference.yml LICENSE.txt NOTICE.txt [root@mysql1 filebeat]# vim /usr/local/filebeat/filebeat.yml 21 - type: log 22 enabled: true 23 paths: 24 - /var/log/httpd/access_log 25 - /var/log/httpd/error_log 26 tags: ["httpd"] 27 fields: 28 service_name: 192.168.168.11_http 29 log_type: httpd 30 from: 192.168.168.11 31 32 - type: log 33 enabled: true 34 paths: 35 - /usr/local/nginx/logs/access.log 36 - /usr/local/nginx/logs/error.log 37 tags: ["nginx"] 38 fields: 39 service_name: 192.168.168.11_nginx 40 log_type: nginx 41 from: 192.168.168.11 42 43 - type: log 44 enabled: true 45 paths: 46 - /usr/local/mysql/data/mysql_general.log 47 tags: ["mysqld"] 48 fields: 49 service_name: 192.168.168.11_mysqld 50 log_type: mysqld 51 from: 192.168.168.11 171 #output.elasticsearch: 172 # Array of hosts to connect to. 173 # hosts: ["localhost:9200"] 184 output.logstash: 185 # The Logstash hosts 186 hosts: ["192.168.168.63:5048"] 
--------------------以上配置好filebeat的日志收集转发到logstash-----------------------
-----------------------------下面配置logstash的日志接收文件--------------------------
[root@elk3 ~]# cd /etc/logstash/conf.d/ [root@elk3 conf.d]# ls http.conf nginx_31.conf nmh_11.conf system.conf [root@elk3 conf.d]# vim nginx_31.conf input { beats { port => "5048"} } output { if "nginx" in [tags] { elasticsearch { hosts => ["192.168.168.61:9200","192.168.168.62:9200"] index => "%{[fields][service_name]}-%{+YYYY.MM.dd}" } } if "mysqld" in [tags] { elasticsearch { hosts => ["192.168.168.61:9200","192.168.168.62:9200"] index => "%{[fields][service_name]}-%{+YYYY.MM.dd}" } } if "httpd" in [tags] { elasticsearch { hosts => ["192.168.168.61:9200","192.168.168.62:9200"] index => "%{[fields][service_name]}-%{+YYYY.MM.dd}" } } } -------------------------以上配置文件已完成，下面开始启动，需要先启动filebeat服务，转发到logstash，再启动logstash--------------------------------
在filebeat主机上后台启动filebeat文件 [root@mysql1 ~]# cd /usr/local/filebeat/ [root@mysql1 filebeat]# ls data filebeat.out kibana modules.d fields.yml filebeat.reference.yml LICENSE.txt NOTICE.txt filebeat filebeat.yml module README.md [root@mysql1 filebeat]# nohup ./filebeat -e -c filebeat.yml > filebeat.out & 在logstash主机上启动，实现接收filebeat的日志文件 [root@elk3 conf.d]# pwd /etc/logstash/conf.d [root@elk3 conf.d]# logstash -f nmh_11.conf --path.data /opt/test3 & -----------------------------------以上服务全部启动完成----------------------------
测试：
浏览器打开访问192.168.168.31（也就是mysqld，httpd，nginx,filebeat服务器，此时http服务设置的是80端口，nginx设置81端口，mysqld的端口为3306）
logstash -f nginx_11.conf --path.data /opt/test3 &
