rsyslog详解

这边使用的是3A服务器

一、日志介绍

日志概念

 

日志是系统用来记录系统及应用程序运行时的一些相关信息的文本文件

 

日志作用

 

日志是为了保存相关程序的运行状态、错误信息等，为了对系统进行分析、保存历史记录以及在出现错误时发现、分析错误使用

 

linux系统日志类型

 

内核信息

 

服务信息

 

应用程序信息

 

二、rsyslog

1、rsyslog介绍

rsyslog是linux系统中用来实现日志功能的服务。默认已经安装，并且自动启用。

 

作用：主要用来采集日志，不生产日志

 

其特性包括：

 

    支持输出日志到各种数据库，如MySQL，PostgreSQL，MongoDB ElasticSearch，等等；

    

    通过RELP + TCP实现数据的可靠传输（基于此结合丰富的过滤条件可以建立一种 可靠的数据传输通道供其他应用来使用）；

    

    精细的输出格式控制以及对消息的强大过滤能力；

 

    高精度时间戳；队列操作（内存，磁盘以及混合模式等）；支持数据的加密和压缩传输等。

2、rsyslog概念

facility

 

设施，用来定义日志消息的来源，方便对日志进行分类

 

日志类型    日志内容

kern    内核信息

user    用户程序产生的相关信息

mail    邮件系统信息

daemon    守护进程产生的信息

auth    pam认证系统信息

syslog    日志系统自身信息

authpriv    ssh、ftp等登录信息

cron    系统执行定时任务产生的信息

lpr    打印相关信息

mark    服务内部的信息，时间标识

uucp    Unix-to-Unix Copy两个unix之间的相关通信

local0-local7    保留，本地使用

priority

 

日志级别，定义不同消息的级别

 

日志等级    说明（级别从低到高，记录信息越来越少）

0    debug    包含详细的开发情报的信息，通常只在调试一个程序时使用。

1    info    通用性信息，一般用来提供有用信息，

2    notice    正常信息，但是较为重要，可能需要处理

3    warning    警告信息

4    error/err    错误信息，某个功能或者模块不能正常工作的信息

5    crit    严重级别，系统或整个软件不能正常工作的信息，例如硬盘错误

6    alert    需要立刻修改的信息，如系统数据库被破坏，ISP连接丢失。

7    emerg    紧急情况，内核奔溃等重要信息

none    什么也不记录

日志设施的配置

 

符号    说明

.    比后面还要高的信息等级都会记录下来

.=    只有后面这个消息等级会被记录下来

.!    除了后面的消息等级，其他的都会被记录下来（注意前面需要先有其他过滤规则，否则什么不记录）

3、rsyslog配置

rsyslog.conf组成

modules，模块，配置加载的模块，如：ModLoad imudp.so配置加载UDP传输模块

 

global directives，全局配置，配置ryslog守护进程的全局属性，比如主信息队列大小（MainMessageQueueSize）

 

rules，规则（选择器+动作），每个规则行由两部分组成，selector部分和action部分，这两部分由一个或多个空格或tab分隔，selector部分指定源和日志等级，action部分指定对应的操作

 

模板（templates）

 

输出（outputs）

 

常用modules

imudp，传统方式的UDP传输，有损耗

imtcp，基于TCP明文的传输，只在特定情况下丢失信息，并被广泛使用

imrelp，RELP传输，不会丢失信息，但只在rsyslogd 3.15.0及以上版本中可用

规则（rules）

规则选择器（selectors）

 

selector也由两部分组成，设施和优先级，由点号.分隔。

 

第一部分为消息源或称为日志设施，第二部分为日志级别。

 

多个选择器用;分隔，如：*.info;mail.none。

 

动作（action）

action是规则描述的一部分，位于选择器的后面，规则用于处理消息

 

消息内容可以被写入到一个日志文件中，也可以写入到数据表表或转发到其他主机，还可以发送给主机用户(可以指定用户名，用*表示所有)

 

RULES配置示例

写入到本地文件中

 

facility.priority        action

 

# facility.priority  日志类型.级别

# action  保存位置(文件、用户、日志服务器)

 

 

#记录mail日志等级为error及以上日志

mail.err                            /var/log/mail_err.log

 

#将mail的所有信息，除了info以外，其他的都写入/var/adm/mail

mail.*;mail.!=info   /var/adm/mail

 

 

#紧急消息（emerg级别）将使用wall显示给当前所有登录的用户

*.=emerg           *

 

#该规则将所有alert以及更高级别的消息定向到操作员的终端，即登录的用户“root”和“joey”的终端。

*.alert      root,joey

 

#如果是日志服务器格式是：

*.* @192.168.100.1 (使用UDP协议发送)

*.* @@192.168.100.1 (使用TCP协议发送)

 

写入到mysql数据库中

 

# modules,要将日志写到mysql中需要加载ommysql模块

$ModLoad ommysql

 

# rule, send to mysql

#*.*       :ommysql:database-server,database-name,database-userid,database-password

*.*       :ommysql:127.0.0.1,Syslog,syslogwriter,topsecret

 

模板（templates）

模板允许你指定日志信息格式

 

也可用于生成动态文件名，或在规则中使用

 

**TEMPLATE_NAME：**模板的名字；

 

PROPERTY：rsyslog本身支持的一些属性参数。

#使用规则

$template TEMPLATE_NAME,"text %PROPERTY% more text", [OPTION]

 

 

##以时间字符串开头的文件

$template DynamicFile,"/var/log/test_logs/%timegenerated%-test.log"

 

##以年月日主机名为目录下的文件

$template DailyPerHostLogs,"/var/log/syslog/%$YEAR%/%$MONTH%/%$DAY%/%HOSTNAME%/messages.log"

 

##自定义日志内容格式

$template  LOGFMT,"%timegenerated%  %FROMHOST-IP%  %syslogtag%  %msg%\n"

 

##引用自定义的 动态文件名 中定义的内容

*.info ?DailyPerHostLogs

*.* ?DynamicFile

*.* /var/log/myinfo.log;LOGFMT

—模板元素属性

属性    说明

msg    日志的信息内容，message

hostname    打印该日志的主机名

source    hostname属性的别名

fromhost    接收的信息来自哪个节点。这里是dns解析的名字

fromhost-ip    接收的信息来自哪个节点，这里是ip，本地是127.0.0.1

syslogtag    日志记录目标

timegenerated    高精度显示日志时间

timesteamp    同timegenerated

timereported    日志中的时间戳

syslogseverity    日志严重性等级，数字形式表示

syslogseverity-text    日志严重性等级，文本形式表示

jsonmesg    整个日志对象作为json表示。可能出现数据重复，譬如syslogtag包含着programname，但两者都会分别表示。所以这个属性有一些额外开销，建议只有在实际需要的时候再用。

修改模板日志

 

vim /etc/rsyslog.conf

 

#创建一个名为cky_format的模板，其中TIMESTAMP:8:15表示timestamp属性值切片第八位到第十五位。

$template cky_format, "%$NOW% %TIMESTAMP:8:15% %hostname% %syslogseverity-text% %syslogtag% %msg%\n"

$ActionFileDefaultTemplate cky_format

 

#重启rsyslog

systemctl restart rsyslog

 

日志格式效果

 

# NOW | timestamp:8:15| hostname| syslogseverity-text | syslogtag | msg

2021-12-09 09:59:54 mycomputer    info    systemd:  Started System Logging Service.

#    时间戳         |     主机名  |日志等级|服务进程|   日志内容

 

三、rsyslog远程传输

1、UDP传输

Server端配置

/etc/rsyslog.conf

 

 

# Provides UDP syslog reception

$ModLoad imudp

$UDPServerRun 514

$AllowedSender UDP, 192.168.80.0/24

 

# This one is the template to generate the log filename dynamically, depending on the client's IP address.

#根据客户端的IP单独存放主机日志在不同目录，syslog需要手动创建

$template Remote,"/var/log/syslog/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"

 

# Log all messages to the dynamically formed file.

:fromhost-ip, !isequal, "127.0.0.1" ?Remote

#排除本地主机IP日志记录，只记录远程主机日志

#注意此规则需要在其它规则之前，否则配置没有意义，远程主机的日志也会记录到Server的日志文件中

2、TCP传输

Server端配置

 

# Provides TCP syslog reception

$ModLoad imtcp

$InputTCPServerRun 514

$AllowedSender TCP, 192.168.80.0/24

 

# This one is the template to generate the log filename dynamically, depending on the client's IP address.

$template Remote,"/var/log/syslog/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"

 

# Log all messages to the dynamically formed file.

 

:fromhost-ip, !isequal, "127.0.0.1" ?Remote

 

Client端配置

 

/etc/rsyslog.conf

 

*.* @@192.168.80.130