カーネル、SSH、Webにメールと、さまざまな形のログに対応したrsyslog

rsyslogとはサーバ上のさまざまなログ収集を一手に引き受けるソフトです。

エラーが起きた時にメールで通知したり、データベースで利用可能な形に変更する事もできます。上手く利用すれば、サーバの管理は劇的に楽になります。

---

目次

rsyslogとはなにか
rsyslogの動作確認
rsyslogの設定ファイル
グローバル・ディレクティブについて
モジュール・ディレクティブについて
ルールについて
プロパティベースのフィルター
式ベースのフィルター
アクション

---

rsyslogとはなにか

これについてはRed Hatによる解説が端的で解りやすいので、そのまま引用させてもらいます。

Red Hatによると

rsyslog は sysklogd と同じ機能を持ちながら、強化されたフィルタリング、暗号化で保護されたメッセージのリレー、各種設定オプション、TCP または UDP プロトコルによる転送のサポートにより拡張します。rsyslog と sysklogd は互換性がある点に注意して下さい。

Red Hat ログファイルの表示と管理 より

つまりログ収集と言えばsysklogdでしたが、これからのログ収集はrsyslogで決まり！ということです。

---

rsyslogの動作確認

まずはインストール済みか確かめるために、バージョンを調べます。

# /sbin/rsyslogd -v
rsyslogd 4.4.2, compiled with:
        FEATURE_REGEXP:                         Yes
        FEATURE_LARGEFILE:                      Yes
        FEATURE_NETZIP (message compression):   Yes
        GSSAPI Kerberos 5 support:              Yes
        FEATURE_DEBUG (debug build, slow code): No
        Atomic operations supported:            Yes
        Runtime Instrumentation (slow code):    No

See http://www.rsyslog.com for more information.

どうやら4.4.2がインストールされているようです。インストールされていない場合は以下のコマンドでインストールしておいてください。（syslogがインストールされている場合は停止して関連ファイルを削除してください）

# yum install rsyslog

---

rsyslogの設定ファイル

早速設定ファイルを見ていきます。設定ファイルは以下のコマンドで表示することができます。

# cat /etc/rsyslog.conf

設定ファイルは「グローバル・ディレクティブ」「モジュール・ディレクティブ」「ルール」の3つからなっています。それぞれの構文について見ていきます。

---

グローバル・ディレクティブについて

rsyslog全体の設定をします。ログのタイムアウトに関する調整や、負荷の調整等を行います。

「rsyslog.conf」では以下の行から下がグローバル・ディレクティブの設定になります。

#### GLOBAL DIRECTIVES ####

書式

行頭に$を付けて、1行に1つという構成で記述します。

例）rsyslogメッセージキューの最大サイズを指定

$MainMsgQueueSize 50000

別のグローバル指示文についてのマニュアルは以下のディレクトリを参照。

/usr/share/doc/rsyslog-<version-number>/rsyslog_conf_global.html

バージョン4.4.2なら以下のようになる。

/usr/share/doc/rsyslog-4.4.2/rsyslog_conf_global.html

たくさん項目がありますが、普通にログを取るだけならデフォルトの設定で問題ありません。

---

モジュール・ディレクティブについて

rsyslogは多くのモジュールを使って管理します。
この仕組のお陰で書式の違うログをrsyslogで一元管理することができます。例えば「カーネルのログとメールのログを別のサーバのSQLに出力する」ということも可能です。

「rsyslog.conf」では以下の行から下がモジュール・ディレクティブの設定になります。

#### MODULES ####

書式

$ModLoad MODULE_name

モジュールには以下のものがあります。

入力モジュール	様々なソースから情報を収集するモジュール。 Inputの頭文字を取ってinという接頭辞ではじまる。例）imfile や imrelp
出力モジュール	データベースへの書き込み、ネットワークを介した書き込みの制御など。 Outputの頭文字を取ってouという接頭辞ではじまる。例）omsnmp や omrelp
フィルタ・モジュール	メッセージのフィルタリングをする。接頭辞 fm
パーサモジュール	構文解析などを行う。接頭辞 pm
メッセージ修正モジュール	メッセージの内容を変更する。接頭辞 mm
文字列ジェネレーターモジュール	メッセージの内容を基にして文字列を生成する。接頭辞 sm
ライブラリモジュール	他のロード可能なモジュールに機能性を提供する。

それぞれのモジュールについて詳しく知りたい方は、公式のモジュールページを参照してください。

---

ルールについて

どのソースから情報を取得するか、どのフィルターを利用するか、どこにログファイルに書きだすか、などのルールを決定します。
各種フィルターを用いることで必要なログだけを効率的に収集することができるようになります。

「rsyslog.conf」では以下の行から下がルールの設定になります。

#### RULES ####

ルールの書式

<FACILITY>.<PRIORITY>

ファシリティー（FACILITY）とはログメッセージを生成するサブシステム。メールであればmail。iptablesであればkernと言った具合にそれぞれソフトで決められています。

それぞれのファシリティーはコード番号で表現されることもある。対応するコード番号とファシリティーの一覧は以下のとおりです。

コード	Facility	意味
0	kern	カーネルメッセージ
1	user	ユーザーレベルメッセージ
2	mail	メール
3	daemon	デーモン
4	auth	セキュリティ認証
5	syslog	syslogサーバメッセージ
6	lpr	ランプリター
7	news	ネットニューズ
8	uucp	UUCP
9	cron	クーロンまどクロックデーモン
10	authpriv	セキュリティ認証（プライベート）
11	ftp	FTP
16~23	local0~7	ローカルの予約（任意の用途で利用可能）

プライオリティー（PRIORITY）は優先度を指定する。

それぞれのコード番号は以下のとおり。

コード	PRIORITY	意味
0	emerg	致命的
1	alert	警戒
2	crit	危機的
3	err	エラー
4	warning	警告
5	notice	通知
6	info	情報提供
7	debug	デバック

ファシリティーとプライオリティを組み合わせた実際の使用例

書式ばかりだと分かりにくいと思うので実際の使用例。

例）kern（カーネル）で書きだされたログの内、優先度debugのログを収集

kern.=debug

例）kern（カーネル）で書きだされた全ての優先順位のログを収集

kern.*

例）kern（カーネル）からinfoとdebugの値を削除したログ

kern.!info,!debug

---

プロパティベースのフィルター

ルールでは上記のファシリティーとプライオリティだけでなく、更に細かくプロパティベースのフィルターを使ってログを振り分けることができます。
例えばメールのログの内、特定のホスト宛のログだけ記録したい場合などに利用します。

プロパティベースのフィルターの書式

:<PROPERTY>, [!]<COMPARE_OPERATION>, "<STRING>"

それぞれの構文の意味と指定可能な項目は以下のとおりです。

<PROPERTY>（プロパティ）はログのどの部分から比較する情報を得るかを指定します。メッセージ（msg）やホスト名（hostname）、上で解説したファシリティ（syslogfacility-text）やプライオリティ（syslogpriority-text）も指定できます。

プロパティで利用できるマクロ一覧

msg	ログメッセージ
hostname	ログを出力したホストの名前
fromhost	ログを受け取ったホストの名前
programname	プログラム名
syslogfacility	ファシリティ（数字）
syslogfacility-text	ファシリティ（テキスト）
syslogseverity	プライオリティ（数字）
syslogseverity-text	プライオリティ（テキスト）
syslogpriority	syslogseverityと同等
syslogpriority-text	syslogseverity-textと同等
timegenerated	ログを受け取った日時
timereported	ログが出力された日時
timestamp	timereportedと同等
$now	現在時刻（書式：YYYY-MM-DD）
$year	現在の年（4けた）
$month	現在の月（2けた）
$day	現在の日（2けた）
$hour	現在の時（24時間表記、2けた）
$minute	現在の分（2けた）

<COMPARE_OPERATION>（コンペアオペレーション）属性は指定した文字列とどのように適合させるかを指定します。
必ず以下のいずれかの比較処理から選ぶ。

contains	指定された文字列が、プロパティにより提供されたテキストの一部にマッチするかどうかを確認します。
isequal	指定された文字列を、プロパティにより提供されたすべてのテキストと比較します。
startswith	指定された文字列が、プロパティにより提供されたテキストの接頭辞にマッチするかどうかを確認します。
regex	指定された POSIX BRE (Basic Regular Expression) 正規表現をプロバティにより提供されたテキストと比較します。
ereregex	指定された POSIX ERE (Extended Regular Expression) 正規表現をプロパティにより提供されたテキストと比較します。

<STRING>属性は比較する文字列を指定します。

例）メッセージの文字列に（接頭辞）IPTABLES PINGDEATHが含まれているもの

:msg, contains, "IPTABLES PINGDEATH"

例）メッセージテキスト内に文字列 errorがあるもの

:msg, contains, "error"

例）正規表現で「fatal .* error」を含まないもの（.*は任意の文字の0回以上の繰り返し。比較処理に!があるので否定になる）

:msg, !regex, "fatal .* error"

---

式ベースのフィルター

イコールやor演算子などを利用してマッチする場合にログを書き出す。比較対象の文字列が動的な場合などに有効。

ルールの書式

if <EXPRESSION> then <ACTION>

<EXPRESSION>属性には式を入れる。先頭に「$」を付けて、プロパティの比較に利用することができる。$msg startswith ‘DEVNAME’や$syslogfacility-text == ‘local0’など。
<ACTION>には式がtrueの場合に実行される動作を指定する。

※式ベースのフィルターは条件から動作までを1行で書く必要がある。一致させる文字列はシングルクォートで囲む必要がある。また、正規表現を使った式は利用できない。（その場合はプロパティベースのフィルターでregexを使う）

例）ログの文字列にtestを含まない

if not ( $msg contains 'test' ) then

例）ログの文字列にtestを含み、プライオリティがdebagの場合

if ( $msg contains 'test' ) and ( $syslogseverity-text == 'debag' ) then

---

アクション

上記のプライオリティやファシリティーまたはフィルターを使った一致する条件のことをまとめて「セレクタ」とよびます。そのセレクタの扱いを決めるのが「アクション」です。
ファイルへの書き込み、データベースへの書き込み、メールでの転送、外部サーバへの転送など、さまざまなアクションが用意されています。

アクションの書式

セレクタとアクションの間にはスペースかタブを挟みます。

<セレクタ> <アクション>

ファイル（ディレクトリ）へ書き出す方法

最もよく使う、基本的なアクションです。保存したいファイルをルートから指定します。

例）カーネルのログを/var/log/cron.logに書き出す

cron.* /var/log/cron.log

外部サーバへログデータを書き出す

ログはトラフィックが高くなると負荷が高くなり、サイズも膨大になります。そのためログを外部サーバへ書き出すこともあります。

外部サーバへログデータを書き出す書式

@[(<OPTION>)]<HOST>:[<PORT>]

「@（アットマーク）」は1つだとUDP、2つだとTCPで送信する。TCPのほうが正確なログ取得が可能で、安全性が高いため、使用が推奨されている。

<OPTION>属性は「z<NUMBER>」を指定する。ログのzlib圧縮が可能。NUMBERは圧縮レベルを指定する。
<HOST>属性はメッセージの送信先を指定。IPもしくはドメイン名を指定する。
<PORT>属性は送信するポートを指定する。

例）UDPで192.168.0.1へ転送

*.* @192.168.0.1

例）TCPで[2001::1]（IPv6）へ圧縮レベル9で転送

*.* @@(z9)[2001::1]

出力チャンネル

ログファイルのローテーションについて指定します。

便利な機能ですがローテートの指定はlogrotate.confがあるので、この機能は廃止予定だそうです。

出力チャンネルの書式

$outchannel <NAME>, <FILE_NAME>, <MAX_SIZE>, <ACTION>

<NAME>属性は、出力チャンネルの名前を指定します。
<FILE_NAME>属性は、出力ファイルの名前を指定します。
<MAX_SIZE>属性は、(<FILE_NAME> 内にある) 指定されたファイルが拡張できる最大サイズを表します。この値は バイト 単位で指定します。
<ACTION>属性は、<MAX_SIZE> で定義される最大サイズに到達した時に取るべき動作を指定します。

例）log_rotationという名前のチャネルを作成。/var/log/test_log.logにログを作成して、サイズが104857600になったら/home/joe/log_rotation_scriptを実行。

$outchannel log_rotation,/var/log/test_log.log, 104857600, /home/joe/log_rotation_script
*.* $log_rotation

特定ユーザーへの転送

複数のユーザーを指定するには、各ユーザー名をカンマ (,) で区切る。
致命的なエラーを特定のユーザーのコンソールに表示するようにしておけばログファイルを解析するまでもなく問題を把握できます。

例）user1とuser2のコンソールに表示

*.* user1,user2

プログラムの実行

プログラムへデータを渡すこともできる。プログラム名にキャレットを付けて実行する。ログを直接シェルスクリプトに渡せば手間を省くことができます。

例）テンプレートの形式で整形され、programへデータを渡す。

*.* ^program;template

※テンプレートについては後述

データベースへの書き込み

直接データベースへ書き込むこともできます。デフォルトではMySQLには対応していないので、モジュールを読み込む必要があります。

# MySQLの場合
$ModLoad ommysql 

# PostgreSQLの場合
$ModLoad ompgsql 

データベースへの書き込む際の書式

:<PLUGIN>:<DB_HOST>,<DB_NAME>,<DB_USER>,<DB_PASSWORD>;[<TEMPLATE>]

<PLUGIN> は、データベースの書き込みを処理する指定プラグインを呼び出します (例えば ommysql プラグイン)。
<DB_HOST> 属性は、データベースのホスト名を指定します。
<DB_NAME> 属性は、データベースの名前を指定します。
<DB_USER> 属性は、データベースのユーザーを指定します。
<DB_PASSWORD> 属性は、前述のデータベースユーザーが使用するパスワードを指定します。
<TEMPLATE> 属性は、オプションである syslog メッセージを修正するテンプレートの使用を指定します。※テンプレートについては後述

テンプレート

テンプレートでログを決まった形式で整えることができます。rsyslogで定義されているマクロを使うことができます。それぞれのマクロを「%」で囲むことで利用できます。ログメッセージの場合は「%msg%」など

テンプレートの書式

$template <TEMPLATE_NAME>,"text %<PROPERTY>% more text", [<OPTION>]

$templateはテンプレートであることを表す書式

<TEMPLATE_NAME>はテンプレートの名前を定義する。

「“”」で囲まれた範囲は、テキストの内容を表す。改行や”などを使う場合はエスケープ処理する必要がある。

[<OPTION>]はテンプレートを修正するオプションを指定する。SQLへデータを書き出すsql と stdsqlなど。

例）日時とログの内容を出力する

$template <TEMPLATE_NAME>,"日時：%timegenerated% 内容：%msg%\n"

---

以上でrsyslogの概要と、基本的な利用方法でした。

次のページでは「rsyslogを利用したログファイル作成と、logrotateを利用したログのローテーション」について解説します。