Kodama's home / tips.

Linux サーバのチューニング

注意. 副作用あり. チューニングのトレードオフに注意.

一応動作するようになった後のチューニング. システムの負荷の状態や目的によってどのようにチューニングするかが変わる. トレードオフの考慮が必要な要因もあるので, 状態を調べながら調整する.

1. システムの確認
2. カーネルの応答性(カーネル プリエンプティブ)
3. Linux カーネル と vmware ESX サーバ
4. サーバの応答性(キャッシュの書き込み間隔,dirty_writeback_centisecs,dirty_expire_centisecs)
5. ext3 のジャーナルの調整(data=journal)
6. ディスクの負荷を軽減(noatime)
7. ディレクトリ参照を高速化(dir_index)
8. NFS スレッド数(/proc/fs/nfsd/threads)
9. カーネル ファイルディスクリプタ数(file-max)
10. カーネル スレッド数(threads-max)
11. LDAP 同時接続数(slapd.conf, threads,concurrency)
12. LDAP インデックスで高速化(slapd.conf, index)
13. Courier pop/imap 同時接続数(MAXPERIP)
14. smtp/postfix 同時接続数
15. smtp/postfix SPAM 対策

システムの確認

• Linux システムをいろいろ調べる
• 処理が遅い場合の調査
• プロセス,負荷: top
• 負荷: w
• ディスク入出力 等: vmstat 30
• プロセス: ps -ef
• プロセス: pstree
• メモリー使用量: free
• ソケット表示: netstat -an
• unix socket: netstat --unix
• inet port: netstat --inet
• tcp port: netstat --tcp
• プロセス 数: ps aux|wc -l
• プロセス 数(最大): cat /proc/sys/kernel/threads-max
• ファイルディスクリプタ数(最大): cat /proc/sys/fs/file-max
• ファイルディスクリプタ数: cat /proc/sys/fs/file-nr
• i-node 数: cat /proc/sys/fs/inode-nr
• ディスク容量(サイズ): df
• ディスク容量(i-node 数): df -i
• ディスク入出力速度: hdparm -tT /dev/sda
• ディスク使用量: du -s
• マウントの状態: mount -v
• 使用中のファイル: ls -lv /proc/(プロセス番号)/fd |sed -n 's/^.* -> //p'
• 使用中のファイル(ファイルのみを表示する場合): ls -lv /proc/(プロセス番号)/fd |sed -n 's:^.* -> /:/:p'
• 使用中のファイル: fuser -mv /

カーネルの応答性(カーネル プリエンプティブ)

数値計算等を目的とするサーバでは, ノンプリエンプティブ カーネルの方が CPUの利用効率が良い.

Linux カーネル と vmware ESX サーバ

カーネル空間の処理が重いので, タイマー割り込み, プロセス切替えなどの能力で問題が出る可能性がある. 性能が出ないからと云って 仮想CPU を増やすと, 割り込み処理が増えて, かえって嵌まるかも. 要調整.

サーバの応答性(キャッシュの書き込み間隔,dirty_writeback_centisecs,dirty_expire_centisecs)

ファイルの書き込みが多いサーバでは, ファイル キャッシュの書き込み間隔が長いと, 一度に大量のディスク書き込みが行われるため応答性が間欠的に悪くなる. ファイル キャッシュの書き込み間隔を短くすることで, 負荷は多少高くなるが, 一貫した応答性を持たせることができる.

ext3 のジャーナルの調整(data=journal)

通常, このオプションが無いと, i-node の整合性を保証するためのメタデータのみのジャーナルとなる.

同時にバッファキャッシュの書き込み間隔を調整すると良い. data=journal とするとジャーナルとファイル本体へのデータの2重書き込みになるので負荷が重くなるが, キャッシュの書き込み間隔を短くすると(サーバの応答性(キャッシュの書き込み間隔)), 他のプロセスに割り込まれる前に同じデータを扱う確率が高くなるので, 負荷の増大の一部を抑制できる可能性がある.

ディスクの負荷を軽減(noatime)

ディレクトリ参照を高速化(dir_index)

現在の状態を見るには tune2fs -l する.

設定するには tune2fs で dir_index を有効にした後, e2fsck -D する. 解除するには tune2fs で ^dir_index で無効にした後, e2fsck -D する. 当然だが, 作業中は当該のデバイスのマウントを外す. 又は,書き込み禁止でマウント.

# tune2fs -l /dev/sda2
...略
Filesystem features: has_journal resize_inode filetype needs_recovery sparse_super large_file
...略
# umount /dev/sda2
# tune2fs -O dir_index /dev/sda2
# e2fsck -D /dev/sda2
# mount -a
# tune2fs -l /dev/sda2
...略
Filesystem features: has_journal resize_inode dir_index filetype needs_recovery sparse_super large_file

NFS スレッド数(/proc/fs/nfsd/threads)

数値を確認.

# cat /proc/fs/nfsd/threads

nfsd の起動後でも変更できる.

# echo 150 > /proc/fs/nfsd/threads

カーネル ファイルディスクリプタ数(file-max)

# cat /proc/sys/fs/file-max

# echo "150000" > /proc/sys/fs/file-max

カーネル スレッド数(threads-max)

# cat /proc/sys/kernel/threads-max

# echo 50000 > /proc/sys/kernel/threads-max

LDAP 同時接続数(slapd.conf, threads,concurrency)

/etc/ldap/slapd.conf に以下の記述を追加.

threads    400
concurrency  350

LDAP インデックスで高速化(slapd.conf, index)

# slapd.conf (rootdn = o=example,c=JP)
index objectClass eq

slapd.conf の設定を変更したら, indexの再構築(/usr/local/var/openldap-data/*.bdb)を行い, slapd を再起動する.

# /etc/init.d/slapd slapd stop
# /usr/local/sbin/slapindex -v
# /etc/init.d/slapd slapd start

/usr/sbin/slapd -f /etc/ldap/slapd.conf -d 255

Courier pop/imap 同時接続数(MAXPERIP)

#  Maximum number of IMAP servers started
MAXDAEMONS=200
#  Maximum number of connections to accept from the same IP address
MAXPERIP=50

smtp/postfix 同時接続数

同時起動スレッド数を必要な数に設定する. (/etc/postfix/master.cf , /etc/postfix/main.cf, /proc/sys/kernel/threads-max )

smtp/postfix SPAM 対策

受信の遅延(/etc/postfix/main.cf) を適当に入れる. hop 数の遠いところからのアクセスだと, timeout の危険が増えるようだが...

Kodama's home / tips.