Splunkとは、ログ分析基盤らしい
ちょいと前ぐらいからボチボチ流行っているログ分析基盤を作るソフト、「Splunk」。ビッグデータ解析でも用いられたりするとか。当方としては、一部ネットワークログがちゃんと読めてない、監視できてない状況が続いており、コレを用いてなんかできないか?と考えた次第です。
ぱっと触ったところでコレ良いなと思ったのは
- ログのパターン抽出ができる(ランキング・比率まで出せるみたい)
- ログの発生時間をグラフで追える(性能グラフとはまた違った観点で、トラフィックが追っかけられる)
と言ったとこかなぁと思ってます。
Splunkパッケージの取得
ここから拾えます(もしかしたら事前ユーザ登録が必要になるかも)。オンプレミス版はSplunk Enterpriseと呼ばれているようです。個人用途にフリー版も提供されており、そこはライセンスの切り替えで担保するようになっています。フリー版の制限事項としては
- 個人利用に限る
- 1日のログ取り込み量上限が500MBまで
- ログ監視・通知機能なし
- アクセス制御ができない
詳細事項はここに記載されているので参照するとよいかと思います。
Splunkのインストール
今回、Splunkのインストール先はログサーバにしました。ログサーバは単純にログを取り込み、一部ログ監視をしてメール発報する仕組みは取り入れていますが、基本はただひたすらログ取り込みをするためのサーバです。
今回Splunkを導入するに辺り現行スペック(1vCPU/1GB)では不足気味の印象を受けましたので増強(4vCPU/4GB)をしています。
以下の流れでインストールをしました。内容自体は単純です。
■ダウンロードパッケージの展開(splunkと言うディレクトリができる) # tar zxvf splunk-7.0.1-2b5b15c4ee89-Linux-x86_64.tgz ■Splunk実行ユーザの作成 # useradd splunk # passwd splunk ■解凍ディレクトリを/usr/local配下に配置 # mv ./splunk /usr/local/ ■splunkディレクトリのオーナーをsplunk実行ユーザに付け替え # chown -R splunk:splunk /usr/local/splunk ■splunk実行ユーザからログの参照を可能にする # chmod 644 /var/log/remote_log/* ■ユーザを切り替える # su - splunk ■Splunkの設定を行う $ cd /usr/local/splunk/etc $ cp splunk-launch.conf.default splunk-launch.conf $ vi splunk-launch.conf
以下の文言をsplunk-launch.confに追記します。
SPLUNK_HOME=/usr/local/splunk
ここまでできたら前準備は終わりで、起動をします。splunk実行ユーザで開始することを忘れずに。
$ cd /usr/local/splunk/bin/ $ ./splunk start --accept-license
こんな出力が出たら一先ず起動完了です。
This appears to be your first time running this version of Splunk. Copying '/usr/local/splunk/etc/openldap/ldap.conf.default' to '/usr/local/splunk/etc/openldap/ldap.conf'. Generating RSA private key, 2048 bit long modulus ...............................................+++ ........................................................+++ e is 65537 (0x10001) writing RSA key Generating RSA private key, 2048 bit long modulus .........................................................................+++ ......+++ e is 65537 (0x10001) writing RSA key Moving '/usr/local/splunk/share/splunk/search_mrsparkle/modules.new' to '/usr/local/splunk/share/splunk/search_mrsparkle/modules'. Splunk> Finding your faults, just like mom. Checking prerequisites... Checking http port [8000]: open Checking mgmt port [8089]: open Checking appserver port [127.0.0.1:8065]: open Checking kvstore port [8191]: open Checking configuration... Done. Creating: /usr/local/splunk/var/lib/splunk Creating: /usr/local/splunk/var/run/splunk Creating: /usr/local/splunk/var/run/splunk/appserver/i18n Creating: /usr/local/splunk/var/run/splunk/appserver/modules/static/css Creating: /usr/local/splunk/var/run/splunk/upload Creating: /usr/local/splunk/var/spool/splunk Creating: /usr/local/splunk/var/spool/dirmoncache Creating: /usr/local/splunk/var/lib/splunk/authDb Creating: /usr/local/splunk/var/lib/splunk/hashDb New certs have been generated in '/usr/local/splunk/etc/auth'. Checking critical directories... Done Checking indexes... Validated: _audit _internal _introspection _telemetry _thefishbucket history main summary Done Checking filesystem compatibility... Done Checking conf files for problems... Done Checking default conf files for edits... Validating installed files against hashes from '/usr/local/splunk/splunk-7.0.1-2b5b15c4ee89-linux-2.6-x86_64-manifest' All installed files intact. Done All preliminary checks passed. Starting splunk server daemon (splunkd)... Generating a 2048 bit RSA private key .................+++ .+++ writing new private key to 'privKeySecure.pem' ----- Signature ok subject=/CN=brahma.bluecore.net/O=SplunkUser Getting CA Private Key writing RSA key Done [ OK ] Waiting for web server at http://127.0.0.1:8000 to be available.......... Done If you get stuck, we're here to help. Look for answers here: http://docs.splunk.com The Splunk web interface is at http://brahma.bluecore.net:8000
Webコンソールでの初期ログイン
ブラウザで、「 http://<SplunkサーバのIPもしくはFQDN>:8000 」と入力します。日本語で表示させたい場合は「 http://<SplunkサーバのIPもしくはFQDN>:8000/ja-JP 」と入力すると良さそうです。
ログイン画面が出ます。初期パスワードは画面上に表示されてるとおりに入力します。すると、パスワード変更画面が表示されるので、変更パスワードを入力します。
ライセンスの変更
現状、ライセンスは「トライアル」の扱いになっており、500MB/日の制約はあるものの、Enterpriseの機能を一通り触れる状態になってます。ライセンス期限を気にするのがめんどいので、Freeライセンスへの切り替えを行います。
画面右上「設定」からポップアップメニューの下付近「ライセンス」をクリックしてライセンス管理画面を表示します。「ライセンスグループの変更」ボタンをクリックします。
「フリーライセンス」と言うのがあるので、それをクリックして「保存」をクリックします。
Splunkの再起動が求められますので、再起動を実施します。
再起動後、ライセンス管理画面を起動し、ライセンスが「Freeライセンスグループ」になっていればOKです。
あとは、サーバの設定やユーザアカウントの設定でタイムゾーンの設定をしておいたほうが良いように思います。最低限のセッティングとしてはコレで完了かなぁと思います。
転送されてきたデータログの追加等についてはまた次回ということで。
Comments are closed