[Management][Network][Linux] logstashの設定で色々見直し

UTMログの取り込み対応時にあったこと

ログ収集基盤をこれまで作成し、色々収集対象を増やしていってるところなんですが、Sophos UTM9の追加を行った際に色々不具合が出てきました。

  • grokプラグインでパースできたのに、tagsに「_grokparsefailure」が残ってる
  • @timestampがログ収集時点のタイムスタンプになっているため、ログ再取り込みをしたときに時系列が狂う

今回、これの対応を行いました。

Read more

[Storage] ZFS DeDupe機能の落とし穴?

ふと気づいた

NexentaStor、裏でZFSが動いているのですが、さらにそこのVMデータストアで重複排除(DeDupe)を有効にしています。移行中の過程で、あるバカでかいボリュームを抱えてるVMを一旦このデータストアに移し、その後別データストアに動かしました。

移動自体はうまく行ったのですが、あることに気づきました。

あれ、空き容量が全く増えてない・・

こりゃどういうことだろう?とおもって調べました

Read more

[Management][Network][Linux] Elasticsearchログ基盤を強化する

ログ解析が面白い

前回の記事でElasticsearchを使ったRouterboardのFirewallのログ分析基盤を作ってみたのですが、いざKibanaを使ってDiscoverやVisualize、Dashboardなど触ってみると、色々情報が整理できて面白いなということを知りました。

そこで、今回は様々なログを収集・分析し、いろいろな通信を把握することを試みてみました。

Read more

[Hardware] Fujitsu PRIMERGY RX300 S6を手に入れました。

背景

これまで、手持ちの機材や余った機材を組み合わせていろいろな勉強をしてきたのですが、そろそろリソースが限界に達していました。そこで、既存機器であるHA-8000/RS220DJにCPU増設等を行おうとしたわけですが、見事に玉砕しました。
で、今回嫁様に何とか頼み込んでサーバの購入許可をいただくことが出来ました。それで購入したのがFujitsu PRIMERGY RX300 S6です。

Read more

[Management][Network][Linux] Elasticsearchを使ってログ分析基盤を組んでみた

単語はよく聞くElasticsearch

ここ最近よく聞くElasticsearch。全文検索システムの名称らしいのだが、どうにもパッと頭に浮かばない。結構開発寄りな話が多いかなあぁ・・・?という気がしていて、あまり手を出してなかったのだけど、ここ最近どうやらMastodonの最新バージョンで全文検索を実装するようになったみたいで、その前段に何か学ぶことがないかなぁ?とおもったりしたら、ログ分析の話を見かけたりしたわけでして。

ログ分析では、過去にSplunkというものに触れてみたことがあるのだけど、Elasticsearchでも似たようなことが出来るんだとか。そりゃ面白そうだということで手を出してみたのが今回であります。

Read more

PAGE TOP