[Management][Network][Linux] Elasticsearchを使ってログ分析基盤を組んでみた

単語はよく聞くElasticsearch

ここ最近よく聞くElasticsearch。全文検索システムの名称らしいのだが、どうにもパッと頭に浮かばない。結構開発寄りな話が多いかなあぁ・・・?という気がしていて、あまり手を出してなかったのだけど、ここ最近どうやらMastodonの最新バージョンで全文検索を実装するようになったみたいで、その前段に何か学ぶことがないかなぁ?とおもったりしたら、ログ分析の話を見かけたりしたわけでして。

ログ分析では、過去にSplunkというものに触れてみたことがあるのだけど、Elasticsearchでも似たようなことが出来るんだとか。そりゃ面白そうだということで手を出してみたのが今回であります。

Read more

「20171024][Mastodon] IPv6しか繋がらない、そんなインスタンスを作ってみる

はじめに

これまで、インスタンスづくりは外部のサイトを見様見真似で作ってきた経緯があり、今回も見様見真似で作ったものの、色々内容が整理できてきたこともあり、ブログに構築手順を書き起こしてみました。

※一部、手順を修正しました。具体的にはnodejsのインストール周りです。

先に言っとくんですが、あくまで備忘録として頭の中のものをExportしたものになります。本来はMastodonのProduction Guideを参照することが望ましいです。ただ、当該ドキュメントはubuntuベースとなっていて、当方のCentOSには合わないところもあったりするため、そこを補正する際にいろんなサイトをチラ見してます。

なので、正確性についてはどうぞご容赦賜りたく・・・(結局言いたい所はそれかというツッコミは勘弁を)

方針

とりあえず、こんな方針で作ってみることにしました。

  • IPv6アドレスだけを受け付けるインスタンスを構築する
  • サーバは自宅仮想基盤内にVMを構築し、それを使用する
    • 2vCPU/2GB RAM/40GB VHD(SSDデータストア配置)のスペックで構築
  • DNSに登録するレコードはAAAAレコードだけにする。IPv4アドレスは名前解決しない。
    • あくまでIPv4はyumリポジトリやメール配送など、クライアント用途としてしか使用しない
  • インスタンス名とサーバ名は異なるものとする。
    • 当該インスタンスでは、サーバ名はsns-v6.bluecore.netと言う名称ですが、インスタンス名はまた別物(v6don.bluecore.net)です。
  • OSはCentOS7の最新を使う(yum -y updateでコンポーネントを最新化する)
  • インスタンスはオールインワン構成にする(AP/Redis/DBを同一サーバ内で構成する)
  • 証明書はLet’s Encryptを使うことにする
  • 設置セグメントは本番/ステージングインスタンスと同じところにする
  • Dockerは使用しない
    • 非Dockerの方がログが見やすいというのがあります。サービス監視も楽です。
    • Dockerの構成も利点はあって、とっととイメージを組み込むことで、前提アプリケーション導入をバイパスできる点などが挙げられます。Linux不慣れな人はこちらが良いのかも。
  • フィルタリングはサーバ側で行わずに、ゲートウェイ側のACLで行う
  •  メールサーバは本番/ステージングと同様に、内部メールサーバを経由する。
    • メールは外向けに関しては【内部メールサーバ】⇒【メールゲートウェイ】⇒【インターネット】と言う経路で発送される。

Read more

[Linux][Backup] Bacula 3.0.1-1 (実装と動作)

当初、何でもいいから動作する手順が確立できればいいかなと考えましたが、ちょっとそれは違うかいなぁ・・と思い、以下の構成をとってみる事にしました。またもや今回実験台・・

bacula-ppt-105

今回の目的は、リモートバックアップと言うことで、当BLOGにかかわる各種データの採取を目的としました。これまでBackup Exec Remote Agent for Linux Serversを使用していましたが、評価期限が切れるたびに環境再構築するのに疲れたが理由です^^;baculaが考慮すべきは青枠で囲んだ個所になります。これらを踏まえたDEMETER側の設定について今回は述べたいと思います。

Read more

PAGE TOP