[Ceph][Storage]OSDの再構成による容量拡張

OSDの容量を増やしたい 思った以上にMastodonで使用されているコンテンツ領域の使用量が多くなってきており、一部OSDの容量が切迫してきました。デフォルト設定ではOSDの使用率が90%になると、使用量フル状態と見なされ、backfill処理が止まります。 こうなった場合にうまくリバランスしようにもそれが難しくなり、容量管理がままならないというのがCeph使ってて感じる難しいポイントだったりします。

[Ceph][Storage][Error] Interrupt from kernel

追加したOSDが起動して数分で落っこちる件 ちょっと空き容量が枯渇気味であったため、CephのOSDノードを追加したんですよ。すると、どうやらCeph-Deployはうまくいったのだが、増えたはずのOSDが数分後には減ってる。そんな追加ノードの状態をみたらこんなことに。 調べてみると 以下のケースが該当していました。 原因としてはいわゆるイージーミスで、firewalldのルール変更をしていなかったために、モニタリング通信が遮断されていたと言うね・・・当方の環境ではクラスタ間通信のポートは独立したセグメントで組んでることもあり、今回はFirewalldの停止・無効化で事なきを得ました。

[Troubleshoot] 久々の我が家環境大惨事

俺はな、ESXiのバージョンアップがしたかっただけなんだ 全てはこれが始まりでして、現在稼働しているESXiサーバの内1台をESXi6.5->6.7にバージョンアップしようと考えました。で、影響が出そうなVMを停止の上で、とある一台のESXiサーバに対して6.7最新パッチを適用する形でのアップグレードを実施しました。

[Storage][SNS] Ceph RADOS Gatewayと格闘する

Mastodonが持つ AWS S3 との連携機能 分散SNSソフトウェアであるMastodonには、クラウドストレージとの連携機能が存在する。AWS S3のオブジェクトストレージとRESTful APIを使って画像や動画データの格納とキャッシングをさせるというもので、概要としては以下の通りになる。

[Storage] Cephの状態を探る

リバランス時の負荷を簡単に探ってみる Ceph Luminousに触れていたころから知ってる特性なのですが、OSDを追加すると基本的にリバランス処理が発生します。この間、結構な処理が流れます。