OSDの容量を増やしたい
思った以上にMastodonで使用されているコンテンツ領域の使用量が多くなってきており、一部OSDの容量が切迫してきました。デフォルト設定ではOSDの使用率が90%になると、使用量フル状態と見なされ、backfill処理が止まります。
こうなった場合にうまくリバランスしようにもそれが難しくなり、容量管理がままならないというのがCeph使ってて感じる難しいポイントだったりします。
思った以上にMastodonで使用されているコンテンツ領域の使用量が多くなってきており、一部OSDの容量が切迫してきました。デフォルト設定ではOSDの使用率が90%になると、使用量フル状態と見なされ、backfill処理が止まります。
こうなった場合にうまくリバランスしようにもそれが難しくなり、容量管理がままならないというのがCeph使ってて感じる難しいポイントだったりします。
Ceph Luminousに触れていたころから知ってる特性なのですが、OSDを追加すると基本的にリバランス処理が発生します。この間、結構な処理が流れます。
以前、当ブログではこんな記事を書きました。2018年にCeph Luminousをコンテナ基盤と連携させて「分散ストレージってなんだろう?」と言うのを学んでいたわけですが、当時は空き容量管理がままならなくなり全てを撤廃したという苦い思い出がありました。
その後、色々勉強していく過程でもう少し細かいところを掘り下げたいなーというか、分からないままになっていたところを少しだけでも解決できないか?と言うところを見たくて、再度Cephクラスタを組んでみることにしました。
バージョンは13.2.8ということで、Luminousの後継になるMimicを選ぶことにしました。 Nautilus と言うのが実は最新なのですが、バージョン制御が意外と難しいので成り行きでMimicにする事になりました。
こないだから、k8s環境で動かすブロックストレージをNFS主体からRBD主体に切り替え、やっと安定したストレージ環境ができるようになったかと思ったら、意外と私の配置が下手くそだったこともあり、それなりにCephクラスタがぶっ壊れました。
破壊と再構築を繰り返す中で、なんだかCephの構成要素とかよく分かってないところが多いなぁ?と感じたところがあったんで、Cephのドキュメント http://docs.ceph.com/docs/master/architecture/ なんかを読みながら勉強しようということに。その記憶メモのようなものだと思ってください。