[Virtualization][vSphere] NestedなESXi環境の構成例

目的はvSphere7.xの評価

我が家が今調達しているハードウェアの大半は、購入価格が10,000未満のものばかりで、年数的にも7年前後経過したようなかなり古いものになります。サーバとかは例えばこんな感じです。

我が家で稼働している物理サーバ(202012月時点)

購入価格はそれぞれ1,000円、無償譲渡、5,000円です。なんとまぁPRIMERGYが一番高価です。DL380eが無償なのはそれこそ人との縁によるところが大きいですが、DL160が安価なのは1番ディスクベイのフレームがひしゃげていたからというのがあったりもしますし、ホント世の中色んなものがありますね。

古いハードウェアの辛いところ

古いハードウェアだからこそ辛いところというのは、「最新プラットフォームを動かすことがそもそもできない」というケースが有ることです。特にVMware社が売ってるvSphereなんかは、Version.7がリリースされたことでそのアーキテクチャは一新されました。

CPUはギリギリこのバージョンまでは対応できるSandyBridge/IvyBridgeでしたが、一部のストレージコントローラ(LSILogic製コントローラはギリギリアウトだった)やNIC(NC500SFP, NC522SFP+, SolarFlare SF7120)が対応していませんで、意外にも物理プラットフォームの構成ではvSphere7を満足に動かすことはできないようです。

というわけで、Nested ESXiによってvSphere7を稼働させています。

構成

Nestedの環境を構成するにあたって、注意したのはストレージの部分です。ここを使用する部分については極力それに係る通信が複雑にならないようにということ、フレームサイズは極力大きくしようということで構成しており、サービス通信を行う経路はタグVLANを使用して、コアL3スイッチに接続しています。

サービス側に関しては、GuestVLAN Taggingを使ったほうがいいでしょう。ホスト側のPortGroupとしては、VLAN4095(全VLANをAllowする)を使うことで、Nested側でもVLANを構成することができるようになります。

こうすることで、意外にもストレージの性能劣化は軽度なレベルに抑えられています。以下のグラフはNested ESXi側のストレージIO待ちを記録したグラフですが、遅延はおよそ10msec以内に抑えられています。

Nested ESXi上のIO待ち時間グラフ

Virtual Storage Applianceが便利

VSAは非常に便利です。Auto-Tier機能を持ってるそれと組み合わせることで、ストレージ種別が異なるものを合体させ、よりパフォーマンスが出やすい状態で動かすことができるからです。

また、Nested ESXiと組み合わせてみると、同じようなVM同士だからか、より効率よく通信・動作できてるように見えます。

EMC UnityVSAが持つAuto-Tier機能、FAST/VP

上記は我が家で稼働している仮想ストレージですが、現DELL Technologiesが提供しているUnity VSAと呼ばれるものです。無償でCommunity Editionを使用しており、現状制限値である4TiB弱ぐらいの容量をこれで動かしています。

iSCSIはあまり軽快に動作させられないため、NFSv3にて稼働させていますが、思った以上に性能が良いので現在でも重宝しています。なお、このストレージ1セットでおよそ30台ほどのVMが稼働できています。

NehalemコアのCPUを使用していた頃は20台程度乗せるとCPU遅延が大きくなってしまってパニックリブートすることがたまにありましたが(このときのCPU遅延はなんと10,000msec)、さすがIvyBridge-EPのCPUに載せ替えたあたりから殆どCPU負荷に不安を抱くことはなくなりました。

そろそろ自宅環境での検証って無理が出てきたのだろうか

最近はかなりハードに対する要求の厳しいアプリケーションやミドルウェアが増えたなーという気がします。昔はメモリ容量さえ稼げればCPUにはほとんど負担を与えることはなかったのに。

中古サーバって昔はすごく安かったし、パーツの入手も容易でしたし、それと引き換えに得られるノウハウ料は相当なものでした。しかし今や誰もが中古サーバでの検証が当たり前に行われるようになることで、だいぶコストパフォーマンスの高い機種を入手することが難しくなったように思います。

それとともに検証したいけどハードスペックが足りなくて検証が難しい・・というケースも増えてきたように思います。代表例で言うとVSANとかNSX-T、Elasticsearchのクラスタ構成といったところかなーと思います。

やはり業務用の検証をしたければ、それ相応の機器を会社で買うというのが筋なのでしょうね。それはそれで私ぐらいの年齢のエンジニアさんが職場の中で声を上げて準備できるようにしなければならないんだろうなーと感じています。

実際そういう活動は自分の職場においてはやっていたりするので、それがうまいこと育成などの対応につながっていけばいいなーとは思うのですが、ちょっぴりだけサーバ・ハードウェアの領域に対して「面白くなくなったなー」的な気持ちになることが増えたなぁという気がします。

localYouser

www.bluecore.net

九州在住のITインフラエンジニアです。 若干病気等に苦しめられながらも、小さな幸せをじっくり噛み締めながらお仕事頑張ってます。