今回のIsilon SD Edgeの構成

今回当方で組めたIsilon SD Edgeクラスタの構成としては下図のような感じです。

2ホスト/4ノード構成であり、1号機と3号機が、2号機と4号機が同一ESXi内に配置されています。各ノード300GBのVHDを「準仮想化SCSIコントローラ」を経由して取り付けており、全体として1.2TB程度のOneFSが存在しています。170GB程度、システム用途にアサインされているようで、実際の領域のサイズとしては、1TBちょっとというところかなと思われます。

仮想マシンのプロパティを開きました。各ノード同じ構成です。 VHDは準仮想化SCSIコントローラで接続されており、NICもVMXNET3が搭載されている構成から、仮想ハードとしては極力オーバーヘッドを少なくすることを意識したのだと思われます。

なお、この可用性なのですが、構築時点でシステムデフォルトで構成されており、「Requested Protection」が可用性に関する事項になります。「+2d:1n」というのは「2ディスク故障もしくは1ノード故障までは許容する」と言う意味合いになります。
つまりは、3ディスク以上の故障、あるいは2ノード以上の故障が発生するとデータ破壊が発生するということになります。どうもこの可用性はあとで変更したり、ディレクトリごとで異なる可用性を設定したり出来る・・・・というのを聞いたことがあるような気がするのですが、あまりはっきり覚えていないので、そのうち試したいなぁとは思います。

ちなみに、先にディスク容量は1TBちょっとありそうだという話を書いているのですが、あくまでこれはRAW容量にすぎず、この「Requested Protection」の設定によって消費容量は変わってくるようです。このあたりは後述したいと思います。

というわけで

自宅UnityVSA上に存在する一部のCIFSフォルダをrobocopyを使ってコピーしてみました。コピー先の情報ではありますが、コピーした内容はこんな感じです。

大元に4つフォルダが存在しており、これを一気に1台の仮想サーバから4並列でコピーを行いました。実績としてはこんな感じになりました。

• フォルダ1：65.0GBのファイルを1時間31分20秒でコピー完了。スループットは738.2 MB/分
• フォルダ2：223.8GBのファイルを2時間54分30秒でコピー完了。スループットは1313.4 MB/分
• フォルダ3：131.9GBのファイルを7時間09分47秒でコピー完了。スループットは264.9 MB/分
• フォルダ4：13.6GBのファイルを1時間32分53秒でコピー完了。スループットは156.3 MB/分

各ノードのネットワークトラフィック

コピー序盤だけしか取ってないですが、各ノードのネットワークトラフィック(vSphere Clientのパフォーマンスグラフ)はこんな感じになりました。1号機だけ物凄くトラフィック量が大きいことがわかります。

1号機

2号機

3号機 4号機

ダッシュボードからの確認

ダッシュボードから見てみると、こんな感じになっていました。

ノード1号機からのInトラフィックがかなり大きいことがわかります。CPU使用率はそこまで高くありません。また、HDD Usedを見るとわかるのですが、容量が均等になっています。これは、データがノード単位で分散配置されていることを示しています。

Throughput Distributionを見ても、1号機のトラフィックが抜群に大きいことがわかります。同時に、他のノードのトラフィックですが、Internal Network内のトラフィックはここには出てこないことを知りました。Internal Networkに関しては、vSphere Clientのグラフを見る限りでは15MB/sec＝120Mbpsぐらい出てそうな感じでした。

クライアントアクセスの状況はClient Connections画面から確認ができます。 通常運用でも、アクセスしてくるクライアントがこうして見えるのは面白いなぁと思います。なお、robocopy側のサーバトラフィックですが、こんな感じでした。

NASからNASへ中継しながらコピーしているので、上り下り通信に同じインタフェースを使っていることから、実際にはこの値の半分200-250Mbpsぐらいが実効的な通信速度と推察されます。こうした所もボトルネックになっている可能性があると言えばあります。

こういう動きをしたのだろう

というわけで、動きについて図にまとめました。

今回の試行では、どうやらフロントの窓口は完全に1号機が一括請負をしたようです。このケースでは1台のサーバからしかアクセスしていないので、よりきれいにデータが流れるようそのような挙動をしたのかもしれません。

時間経過させたあともHDD使用量は均等になっており、ディスク間のバランシング機能はかなりしっかり働いているように見受けられました。ただ今回はかなりシンプルかつエントリーな構成にしていることも有り、物理Isilonとかだとまた違う動きをするかもしれません。

容量に関して

Windows側では433GBと認識されていたフォルダの合計容量ですが、Isilon側では594GB使用されたことになっていました。
これはつまり、本来のファイルサイズの1.37倍が実ディスク消費したことを指しています。1台のノードダウンを許容していることを考慮すると、RAID5的な動きを仮定すれば、
594GB × 0.75 = 445.5GB
なので、まぁまぁそれに近い形でデータ配置がなされているのでしょうね・・と推察されます。細かい仕様を挙げると、極小容量ファイルの可用性のもたせ方はまた異なるロジックがあるようなので、そこで少しオーバーヘッドが出たのかもしれません。

実際にIOさせてみて感じたこと

実際にIOさせてみての感想は「お、意外とまともに動くじゃん」と言うところで、我が家の型落ちハード(NehalemやWestmereなCPU)でもそれなりに面白おかしく動いてくれました。最近のハードで動かしたりすると、もっと気持ちよく動くのではないでしょうか。

取り敢えず、一般家庭で遊ぶにはまぁボチボチ行ける代物じゃないかなと思われ、実際事前に触って勉強するというのにはそれなりに適してるんじゃないかなと思います。こういうのが無償提供されるのはありがたいですねーとは思うのですが、vCenterがないと動かせないというのがちょっと切ないかな。あ、でも一度クラスタ作ったら独立して動いてるみたいだし、なんとかうまくできんかな・・・などいろいろ考えちゃったり。

ただまぁ、例えば会社で検証してみようとか考えたときに、会社側がちゃんとパートナー契約していればIULライセンスを使用できますし、評価・検証するためのハードがそれなりにあればそれなりに勉強したり評価したり出来るのではないかなーとかおもったりします。