本日、オークションで落札したこんなものが届きました。

Infinibandのケーブル！

そしてHBA！・・・・・じゃなかった、HCA!!(Host Channel Adapterね。)IYH!!

まだ、Infinibandスイッチと残り1枚のHCAは届いていない（まだアメリカから発送待ちの状態）ので、とりあえず本日は組み付け・ドライバ適用・ESX上での認識確認のみを行います。

今回搭載するのは、ESXホスト3台のうち2台。PCI-Express x8なので、スロットもおのずと限られるんですが、意外とx8カードはさすケースが限られており、今回も搭載が出来ました。・・・といいたいところですが、見事に自作マシンのほうでPCI-Eｘ x16のカードを使用しており、これが見事に競合・・・と。まさかこれを使う時が来るなんて思いませんでした・・

なんと、PCIのVGAカード。しかもI-O DATA製(笑)これ指したら自作機も競合なしに起動できますた。

まずは、ESXが動いている状態から各ESXサーバをメンテナンスモードに設定します。我が家はvCenter Serverが仮想マシンなのでくっそっめんどっくさっ！！

とりあえずサービスコンソールにてドライバの適用状態（インストール前）を確認する。

[root@wata ~]# exsxupdate query
—-Bulletin ID—- —–Installed—– —————-Summary—————–
ESX410-201107405-SG 2011-08-09T00:46:14 Updates dhclient
ESX410-201107406-SG 2011-08-09T00:46:14 Updates glibc, glibc-common, nscd
ESX410-Update01     2011-08-09T00:46:14 VMware ESX 4.1 Complete Update 1
ESX410-201104403-SG 2011-08-09T00:46:14 Updates bzip2 and bzip2-libs RPMs
ESX410-201104407-SG 2011-08-09T00:46:14 Updates bind-libs and bind-utils RPMs
ESX410-201104408-BG 2011-08-09T00:46:14 Updates VMware bnx2 device driver
ESX410-201107402-BG 2011-08-09T00:46:14 Updates qlogic-fchba-provider
ESX410-201104406-BG 2011-08-09T00:46:14 Updates mptsas, mptspi device drivers
ESX410-201107401-BG 2011-08-09T00:46:14 Updates VMkernel, VMX, CIM
ESX410-201104402-BG 2011-08-09T00:46:14 Updates VMware net-nx-nic driver
ESX410-201107404-BG 2011-08-09T00:46:14 Updates vmware-esx-drivers-ehci-ehci-hcd
ESX410-201104404-SG 2011-08-09T00:46:14 Updates sudo package

そしてlspciにて物理的に接続されたデバイスを確認する

[root@wata ~]# lspci
00:00.0 Host bridge: Intel Corporation Core Processor DRAM Controller (rev 12)
00:01.0 PCI bridge: Intel Corporation Core Processor PCI Express x16 Root Port (rev 12)
00:1a.0 USB Controller: Intel Corporation 5 Series/3400 Series Chipset USB2 Enhanced Host Controller (rev 05)
00:1c.0 PCI bridge: Intel Corporation 5 Series/3400 Series Chipset PCI Express Root Port 1 (rev 05)
00:1c.1 PCI bridge: Intel Corporation 5 Series/3400 Series Chipset PCI Express Root Port 2 (rev 05)
00:1c.2 PCI bridge: Intel Corporation 5 Series/3400 Series Chipset PCI Express Root Port 3 (rev 05)
00:1c.3 PCI bridge: Intel Corporation 5 Series/3400 Series Chipset PCI Express Root Port 4 (rev 05)
00:1c.4 PCI bridge: Intel Corporation 5 Series/3400 Series Chipset PCI Express Root Port 5 (rev 05)
00:1d.0 USB Controller: Intel Corporation 5 Series/3400 Series Chipset USB2 Enhanced Host Controller (rev 05)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev a5)
00:1f.0 ISA bridge: Intel Corporation 3400 Series Chipset LPC Interface Controller (rev 05)
00:1f.2 IDE interface: Intel Corporation Ibex Peak 4 port SATA IDE Controller (rev 05)
00:1f.3 SMBus: Intel Corporation 5 Series/3400 Series Chipset SMBus Controller (rev 05)
00:1f.5 IDE interface: Intel Corporation Ibex Peak 2 port SATA IDE Controller (rev 05)
01:00.0 RAID bus controller: Hewlett-Packard Company Smart Array Controller (rev 04)
10:00.0 PCI bridge: Broadcom EPB PCI-Express to PCI-X Bridge (rev c2)
11:00.0 Ethernet controller: Broadcom Corporation Broadcom NetXtreme II BCM5708 1000Base-T (rev 11)
1c:00.0 VGA compatible controller: Matrox Graphics, Inc. MGA G200e [Pilot] ServerEngines (SEP1) (rev 02)
1e:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5723 Gigabit Ethernet (rev 10)
20:00.0 InfiniBand: Mellanox Technologies MT25208 [InfiniHost III Ex] (rev a0)
30:00.0 Fibre Channel: QLogic Corp. ISP2312-based 2Gb Fibre Channel to PCI-X HBA (rev 02)
30:00.1 Fibre Channel: QLogic Corp. ISP2312-based 2Gb Fibre Channel to PCI-X HBA (rev 02)
ff:00.0 Host bridge: Intel Corporation Core Processor QuickPath Architecture Generic Non-core Registers (rev 02)
ff:00.1 Host bridge: Intel Corporation Core Processor QuickPath Architecture System Address Decoder (rev 02)
ff:02.0 Host bridge: Intel Corporation Core Processor QPI Link 0 (rev 02)
ff:02.1 Host bridge: Intel Corporation Core Processor QPI Physical 0 (rev 02)
ff:02.2 Host bridge: Intel Corporation Core Processor Reserved (rev 02)
ff:02.3 Host bridge: Intel Corporation Core Processor Reserved (rev 02)

いた！ちゃんとデバイスとしての存在は認識されているみたい。

ドライバのダウンロードはこちら(http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=36&menu_section=34#tab-two)から。

この時点で、ドライバ本体(ESX41u1_MLNX-OFED-1.4.1-2.0.000.zip)だけでなく、パッチと書かれている(ESX_4.x_patch.zip)のもダウンロードする。ダウンロードしたらSFTPを使用してファイルを設置してください。

[root@wata ~]# unzip ESX_4.x_patch.zip
Archive:  ESX_4.x_patch.zip
inflating: ESX_4.x_patch.sh

[root@wata ~]# sh ESX_4.x_patch.sh
[root@wata ~]#

実はこれを実行しておかないと、ESX4.1U1以降のパッチを当てた環境でビルド番号が上に上がってしまうとドライバの適用が出来ず、ステータス15で失敗してしまいます。

続いて、いよいよドライバ適用。

[root@wata ~]# esxupdate –bundle ESX41u1_MLNX-OFED-1.4.1-2.0.000.zip update
Unpacking cross_ib-srp_1.4.1-..                                          (  0%)Unpacking cross_ib-srp_1.4.1-.. ######################################## [100%]
Unpacking cross_mlx4-en_1.4.1..                                          (  0%)Unpacking cross_mlx4-en_1.4.1.. ######################################## [100%]
Unpacking cross_ib-ipoib_1.4…                                          (  0%)Unpacking cross_ib-ipoib_1.4… ######################################## [100%]
Unpacking cross_ib-basic_1.4…                                          (  0%)Unpacking cross_ib-basic_1.4… ######################################## [100%]

Installing ib-basic                                                      (  0%)Installing ib-basic             ######################################## [100%]
Installing ib-srp                                                        (  0%)Installing ib-srp               ######################################## [100%]
Installing mlx4-en                                                       (  0%)Installing mlx4-en              ######################################## [100%]
Installing ib-ipoib                                                      (  0%)Installing ib-ipoib             ######################################## [100%]

Running [/usr/sbin/vmkmod-install.sh]…
ok.
The update completed successfully, but the system needs to be rebooted for the
changes to be effective.
[root@wata ~]#

たぶん、ちゃんといけるはず。当初、小生は何を勘違いしたか、当該ドライバのパッケージをUNZIPしてmlx4-en.vibを直たたきしてインストールしようとしていました。だって、ユーザガイド読んだらそうやるように見えたんだもん！・・・ってのはいいわけですね。esxupdateの本質を理解していませんでした。すみませんOrz

さて、これでリブート後、ドライバを適用したかどうかを確認します。

[root@wata ~]# shuesxupdate query
———-Bulletin ID———- —–Installed—– —————-Summary—————–
ESX410-201107405-SG             2011-08-09T00:46:14 Updates dhclient
ESX410-Update01                 2011-08-09T00:46:14 VMware ESX 4.1 Complete Update 1
ESX410-201104403-SG             2011-08-09T00:46:14 Updates bzip2 and bzip2-libs RPMs
ESX410-201104407-SG             2011-08-09T00:46:14 Updates bind-libs and bind-utils RPMs
ESX410-201104408-BG             2011-08-09T00:46:14 Updates VMware bnx2 device driver
ESX410-201107406-SG             2011-08-09T00:46:14 Updates glibc, glibc-common, nscd
ESX410-201107402-BG             2011-08-09T00:46:14 Updates qlogic-fchba-provider
ESX410-201104406-BG             2011-08-09T00:46:14 Updates mptsas, mptspi device drivers
ESX410-201107401-BG             2011-08-09T00:46:14 Updates VMkernel, VMX, CIM
ESX410-201104402-BG             2011-08-09T00:46:14 Updates VMware net-nx-nic driver
ESX410-201107404-BG             2011-08-09T00:46:14 Updates vmware-esx-drivers-ehci-ehci-hcd
ESX410-201104404-SG             2011-08-09T00:46:14 Updates sudo package
ESX41u1_MLNX-OFED-1.4.1-2.0.000 2011-08-28T10:55:13 Mellanox OFED Drivers

はい、無事に認識できていると。

それでは、vSphere Client経由からデバイスの認識状況を見てみます。

まずストレージアダプタとしての認識状態。上記見て分かるように、SCSIデバイスとして認識されています。それから、下図はネットワークデバイスとしての認識状態。

はい、上記のとおり、ネットワークデバイスとしても認識されており、ちゃんとMACアドレスも割り当てられています。

こんな風に、Infinibandってネットワーク・ストレージどちらにも適用できるインタフェースとなっているようです。さて、認識はしたので、あとは残りのブツ到来を待つことにしますです。