我が家のワークステーション、GPUにはRTX3050, GTX1660Superの2枚で構成されていますが、最近特にGTX1660Superの使い道がやっぱり厳しくなってきました。RTX3050だけだと使えないモデルがあるし、2枚で補い合うにもちょっとそれをしちゃうと性能がGTX1660側に引っ張られるという問題もあります。
致命傷なのは、以前PascalコアのP100をお仕事で使ったときにも痛感しましたが、TensorCoreが使えないというのは非常に厳しいです。TensorCoreというのは、量子化したときのデータ型である低精度データ型（NF4とかINT8とかbf16とかに代表されるデータ型）に対する演算を高速化することが可能なコアです。コアの世代こそGTX1660シリーズはTuringというTensorCoreが存在する「はず」の世代ではありますが、このGPUはTensorCoreが搭載されてないものなのですよね。それ故、どーしても低精度演算が苦手なのです。
なので今回、ダメもとでとある所にあるハードオフにGPU探しに行きましたら、まさかの1枚ありました。29,700JPY(消費税込み)で販売されてたRTX3060ガガガ。しかも12GB版。
最近やっぱりVRAM容量に比例する形で値上がりが発生していて、このRTX3060も一時は30,000YENぽっきり！とかそういうときもあったんですけど、気づいたら再度値上がりして40,000JPY前後で中古販売されていたりします。2021年に販売開始され、もう5年経過するにもかかわらずなかなか値下がりしないのがGPUですよねぇ・・
それがまさかの30,000JPYを切った値段で売られるとかマジか！？と思って、わが嫁様に陳情して買ってもらうことが出来ました(ノ≧∀)ﾉわぁ～い♪えへんおほんげふんげふん・・・
しかしまぁ、Z440はあまり空間に余裕がない仕組みで組まれていることもあり、なかなか搭載は手間取りました。
うまくスロットにはまらず苦労したんですが、とりあえず以下のようなレイアウトで組み付けることが出来ました。
で、無事認識されて、Gemma-4-12b-it-qat-mtpが動かせるようになった状態が上記のような感じで。
262,144トークンをコンテキスト最大値にするとあまりにぎちぎちになったので、131,072トークンを最大値に設定しましたが、正常に動作しております。
Fri Jun 12 20:09:35 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 590.48.01 Driver Version: 590.48.01 CUDA Version: 13.1 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 3050 On | 00000000:02:00.0 Off | N/A |
| 0% 52C P8 13W / 130W | 6731MiB / 8192MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA GeForce RTX 3060 On | 00000000:03:00.0 Off | N/A |
| 38% 51C P8 17W / 150W | 10206MiB / 12288MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
なお、nvidia-smiコマンドを使用して消費電力量の上限は170W->150Wに変更しており、電源が定格動作するレベルに落として動かしています。速度はあまりこだわりがないのと、できる限り定格動作でリスクを削っておきたいというのがその理由です。
ちなみにこのGPUがあればとりあえずWhisperのファインチューニングはある程度可能になります。小規模LoRAのファインチューニングもあるいは可能になりそうなので、検証前の確認用途などにも使えたらいいなと言う感じでその使い道を考えているところです。
コメント