普段使いMuse Glimmer 30Bが4ビット量子化で動くぞー！ﾔﾀ───ヽ(･∀･)ﾉ───!!
さて、Linux環境でやっとこさ無事に導入できたIntel ARC PRO B70（今後ARC B70と呼称）でMuse Glimmerを動かしたときの印象について述べてみます。
まず、今までUD-Q2_K_XLで動かしてたモデルをQ4_K_XLで動かせたのが幸せでございます。
それが何より嬉しい。当然品質は上がるし、Dflash-2の予測もより当るようになるわけでして、出力速度も向上する。全体的には以下のようになっています。
全体的に大きく上昇しています。うまくいってるときは50tok/sでてるので、相当に性能が上がってることが分かります。予測がうまく当ってなくても24tok/s前後を安定的に出力できてるので、まずは万々歳って所ですかね。
トークン量と速度の対比に関しては以下。
これに関しては少し意外で、編に右肩上がりにもならず右肩下がりにもならず、横ばいの値を推移してました。基本的に出力速度が最初どんと出た後はゆーっくり遅くなっていく感はあるものの、逆に上昇に転じるところもありますが、最初この速度って感じになるとずーっと一定になるという印象を受けました。
じゃぁDflashは機能してないのか？と言うと別にそういうわけじゃなさそうで。
それなりに機能はしてそうでしたし、その結果を反映しての速度分布にみえましたので、今のところは偶々な内容なのかな？と思って見ています。
メモリ消費量について
メモリ消費量についてはこんな感じでした。
片方は過去に採取していたデータで、GPUSOROBANのRTX A4000で検証していたときのQ2_K_XLモデルを動かしてた頃のデータを比較対象として載せています。KVキャッシュに若干の差違はあれど、計算バッファ量も特に変わりなく、リソース配分は特に大きな変わりはなさそうです。
結論としては
あまりプラットフォームが変わるからとそのリソースの使い方は大きな変化はなさそうです。あとはそのGPUをプラットフォームがどれだけうまく速度を出すために効率よく処理できるかどうかにかかっていそうです。そして、さすがにRTX 3050/3060に比べるとARC B70は高速です。消費電力のリアルタイム計測できないのが残念なポイントですが、最大でも290W、通常230Wだったはずなので、エネルギー効率としてはRTX 3050とRTX 3060両方に処理させるよりは効率が良さそうにも思えました。何しろトークン先読みなどの処理をさせると、RTX 3060側がマックスに振り切れることも多かったため(；´∀｀)
一点気になるところがあるとしたら、Prefill時、つまり読み取り時においてARC B70は冷却ファンのスピードが著しく下がることですね。負荷は変わらずかかってるはずなのに、どうしてその間だけ回転数が下がってるのかはちょっと謎です。その辺りのモニタリングの充実を、Intelさんにはもう少しきちんとしてほしいかなーとは思いました。
とりあえず、推論目的で買うならコイツはイチオシのカードと言っても過言では無いと思います<(_ _)>。
1枚25万円ほどしますけど(；´∀｀)
コメント