丁度こないだ以下の件でお仕事ブログにリリースしたStrataですけれども
それまでGPUSOROBANに仕込んだものをON/OFFしながら使ってたわけですが、OFFし忘れなどが祟ってそれなりにお金がかかるようになり、少しこれを節約したいということであれこれ悩んだ結果、休眠してたワークステーションを復活させて、これにRTX-3060を挿す形で動かそうということになりまして。はい、右側のマシンがそうですね。
全体構成としてはこうなります。今回新しく増えたのは、右上にある「Strata専用ワークステーション」がそうです。
スペックとしてはCPUに Xeon E5-2690v4 を搭載していて、演算能力それ自体は特に不安はないのですが、メインメモリが48GBしかなく、足りるかどうか・・と言うところでしたので、モデルには通常のGSQ-RCO量子化を施したものではなく、新手の量子化技術Gyroを使ったGyro-Mモデルを採用してみました。
コンテキストサイズは256kに設定しています。
リソース消費はいかほど？
メインメモリの消費状況
ほぼ使い切っていて、Availableはたったの6.5Giです。結構ギリギリの状態ではありました。
ストレージ使用状況
Gyro-Mモデルはおよそ92GB程度あり、OSやCUDA系を考慮するとこんなもんかという感じの容量が使用されていました。
推論時のリソース使用状況
Prefillは700-800tps程度で、演算性能としては申し分ありません。Generate速度も25-60tpsぐらいで、こちらは予想より速かったです。Disk Readも今のところのピーク値は150MB/sぐらいですので、SATA SSDでも十分収容できる感じの速度です。PCI-Expressバスの方もピーク値で15GB/s程度出てましたので、こちらも及第点と言ったところでしょう。
Expertの量はGPUSOROBANを使用していた時と比べるとおよそ半分程度しか収容できていません。それでいて上記のような性能が発揮できているので、それはそれで凄いです。
上半分のグラフを見ていただくと分かるのですが、コンテキスト100k超のコンテキストもPromptキャッシュを併用（デフォルト値）を使用すればそれほど気にならないようです。個人使用環境ではそれで十分かと思います。
履歴から読み取れること
以下履歴を見て見ると、取り敢えずVRAM HIT RATEの高さに驚きますね。Expertsキャッシュはだいぶ少なくなってるはずで、上記にあるようにGPUSOROBANのNVIDIA A4000環境と比べると半分の領域しか確保できてないにもかかわらず通常のやり取りでは70%台を維持しています。（極端に低くなってるところは50%台を記録している以外は全てDifyのテスト処理の一環で出たものなので、考慮外です）
実際に推論した内容もちゃんと整合性が取れる形で動いてくれるようなので、十分使えるレベルになるかなと思います。
GPUSOROBANとも併用しながら、うまく使いこなしていきたいなと、そう思っているところです。
コメント