Hardware

Hardware

ZABBIXでNVIDIA-GPUを監視する際の注意事項

ZABBIXでは、NVIDIA-GPUを監視することが可能なのは会社員時代からよく理解しているんですが、そのプラグインの設定がUbuntu側の仕様に沿ってないらしいので備忘録として掲示します。参考URLは以下の通りです。本記事で記述している...
Hardware

CPUを交換したよ

本日CPUを交換しました。左は既存であったIntel Xeon E5-1630v3、右は新しく載せ替えたIntel Xeon E5-2690v4です。ヤフオク!さんにて、なんと5,000円でXeon E5-2690v4を購入しました。新品当...
Artificial Intelligence

RTX3050で何ができるか?

安価なGPUでできることを模索してみる昨今Xを眺めていると、えらく高価なGPUでローカルLLMをぶん回してる話題がたくさん飛び交ってます。やれ、DGX-Spark(当初60万→現在100万ぐらい?)だの、RTX5080(20万円前後)だの、...
Artificial Intelligence

環境構築:古いワークステーション仕入れました

PRIMERGY TX140S1には荷が重すぎたため、ひとまずつなぎとしてワークステーションを一台追加することにしました。今回追加したのは往年の名機(?)HP Z440です。本体メモリは8GBのECC Registered DDR4メモリを...
Hardware

FILCOのキーボード

老舗FILCOが閉業してしまったとのことで、巷をにぎわせていますが、先日ハードオフに行ったら売ってあったのでついつい手が出ました。保守系がどうなっていくか不安な声がささやかれてますが、非常に品質の良いキーボードが作られてきたということで、何...
Artificial Intelligence

llama.cppにおけるKVキャッシュ量子化について

KVキャッシュ量子化を軽々しく使うとつらい目に遭ったというタイトルで始めたんですけど、気づきは本当に偶然です。GPUSOROBANのインスタンスでllama.cppとLiteLLM連携の検証をしたときに気づいた話です。KVキャッシュというも...
Artificial Intelligence

メモリの帯域は馬鹿にならない

ローカルLLMを動かすときの重要なカギ:メモリ帯域ローカルLLMやSLMを使用するとき、皆さんはどういうグラフィックボードを使用されるのでしょう?大体は安価な製品なちょい古めの・・そう、例えばRTX3060-12GBみたいなものを使って動か...
Artificial Intelligence

GPUSOROBANというサービスを使う

皆さんはGPUSOROBANというサービスをご存じだろうか。3年ぐらい前に、格安のGPUサービスってないものか・・・と探してみた当時から、格安GPUサービスとして提供が行われていたが、確かに格安だったのは覚えている。ただ、当時の用途が3Dツ...
Artificial Intelligence

Gemma4-E2Bの動きを再度見る(CPU編)

以前「Gemma-4がでた」という記事を書いたんですが、この時VMに対して割り当てるCPU数を2に制約してたので、今回このCPU数を3に増やしてちょっと実行してみました。再推論したらこの通り、300%近傍まで負荷を上昇させることができました...
Artificial Intelligence

やっぱGPUが必要そうだ-この機種に刺さるGPUを探す

PRIMERGY TX140 S1に刺さるGPUはあるか?前回、Gemma4-E2Bを試した際に痛感したことが一つ。「やっぱりGPUないとつらいわ・・・」最新のマシンだったらCPUでもある程度の推論が可能ですが、Gemma4を試した際に実は...