昔取った杵柄 コンテナ内部でsystemctlみたいなことをしたい
以前紹介した GPUSOROBAN ですが、コンテナを払い出すサービスとして紹介をしました。それ故に通常のVMではできることができないポイントなんかあったりします。例えば systemctl が使えません。これを使うためにホスト側でいじる内...
GPU
昔取った杵柄 Artificial Intelligence メモリの帯域は馬鹿にならない
ローカルLLMを動かすときの重要なカギ：メモリ帯域ローカルLLMやSLMを使用するとき、皆さんはどういうグラフィックボードを使用されるのでしょう？大体は安価な製品なちょい古めの・・そう、例えばRTX3060-12GBみたいなものを使って動か...
Artificial Intelligence GPUSOROBANというサービスを使う
皆さんはGPUSOROBANというサービスをご存じだろうか。3年ぐらい前に、格安のGPUサービスってないものか・・・と探してみた当時から、格安GPUサービスとして提供が行われていたが、確かに格安だったのは覚えている。ただ、当時の用途が3Dツ...
Artificial Intelligence llm-jp-4のアーキテクチャ
llm-jpってコミュニティをご存じでしょうか？llm-jpとは、大規模言語モデル研究開発センターが主宰する研究者のコミュニティ名であり、かつ、日本発LLM開発プロジェクトの名称を指します。前職の会社でGPUについての調査検証をしていたころ...
Artificial Intelligence Gemma4-E2Bの動きを再度見る(CPU編)
以前「Gemma-4がでた」という記事を書いたんですが、この時VMに対して割り当てるCPU数を2に制約してたので、今回このCPU数を3に増やしてちょっと実行してみました。再推論したらこの通り、300%近傍まで負荷を上昇させることができました...
Artificial Intelligence やっぱGPUが必要そうだ-この機種に刺さるGPUを探す
PRIMERGY TX140 S1に刺さるGPUはあるか？前回、Gemma4-E2Bを試した際に痛感したことが一つ。「やっぱりGPUないとつらいわ・・・」最新のマシンだったらCPUでもある程度の推論が可能ですが、Gemma4を試した際に実は...
Artificial Intelligence Gemma-4がでた
気持ち的にはタイトルにも「！」をつけたい！一時は「出る出る詐欺」とまで言われてたGemma-4がついに2026年4月3日にリリースされてたということで、朝からアゲアゲです。私この執筆をAM5時から開始しています。 にて紹介が書かれてましたの...
Artificial Intelligence KVキャッシュとは
先の投稿でKVキャッシュの容量について話題を出したので、これを掘り下げて解説することにしました。トランスフォーマー型LLM/SLMにおける基本的な動き基本的にこの手のLLM/SLMはこんな動きをしてる。AIモデルは、特にBi-Directi...
Artificial Intelligence 延々と「ちょまてよ！」を繰り返すQwen3.5
今日、半分試運転の意味でllama.cppを自宅マシンに突っ込みまして。そしてQwen3.5-2Bモデルをぶち込んでみました。ざっくり速度評価：正直奇跡だと思った今回の場合、大体トークン処理速度は 6 toks/s なので決して遅くはないで...
Artificial Intelligence Dify-ナレッジ投入で早速躓く
タイムアウトは大きめに設定をさて、起動したDifyにとりあえずArxivで拾ったナレッジを取り込みたく操作してみれば「ああ、やっぱあの頃の環境は相当贅沢やったな」ということに気づく。DB処理がことごとくタイムアウトしておる。なので、まずは....