Artificial Intelligence llama.cppにおけるKVキャッシュ量子化について
KVキャッシュ量子化を軽々しく使うとつらい目に遭ったというタイトルで始めたんですけど、気づきは本当に偶然です。GPUSOROBANのインスタンスでllama.cppとLiteLLM連携の検証をしたときに気づいた話です。KVキャッシュというも...
gemma-4
Artificial Intelligence 
昔取った杵柄 コンテナ内部でsystemctlみたいなことをしたい
以前紹介した GPUSOROBAN ですが、コンテナを払い出すサービスとして紹介をしました。それ故に通常のVMではできることができないポイントなんかあったりします。例えば systemctl が使えません。これを使うためにホスト側でいじる内...
Artificial Intelligence Gemma4-E2Bの動きを再度見る(CPU編)
以前「Gemma-4がでた」という記事を書いたんですが、この時VMに対して割り当てるCPU数を2に制約してたので、今回このCPU数を3に増やしてちょっと実行してみました。再推論したらこの通り、300%近傍まで負荷を上昇させることができました...
Artificial Intelligence Gemma-4がでた
気持ち的にはタイトルにも「！」をつけたい！一時は「出る出る詐欺」とまで言われてたGemma-4がついに2026年4月3日にリリースされてたということで、朝からアゲアゲです。私この執筆をAM5時から開始しています。 にて紹介が書かれてましたの...