Artificial Intelligence 環境構築:古いワークステーション仕入れました
PRIMERGY TX140S1には荷が重すぎたため、ひとまずつなぎとしてワークステーションを一台追加することにしました。今回追加したのは往年の名機（？）HP Z440です。本体メモリは8GBのECC Registered DDR4メモリを...
llama.cpp
Artificial Intelligence 
Artificial Intelligence アーキテクチャの違いで何が変わるのか？
アーキテクチャの違いで言語モデルの動きに差が出るのか？というところがなかなかピンとこないことがあります。特にDeepLearningモデルの領域では、ことあるごとに新しい仕組みが生まれては世代が変わり、それが学習の差によって出るものなのか、...
Artificial Intelligence llama.cppにおけるKVキャッシュ量子化について
KVキャッシュ量子化を軽々しく使うとつらい目に遭ったというタイトルで始めたんですけど、気づきは本当に偶然です。GPUSOROBANのインスタンスでllama.cppとLiteLLM連携の検証をしたときに気づいた話です。KVキャッシュというも...
昔取った杵柄 コンテナ内部でsystemctlみたいなことをしたい
以前紹介した GPUSOROBAN ですが、コンテナを払い出すサービスとして紹介をしました。それ故に通常のVMではできることができないポイントなんかあったりします。例えば systemctl が使えません。これを使うためにホスト側でいじる内...
Artificial Intelligence GPUSOROBANというサービスを使う
皆さんはGPUSOROBANというサービスをご存じだろうか。3年ぐらい前に、格安のGPUサービスってないものか・・・と探してみた当時から、格安GPUサービスとして提供が行われていたが、確かに格安だったのは覚えている。ただ、当時の用途が3Dツ...
Artificial Intelligence やっぱGPUが必要そうだ-この機種に刺さるGPUを探す
PRIMERGY TX140 S1に刺さるGPUはあるか？前回、Gemma4-E2Bを試した際に痛感したことが一つ。「やっぱりGPUないとつらいわ・・・」最新のマシンだったらCPUでもある程度の推論が可能ですが、Gemma4を試した際に実は...
Artificial Intelligence Gemma-4がでた
気持ち的にはタイトルにも「！」をつけたい！一時は「出る出る詐欺」とまで言われてたGemma-4がついに2026年4月3日にリリースされてたということで、朝からアゲアゲです。私この執筆をAM5時から開始しています。 にて紹介が書かれてましたの...
Artificial Intelligence 延々と「ちょまてよ！」を繰り返すQwen3.5
今日、半分試運転の意味でllama.cppを自宅マシンに突っ込みまして。そしてQwen3.5-2Bモデルをぶち込んでみました。ざっくり速度評価：正直奇跡だと思った今回の場合、大体トークン処理速度は 6 toks/s なので決して遅くはないで...
Artificial Intelligence Dify-ナレッジ投入で早速躓く
タイムアウトは大きめに設定をさて、起動したDifyにとりあえずArxivで拾ったナレッジを取り込みたく操作してみれば「ああ、やっぱあの頃の環境は相当贅沢やったな」ということに気づく。DB処理がことごとくタイムアウトしておる。なので、まずは....