llama.cpp

Artificial Intelligence

やっぱGPUが必要そうだ-この機種に刺さるGPUを探す

PRIMERGY TX140 S1に刺さるGPUはあるか?前回、Gemma4-E2Bを試した際に痛感したことが一つ。「やっぱりGPUないとつらいわ・・・」最新のマシンだったらCPUでもある程度の推論が可能ですが、Gemma4を試した際に実は...
Artificial Intelligence

Gemma-4がでた

気持ち的にはタイトルにも「!」をつけたい!一時は「出る出る詐欺」とまで言われてたGemma-4がついに2026年4月3日にリリースされてたということで、朝からアゲアゲです。私この執筆をAM5時から開始しています。 にて紹介が書かれてましたの...
Artificial Intelligence

延々と「ちょまてよ!」を繰り返すQwen3.5

今日、半分試運転の意味でllama.cppを自宅マシンに突っ込みまして。そしてQwen3.5-2Bモデルをぶち込んでみました。ざっくり速度評価:正直奇跡だと思った今回の場合、大体トークン処理速度は 6 toks/s なので決して遅くはないで...
Artificial Intelligence

Dify-ナレッジ投入で早速躓く

タイムアウトは大きめに設定をさて、起動したDifyにとりあえずArxivで拾ったナレッジを取り込みたく操作してみれば「ああ、やっぱあの頃の環境は相当贅沢やったな」ということに気づく。DB処理がことごとくタイムアウトしておる。なので、まずは....