Artificial Intelligence llama.cppとvLLMのメモリ区分の違い
きちんと対応付けできるのもあるけど、対応付けできないのもあるらしい。Model Weight及びKV Cacheは既に過去の記事で説明してるとおりなので割愛すると、llama.cppにおいてComputer bufferと呼ばれるものは、そ...
LLM
Artificial Intelligence 
Artificial Intelligence vLLMの設定を固める
vLLMをいい加減触らないとなーと言い出してもう何年経っただろう。気づけばちょっと掠るぐらいしか触ってない。何ともかっこ悪い話なんだけど、色々知らないことが多すぎるなぁと実際触れてみて感じるばかり。最終的に固まったConfigこういう設定で...
dify LLM推論処理時間の長さに待てないDify
最近、ドキュメントレビューツールを弄りつつしてると、こんなエラーが出るようになり、これの修正にかなりの時間を要したので備忘録としても記事化しときます。Failed to transform agent message: req_id: 22...
Artificial Intelligence 皆さんお待ちかね！？ Qwen3.8-27Bの実力を見てみる。
Hardware Intel GPUの監視を行う
かなりVibe Codingでやっつけたので説明は雑ですが、一応できました。緑色は元々仕込んでたNVIDIA向けGPUのかんしテンプレートから引っ張った情報。青いグラフは今回実装したものになります。xpu-smiを仕込むまず大前提として、X...
Artificial Intelligence 早速Intel ARCがトラブった件
おいマジか勘弁してくれ事案発生ある日アクセスしようとしたところですね、サーバが固まってるんすよ。こんなログ吐いて。ERROR CRITICAL: Xe has declared device 0000:03:00.0 as wedged.E...
Artificial Intelligence Intel ARC PRO B70でMuse Glimmer 30Bを動かす（性能）
普段使いMuse Glimmer 30Bが4ビット量子化で動くぞー！ﾔﾀ───ヽ(･∀･)ﾉ───!!さて、Linux環境でやっとこさ無事に導入できたIntel ARC PRO B70（今後ARC B70と呼称）でMuse Glimmerを...
Artificial Intelligence てんやわんやの大改造-GPUの組み替え
WindowsマシンからLinuxマシンへの転換を図るあれからWindowsマシンにIntel ARC PRO B70を入れて動かし始めたわけですが、ここで悲劇が一つ起きましたです。なんと、Windowsの地雷を踏みました。それはこれ。引用...
Artificial Intelligence Intel ARC PRO B70をのっけた。そして・・
Intel ARC PRO B70着荷しました。2026年9月2日水曜日。来ました来ました。お荷物が。Intel ARC PRO B70でございます。開梱しますと、内容はこんな風になっておりました。1つは本体、1つは 8pin x2→12p...
Artificial Intelligence OpenAI問題大丈夫？Hermes Agent v0.21.0見参
Hermes Agent v0.21.0が登場したようです。Hermes Agent v0.21.0（"The Pantheon Release"、2026-08-31 / tag v2026.8.31）が登場しまして、エージェント間で協調...