Artificial Intelligence

Artificial Intelligence

Gemma4-E2Bの動きを再度見る(CPU編)

以前「Gemma-4がでた」という記事を書いたんですが、この時VMに対して割り当てるCPU数を2に制約してたので、今回このCPU数を3に増やしてちょっと実行してみました。再推論したらこの通り、300%近傍まで負荷を上昇させることができました...
Artificial Intelligence

やっぱGPUが必要そうだ-この機種に刺さるGPUを探す

PRIMERGY TX140 S1に刺さるGPUはあるか?前回、Gemma4-E2Bを試した際に痛感したことが一つ。「やっぱりGPUないとつらいわ・・・」最新のマシンだったらCPUでもある程度の推論が可能ですが、Gemma4を試した際に実は...
Artificial Intelligence

Gemma-4がでた

気持ち的にはタイトルにも「!」をつけたい!一時は「出る出る詐欺」とまで言われてたGemma-4がついに2026年4月3日にリリースされてたということで、朝からアゲアゲです。私この執筆をAM5時から開始しています。 にて紹介が書かれてましたの...
Artificial Intelligence

モデルの構造をも少し細かく覗く

再掲:Qwen3.5-Denseモデルを例に以下は、Qwen3.5モデルの1例をとってその構造を描いてみたのですが、実際のところどういう風にソースなどでは表現されているのでしょうか?Qwen3.5-2Bのニューラルネットワークソースで見たい...
Artificial Intelligence

Qwen3.5-2Bについて

せっかく調査の際に構成図を書いたので、それを貼っておきます。Qwen3.5-2BのニューラルネットワークQwen3.5の特徴は、それ以前に出てたQwen3-Nextの構成を踏襲しているところです。一般的に、上図のGDN/GAは全く同じ仕組み...
Artificial Intelligence

KVキャッシュとは

先の投稿でKVキャッシュの容量について話題を出したので、これを掘り下げて解説することにしました。トランスフォーマー型LLM/SLMにおける基本的な動き基本的にこの手のLLM/SLMはこんな動きをしてる。AIモデルは、特にBi-Directi...
Artificial Intelligence

延々と「ちょまてよ!」を繰り返すQwen3.5

今日、半分試運転の意味でllama.cppを自宅マシンに突っ込みまして。そしてQwen3.5-2Bモデルをぶち込んでみました。ざっくり速度評価:正直奇跡だと思った今回の場合、大体トークン処理速度は 6 toks/s なので決して遅くはないで...
Artificial Intelligence

Dify-なんか増えとる(エージェント制作時)

あれ、エージェントを作る画面の中で知らない欄が増えている・・・( ゚Д゚)ドキュメントというやつ。そうか、もういっそのことコンテキストに書物を突っ込む仕様も加わったのか・・・確かに無理やりナレッジに突っ込んでも幸せになれないケース増えたもん...
Artificial Intelligence

Dify-ナレッジ投入で早速躓く

タイムアウトは大きめに設定をさて、起動したDifyにとりあえずArxivで拾ったナレッジを取り込みたく操作してみれば「ああ、やっぱあの頃の環境は相当贅沢やったな」ということに気づく。DB処理がことごとくタイムアウトしておる。なので、まずは....
Artificial Intelligence

Difyを基本構成したときのリソース消費

なぁーにぃー?やっちまったな!さぁ、無謀にも12年前の2014年にヤフオクで購入した、PRIMERGY TX140 S1に対して、Difyというツールをインストールしました。一応動きましたのよ。実家の屋根裏部屋で40度を超す熱気の中10年以...