LLM

Artificial Intelligence

機密情報を外に漏らさぬために

こんなXでのポストを目にしました。AIに個人情報を入れまくってたら人生が終わりかけた話昨今、これはフィクションだ!という人もいらっしゃるようですが、それ以上に重要なのは「そうならないようにちゃんと周辺コンポーネント含めて情報見てる?」ってこ...
Artificial Intelligence

Tokenizerの作り方

よくよく考えてみればllm-jp4のアーキテクチャを整理してる際にふと気づいたことがあります。「Tokenizerってどうやって作ってるんだろう?」お前そんなことすら知らねーのか!?と言われそうですが、全く意識したことがありませんでした(;...
Artificial Intelligence

Gemma4-E2Bの動きを再度見る(CPU編)

以前「Gemma-4がでた」という記事を書いたんですが、この時VMに対して割り当てるCPU数を2に制約してたので、今回このCPU数を3に増やしてちょっと実行してみました。再推論したらこの通り、300%近傍まで負荷を上昇させることができました...
Artificial Intelligence

やっぱGPUが必要そうだ-この機種に刺さるGPUを探す

PRIMERGY TX140 S1に刺さるGPUはあるか?前回、Gemma4-E2Bを試した際に痛感したことが一つ。「やっぱりGPUないとつらいわ・・・」最新のマシンだったらCPUでもある程度の推論が可能ですが、Gemma4を試した際に実は...
Artificial Intelligence

Gemma-4がでた

気持ち的にはタイトルにも「!」をつけたい!一時は「出る出る詐欺」とまで言われてたGemma-4がついに2026年4月3日にリリースされてたということで、朝からアゲアゲです。私この執筆をAM5時から開始しています。 にて紹介が書かれてましたの...
Google Cloud

VertexAI Search だめぢゃん(´・ω・`)

VertexAIはまだ苦戦してるけど、ちょっと使ってみて、少し違和感を感じ、どーしても気になるからGemini師匠に相談したんだ。そしたらこんな答えが返ってきたんだよ・・・・だめぢゃん・・(´・ω・`)Vertex AI Search(En...
Artificial Intelligence

KVキャッシュとは

先の投稿でKVキャッシュの容量について話題を出したので、これを掘り下げて解説することにしました。トランスフォーマー型LLM/SLMにおける基本的な動き基本的にこの手のLLM/SLMはこんな動きをしてる。AIモデルは、特にBi-Directi...
Artificial Intelligence

延々と「ちょまてよ!」を繰り返すQwen3.5

今日、半分試運転の意味でllama.cppを自宅マシンに突っ込みまして。そしてQwen3.5-2Bモデルをぶち込んでみました。ざっくり速度評価:正直奇跡だと思った今回の場合、大体トークン処理速度は 6 toks/s なので決して遅くはないで...
Artificial Intelligence

Dify-なんか増えとる(エージェント制作時)

あれ、エージェントを作る画面の中で知らない欄が増えている・・・( ゚Д゚)ドキュメントというやつ。そうか、もういっそのことコンテキストに書物を突っ込む仕様も加わったのか・・・確かに無理やりナレッジに突っ込んでも幸せになれないケース増えたもん...