Artificial Intelligence KVキャッシュとは
先の投稿でKVキャッシュの容量について話題を出したので、これを掘り下げて解説することにしました。トランスフォーマー型LLM/SLMにおける基本的な動き基本的にこの手のLLM/SLMはこんな動きをしてる。AIモデルは、特にBi-Directi...
ゆうい
Artificial Intelligence 
Artificial Intelligence 延々と「ちょまてよ！」を繰り返すQwen3.5
今日、半分試運転の意味でllama.cppを自宅マシンに突っ込みまして。そしてQwen3.5-2Bモデルをぶち込んでみました。ざっくり速度評価：正直奇跡だと思った今回の場合、大体トークン処理速度は 6 toks/s なので決して遅くはないで...
Google Cloud Google Custom Search EngineもVertex AI Searchもわからないんで。
こんなしょーもないワークロードツールを作りました。タイトルのあれはいったい何？って話なんですが、そもそも新しく作るGoogle Custom Search Engineって一般Web検索がもうできなくなってるんですね。そういう風にCSE側の...
Artificial Intelligence Dify-なんか増えとる(エージェント制作時）
あれ、エージェントを作る画面の中で知らない欄が増えている・・・( ﾟДﾟ)ドキュメントというやつ。そうか、もういっそのことコンテキストに書物を突っ込む仕様も加わったのか・・・確かに無理やりナレッジに突っ込んでも幸せになれないケース増えたもん...
Artificial Intelligence Dify-ナレッジ投入で早速躓く
タイムアウトは大きめに設定をさて、起動したDifyにとりあえずArxivで拾ったナレッジを取り込みたく操作してみれば「ああ、やっぱあの頃の環境は相当贅沢やったな」ということに気づく。DB処理がことごとくタイムアウトしておる。なので、まずは....
Artificial Intelligence Difyを基本構成したときのリソース消費
なぁーにぃー？やっちまったな！さぁ、無謀にも12年前の2014年にヤフオクで購入した、PRIMERGY TX140 S1に対して、Difyというツールをインストールしました。一応動きましたのよ。実家の屋根裏部屋で40度を超す熱気の中10年以...
Artificial Intelligence 昔の鉄板が今となっては
GPT-4当たりが出るころ、当時よくやっていたプロンプトの書き方としてペルソナ設定というものを最初に記述し、その中で「あなたは大変優秀な〇〇です」とか書くのが鉄板と言われてたのだけど、どうやら今は違うようで。この記事の中でどうも、そうしたペ...