Artificial Intelligence

再掲：Qwen3.5-Denseモデルを例に以下は、Qwen3.5モデルの1例をとってその構造を描いてみたのですが、実際のところどういう風にソースなどでは表現されているのでしょうか？Qwen3.5-2Bのニューラルネットワークソースで見たい...

せっかく調査の際に構成図を書いたので、それを貼っておきます。Qwen3.5-2BのニューラルネットワークQwen3.5の特徴は、それ以前に出てたQwen3-Nextの構成を踏襲しているところです。一般的に、上図のGDN/GAは全く同じ仕組み...

先の投稿でKVキャッシュの容量について話題を出したので、これを掘り下げて解説することにしました。トランスフォーマー型LLM/SLMにおける基本的な動き基本的にこの手のLLM/SLMはこんな動きをしてる。AIモデルは、特にBi-Directi...

今日、半分試運転の意味でllama.cppを自宅マシンに突っ込みまして。そしてQwen3.5-2Bモデルをぶち込んでみました。ざっくり速度評価：正直奇跡だと思った今回の場合、大体トークン処理速度は 6 toks/s なので決して遅くはないで...

あれ、エージェントを作る画面の中で知らない欄が増えている・・・( ﾟДﾟ)ドキュメントというやつ。そうか、もういっそのことコンテキストに書物を突っ込む仕様も加わったのか・・・確かに無理やりナレッジに突っ込んでも幸せになれないケース増えたもん...

タイムアウトは大きめに設定をさて、起動したDifyにとりあえずArxivで拾ったナレッジを取り込みたく操作してみれば「ああ、やっぱあの頃の環境は相当贅沢やったな」ということに気づく。DB処理がことごとくタイムアウトしておる。なので、まずは....

なぁーにぃー？やっちまったな！さぁ、無謀にも12年前の2014年にヤフオクで購入した、PRIMERGY TX140 S1に対して、Difyというツールをインストールしました。一応動きましたのよ。実家の屋根裏部屋で40度を超す熱気の中10年以...

GPT-4当たりが出るころ、当時よくやっていたプロンプトの書き方としてペルソナ設定というものを最初に記述し、その中で「あなたは大変優秀な〇〇です」とか書くのが鉄板と言われてたのだけど、どうやら今は違うようで。この記事の中でどうも、そうしたペ...