Artificial Intelligence LFM2.5-8B-A1Bというモデルを見てみる
超高速に答えを返すモデルLFM2.5-8B-1Aはそのモデル名を見てわかるように、総パラメータ数は8B(実際は8.5B)、アクティブパラメータは1B(実際は1.5B)のMoE（Mixture of Experts）モデルです。実はこの前身と...
models
Artificial Intelligence 
Artificial Intelligence アーキテクチャの違いで何が変わるのか？
アーキテクチャの違いで言語モデルの動きに差が出るのか？というところがなかなかピンとこないことがあります。特にDeepLearningモデルの領域では、ことあるごとに新しい仕組みが生まれては世代が変わり、それが学習の差によって出るものなのか、...
Artificial Intelligence llm-jp-4のアーキテクチャ
llm-jpってコミュニティをご存じでしょうか？llm-jpとは、大規模言語モデル研究開発センターが主宰する研究者のコミュニティ名であり、かつ、日本発LLM開発プロジェクトの名称を指します。前職の会社でGPUについての調査検証をしていたころ...
Artificial Intelligence Gemma4-E2Bの動きを再度見る(CPU編)
以前「Gemma-4がでた」という記事を書いたんですが、この時VMに対して割り当てるCPU数を2に制約してたので、今回このCPU数を3に増やしてちょっと実行してみました。再推論したらこの通り、300%近傍まで負荷を上昇させることができました...
Artificial Intelligence Gemma-4がでた
気持ち的にはタイトルにも「！」をつけたい！一時は「出る出る詐欺」とまで言われてたGemma-4がついに2026年4月3日にリリースされてたということで、朝からアゲアゲです。私この執筆をAM5時から開始しています。 にて紹介が書かれてましたの...
Artificial Intelligence モデルの構造をも少し細かく覗く
再掲：Qwen3.5-Denseモデルを例に以下は、Qwen3.5モデルの1例をとってその構造を描いてみたのですが、実際のところどういう風にソースなどでは表現されているのでしょうか？Qwen3.5-2Bのニューラルネットワークソースで見たい...
Artificial Intelligence Qwen3.5-2Bについて
せっかく調査の際に構成図を書いたので、それを貼っておきます。Qwen3.5-2BのニューラルネットワークQwen3.5の特徴は、それ以前に出てたQwen3-Nextの構成を踏襲しているところです。一般的に、上図のGDN/GAは全く同じ仕組み...
Artificial Intelligence 延々と「ちょまてよ！」を繰り返すQwen3.5
今日、半分試運転の意味でllama.cppを自宅マシンに突っ込みまして。そしてQwen3.5-2Bモデルをぶち込んでみました。ざっくり速度評価：正直奇跡だと思った今回の場合、大体トークン処理速度は 6 toks/s なので決して遅くはないで...