あの頃、人工知能チャットと言うものの登場に歓喜したころ
ChatGPTが話題に上がったのがちょうど2022年後半のこと。翌年2023年にはいろいろなモデルが登場し、その中でニューラルネットワーク構造も大きく様変わりしたといわれています。
私自身今どきのDeepLearningモデルに触れ始めたのは2022年3月ごろのことですが、ようやくそのモデルの動きをつかみ始めたのがちょうどこの頃です。
特に、単語と単語の関係性を保持するAttentionブロックについては、アルゴリズムや理論の発見とともに様々なAttentionブロックに構造を置きかえられ、より高効率な計算と正確性の高い回答が可能なロジックとなって世に出て2026年現在まで人を驚かせ続けています。
Attentionブロックの変遷・進化
今回、Attentionの中でもAttentionブロック構造に重きを置いて表にまとめてみました。
数字付きの項目は番号付きで技術フェーズを書いています。その下に、主な次世代アーキテクチャであるハイブリッドアーキテクチャ3種について書いています。
| 技術フェーズ | 技術・構造名 | 構造的な進化の内容 | 主なメリット | 代表的な採用LLM / モデル |
| 1. 標準化 | Multi-Head Attention (MHA) | 入力データを複数の「ヘッド」に分割し、並列に異なる関係性を計算。 | 豊かな表現力（文法、意味、指示対象などを多角的に把握）。 | GPT-3, Llama 1, オリジナルのTransformer |
| 2. 推論効率化 (初期) | Multi-Query Attention (MQA) | 複数のQueryヘッドに対し、1つのKey/Valueヘッドを共有。 | KVキャッシュのメモリ消費を劇的に削減。推論スループットの向上。 | Falcon, PaLM |
| 3. 推論効率化 (標準) | Grouped-Query Attention (GQA) | Queryをグループ化し、グループごとに1つのKVヘッドを共有（MHAとMQAの中間）。 | 現在の標準。 MQAほどの表現力低下を抑えつつ、MHAに近い効率を両立。 | Llama 2 (70B), Llama 3, Mistral, Mixtral |
| 4. 長文対応 (局所性) | Sliding Window Attention (SWA) | 全てのトークンを見るのではなく、一定の範囲（窓）内のみをAttentionの対象にする。 | 計算量を線形に抑えつつ、局所的な依存関係を正確に捉える。 | Mistral 7B, Mistral NeMo, Gemma-3, gpt-oss |
| 次世代アーキテクチャ1 | Hybrid (SSM + Transformer) | Attention層と、線形スケーリングを持つSSM（Mamba等）を一定比率にて交互に配置する。 | 超長文コンテキストへの対応。 Transformerの高品質さとSSMの高速なスケーリングを両立。 | Nemotronシリーズ |
| 次世代アーキテクチャ2 | Gated DeltaNet + Gated Attention | 状態更新・記憶保持はGDNによって、情報調整・ノイズ抑制はGAにて担保。これを一定比率にて交互に配置する。 | 超長文コンテキストへの対応、GDN/GAの役割分担によって高速度でのトークン出力を実現 | Qwen3-Next, Qwen3.5以降 |
| 次世代アーキテクチャ3 | Local Attention + Global Attention | 局所的コンテキストの解析をLA内のSliding Windowで行い、長文脈に対する統括をGAにて担保する。 後は他のハイブリッドアーキテクチャと同じ | 超長文コンテキストへの対応、コンテキストサイズ拡張に伴うメモリサイズ肥大化の抑制 | Gemma-4 |
Group Query Attentionの台頭
最近までの主流は GQA(Group Query Attention) でした。Meta Llama-2登場から昨年までこの仕組みが主流となり、長文コンテキストへの対応を中心に進められています。しかし、GQAはそのKVキャッシュの収容に伴い非常に多くのメモリを必要としており、これがネックとなって実際には最大コンテキスト長を拡張しきれていませんでした。
そんな中、昨年登場したGemma-3, GPT-OSSは128kという当時超長文ともいえるコンテキスト長を収容可能であるということで、界隈に大きな衝撃を与えました。そこで使われた技術はSWA(Sliding Window Attention)でした。コンテキスト長を広げてもKVキャッシュ容量を大量に必要とせず、これに歓喜した人も少なくはないのでは？と思います。
さらなるコンテキスト長対応を目指して-ハイブリッドAttention
しかし、最近ではNVIDIAが開発し続けているMamba/Jambaを用いたNemotronシリーズを皮切りに、さらなる長文コンテキストに対応できるハイブリッドアーキテクチャが徐々に発展してきているのもまた事実です。
このハイブリッドアーキテクチャは、従来ではレイヤー数の変化はあれど、基本的に各レイヤーに取り付けるアテンションブロックは1種類のみと言うものが主流であったのに対して、レイヤー毎に異なるアテンションブロックを採用するという特徴があります。
局所的な情報獲得に強いブロックを基本的に用い、一定の割合でそれを統括するようなAttentionブロックを咬ませるということが多く、これにより単一アテンションブロックでは実現できてなかった網羅的な情報紐付けと情報発散防止、全体的な情報統括を両立させながら、的確な回答を返すようなLLMを構成できるようになったと言えるでしょう。
様々なハイブリッドAttention
現在、大手が繰り出すTongyi LaboのQwenシリーズではGated DeltaNetとGated Attentionのハイブリッドアーキテクチャ、Google Deepmindが繰り出すGemma-4ではLocal Attention + Global Attention のハイブリッドアーキテクチャが考案され、ローカルLLMの中では台頭に上りつつあります。
さらに、LFM-2.5-8B-A1Bなどを繰り出すLiquid AI社では、Liquid Neural Networks (LNN)と呼ばれるハイブリッドアーキテクチャを繰り出し、その性能・速度から界隈をにぎわせました。こちらはかつてLinear Attentionと呼ばれる機構が目指した「計算オーダーを O(n^2) から O(n) に持っていく」ことを彼ら独自の異なるアプローチをもって取り組んだものになります。
こうしてすっかりLLMのニューラルネットワークは複雑化が進み、単純にConfig.jsonを斜め読みするだけではその全体像をつかみにくくなってきました。今後もTransformersとにらめっこしながら、どのように言葉を紡ぐのか、色々な方法を追いかけ、なぞりつつ、その歴史の変化を見守っていきたく思います。
コメント