論文翻訳品質確認をしてみたよ。

Hy-MT2-1.8Bの実力を測ってみた
1. プロンプトはがちがちに決められているので気を付けて
2. 総括
参考：比較内容

Hy-MT2-1.8Bの実力を測ってみた

Tencentが公開した中で、軽量モデルであるHy-MT2-1.8Bについて評価をしてみました。
Tencentは中国企業の中でもかなり初期段階からDeepLearningの画像系処理でもろもろ取り組んでいたところで、GANってアーキテクチャが重宝されていた時代から色々やっておられてたのを覚えています。私的には画像のブレ補正モデルに未来を感じてたりした時代もありました。その他、超解像（Super-Resolution）分野とか。

Hy-MT2-1.8Bは特化型のSLM（Small-Language Model）であり、非常に軽量ですけれども、果たしてこれがどれほどの実力を持っているのか、日本語翻訳で試してみることにしました。結果評価を詳細に見たかったこともあり、評価自体にはGemini 3.1 Proを使用しています。

プロンプトはがちがちに決められているので気を付けて

プロンプトですが、厳密に決められているようなので、以下の通り定義すればよいかと。

Translate the following text into {{ここに翻訳先となる言語のコードを入れる}}. 
Note that you should only output the translated result without any additional explanation:

{{ここに原文を組み込む}}

Translate the following text into {{ここに翻訳先となる言語のコードを入れる}}. 
Note that you should only output the translated result without any additional explanation:

{{ここに原文を組み込む}}

このあたりの定義をミスると、めちゃくちゃな出力がなされることを確認しています。
言語のコードというのは、例えば日本語の場合は Japanese となり、英語の場合は English となります。

総括

結果的には後述するようにPlamoのほうが翻訳内容としては上手でした。これは、Preffered NetworksさんのもつPlamoモデル全体に言えることですが、非常にマニアックにトークナイザ・モデルを磨き上げた結果と言えるものがあり、それ自体は誰にでもできることではない技術の賜物と言えるのかなと感じています。

しかしながら、Hy-MT2-1.8Bは非常に軽量なモデルでここまでの表現ができるのかと逆に度肝を抜かれる結果となっており、少なくとも一定の意味は拾える内容となっていました。本命モデルである7B,30Bモデルだとどの制度まで処理が進むんだろう？と固唾をのんでるところですけど、正直自前環境が貧弱すぎるせいで試せていません・・・試せたら同じように評価してみたいところです。

参考：比較内容

Plamo翻訳とHy-MT2-1.8B翻訳をLFM2 Technical noteをベースに日本語へ翻訳する処理を行いました。
結果としては、Plamo翻訳の圧勝！ということで、Preffered Networksの技術力の高さがうかがえる結果となりました。なお、開業位置の不良などは、どちらかというと私の補正の問題なので、おそらく実際には問題にならないんじゃないかなぁという気がします。

翻訳結果以降の出力メッセージはGemini 3.1 Proの出力した内容をそのまま転載しています。

Plamo翻訳：翻訳例A

Hy-MT2-1.8B：翻訳例B

2.1 アーキテクチャ最適化プロセス

LFM2の設計目標はエッジファーストであり、遅延とCPUおよび異種NPUにおけるピークメモリ使用量という厳しいデバイス側制約条件を満たしつつ、下流タスクの品質を最大化することである。近年の効率的なアーキテクチャ設計（Blakeman et al., 2025; Kimi Team et al., 2025; Waleffe et al., 2024）では、通常以下の3つの要素を組み合わせている：（i）線形アテンション変種や状態空間モデル（SSMs）などの代替シーケンス演算子（Dao and Gu, 2024; Yang et al., 2025b）、（ii）短距離畳み込み演算（一般に代替シーケンスブロックに統合される）、（iii）標準的なソフトマックスアテンション層の非自明な割合（Park et al., 2024; Waleffe et al., 2024; Wen et al., 2025）であり、これはソフトマックスアテンション層を持たないモデルで観測される品質低下（例えば長距離情報の取得能力など）を補完するためのものである。我々はハードウェアインザループ探索手法を用いてこの設計空間を明示的に探索し、現実的なエッジ環境における遅延とメモリ制約条件下では、最小限のハイブリッド構成で十分であることを発見した：ほとんどの層にはゲート付き短距離畳み込み演算を採用し、少数のグループクエリアテンション（GQA）層を追加するのみで、追加のSSMsや線形アテンション演算子は不要である。

目的と制約条件。アーキテクチャ選択問題を、以下の3軸にわたるパレート最適化問題として定式化する：

品質：参照データセットを用いて各候補アーキテクチャを学習させた後、50種類以上の評価指標（知識想起、マルチホップ推論、指示追従、多言語対応堅牢性、ツール使用、数学処理、長文文脈処理性能など）における性能
遅延：における最初のトークン到達時間（TTFT）およびp50/p95デコード遅延（ms/トークン）、batch = 1および代表的なプロンプトに対する事前入力スループット（トークン/秒）
ピークメモリ使用量：対象の文脈ウィンドウサイズ（4Kおよび32K）における事前入力時およびデコード時の最大常駐セットサイズ（RSS）として測定TTFT、デコード遅延、またはピークメモリ使用量に関してデバイス側の予算を超過する候補アーキテクチャは除外する。残りの候補については、品質-遅延-メモリのパレートフロンティアにおけるハイパーボリューム改善度に基づいて順位付けを行う。

探索空間：以下のブロックファミリーから構築されるデコーダー専用スタックを検討する：
・局所文脈および準二次ブロック：カーネルサイズ可変のゲート付き短時間畳み込みブロック、スライディングウィンドウ注意機構（Child et al., 2019）、線形注意変種を含む準二次系列ブロックファミリー（Katharopoulos et al., 2020; Yang et al., 2024a, 2025b）、S4（Gu et al., 2022）、Liquid-S4（Hasani et al., 2023）、S5（Smith et al., 2023b）、RTF（Parnichkun et al., 2024）、Mamba（Gu et al., 2022）、Mamba2（Dao and Gu, 2024）などの状態空間変種、CfC（Hasani et al., 2022）などの液体時間定常ネットワーク、および効率的な系列ブロックの内部変種。これらのブロックは通常、深さ方向短時間畳み込みとより長距離の線形注意/SSMコンポーネントを組み合わせた構造を持つ（Fu et al., 2023; Gu and Dao, 2024; Poli et al., 2023）。探索空間には、短時間畳み込みサブモジュールのみを保持する変種（すなわちゲート付き短時間畳み込みブロック）や、完全なハイブリッド演算子を保持する変種も含まれる。これにより、探索過程で性能向上が特定の計算ユニットに起因するものかどうかを判断できる。線形注意およびSSM変種は入力のグローバル処理が可能であるが、検索集約型タスクにおける制約を考慮すると、局所文脈ブロックと同クラスに分類される（Arora et al., 2024b; Blouir et al., 2024; Parnichkun et al., 2025; Wen et al., 2025）（より広範な議論については第8.2節を参照）。

・グローバル文脈ブロック：グループ数とヘッド次元を可変としたグループクエリ注意機構（GQA）（Ainslie et al., 2023）に、QK-Norm（Dehghani et al., 2023a）を追加したもの。

・位置ベースブロック：SwiGLUフィードフォワードブロック（Shazeer, 2020）で、拡張比は探索によって決定される。

・レイアウト：固定パラメータ予算下における、局所文脈ブロック、グローバル文脈ブロック、位置ベースブロックの交互配置パターン、およびブロック総数。共有重みやキャッシュ再利用のオプションも含まれる。

・MoEオプション：層ごとにスパースなFFNを採用し、幅とエキスパート粒度を可変とする。5デバイス上でのプロファイリング。すべての候補モデルは、同一設定（バッチサイズ=1、固定コンテキストウィンドウサイズ4K/32K、量子化方式/バックエンドの一致）でデプロイメントスタックにコンパイルされ、以下の対象デバイス上でベンチマークテストを実施する：

・CPUパス：ExecuTorch およびllama. cpp（Q4.0）をSamsung Galaxy S24 Ultra（Qualcomm Snap(8da4w)dragon 8 Gen 3 SoC搭載）およびAMD Ryzen HX 370上で実行。

・アクセラレータパス：単一リクエストおよびオンラインバッチ処理用のvLLM（妥当性確認用に使用。主要なターゲットは依然としてデバイス上のCPU展開である）。
(p50/p95)同一のプロンプトとトークナイザ設定を用いて、TTFT（初回応答時間）、プリフィルスループット（トークン/秒）、デコード時間/トークン、およびピークメモリ使用量を記録する。

評価と選定

品質推定と展開可能性の確認を考慮する。品質は対象を絞った学習実験によって測定し、内部評価スイートでスコアリングする。展開可能性は前述のデバイス上プロファイリングによって評価する。学習実験は有意な品質差が検出できる十分な規模で実施し、デバイス測定は出荷予定のランタイム環境と同じ代表的なエッジデバイス上で取得する。品質と展開可能性の両方のチェックで優位性を維持する構成は前進させ、それ以外のものは早期に除外する。実現可能なモデルの中から、品質-遅延-メモリのパレート最適曲線上にあるモデルを保持し、探索を継続する。

以前の学術的プロトタイプ（STAR）（Thomas et al., 2024）では、演算子/レイアウト選択の特定の設計空間を探索し、プロキシ信号（品質評価のためのパープレキシティ、効率性評価のためのキャッシュサイズなど）を最適化する進化的探索ヒューリスティックを採用していた。しかし、実際にはこれらのプロキシは下流タスクのスコアやデバイスレベルの遅延・メモリ使用量に確実に転移せず、最適化目標としての有用性が制限されていた。

これに対し、LFM2パイプラインでは目的を中核に据えている：下流タスクのスコアと、リリース時のランタイム環境におけるハードウェアインザループTTFT/遅延/メモリ使用量である。実際には、このアプローチは探索空間の詳細や探索ヒューリスティックの選択よりもはるかに大きな効果をもたらすことが判明した。

成果：
サイズ目標に応じて、ハードウェアインザループ探索で繰り返し選択されるのは、ほとんどのブロックが低コストのゲート付きショート畳み込みブロックで構成され、少数のGQAブロックが分散配置された最小限のハイブリッドアーキテクチャである。同一のデバイス性能予算条件下では、これらのスタック（最近のハイブリッド変種と同様に）に線形注意機構、状態空間演算子、または追加の畳み込み演算子を付加しても、評価スイートにおける総合品質は向上せず、むしろデバイス性能指標を悪化させる傾向があった。実験結果から得られたハイブリッドアーキテクチャの特徴は以下の通りである：

同一予算条件において、注意機構重視型および混合型（畳み込み+線形/状態空間/畳み込み）のベースラインと同等の、あるいはそれ以上の総合品質を達成する；batch = 1
同一のトークナイザ、プロンプト、量子化、バックエンド設定条件下で、デコード遅延（p50/p95）を短縮し、プリフィルスループットを向上させる。
長いコンテキスト長（4K/32K）においてピークRSSを低減し、これは注意機構重視型レイアウトと比較してKVキャッシュ使用量が減少していることと一致する。

これらの結果から、デバイス上での運用環境において、最近のハイブリッドSSM/線形注意ブロックがもたらす利点の大部分は、その短い畳み込みサブモジュールと少数のグローバル注意層によって実現可能であることが示唆される。
したがって、我々はグローバルブロックを最小限に抑えつつ、他の部分では低コストでゲート付きの短い畳み込みブロックを優先する設計方針を採用する。リリースした高密度バックボーン（第2節）およびLFM2-8B-A1BにおけるスパースFFN配置（第2節）は、この設計方針を具体的に実現したものである。詳細な速度性能とメモリ使用量の測定結果は第2.4節に記載されている。

2.1 アーキテクチャ最適化プロセス

LFM2の設計目標はエッジ優先である。つまり、CPUや異質なNPUにおけるレイテンシやピークメモリを抑えながら、下流側の品質を最大化することが求められる。最近の効率的なアーキテクチャ（Blakemanら、2025年；Kimi Teamら、2025年；Waleffeら、2024年）は通常、3つの要素を組み合わせている：(i) 線形注意の変種や状態空間モデル（SSM）といった代替的なシーケンスオペレータ、(ii) 短距離畳込み（一般的に代替シーケンスブロックに統合されている）、および(iii) softmax注意層を含む非平凡な部分で、softmax注意層がないモデルで観測される品質の不足を回復する（例：長距離検索能力）。我々はハードウェアインターロール型探索プロセスを用いてこの設計空間を明示的に探索し、実際的なエッジレイテンシとメモリ予算の下では、追加のSSMや線形注意オペレータなしで、ほとんどの層にゲート付き短畳込み、少数のGQA層のみを含む最小限のハイブリッドスーフィスが有効であることを明らかにした。

目標と制約。我々はアーキテクチャ選択を3つの軸におけるパレート最適化として捉える：

品質：参照データセット上で各候補アーキテクチャを訓練した後、50以上の評価スイート（知識想起、マルチホップ推理、指示に従うこと、多言語の堅牢性、ツール利用、数学演算、長文コンテキスト性能など）におけるパフォーマンス。
レイテンシ：バッチ=1時の最初のトークン到達時間（TTFT）とp50/p95デコードレイテンシ（ms/token）、および代表的なプロンプトでの前もつれスループット（tokens/s）。
ピークメモリ：目標となるコンテキストウィンドウでの前もつれ時とデコード時の最大常-セットサイズ（RSS）として測定される。
TTFT、デコードレイテンシ、またはピークメモリにおいて装置側予算を超える候補アーキテクチャは除外される。残りの候補は品質－レイテンシ－メモリのパレートフロントラインにおけるハイパーベクトル改善によって順位付けされる。

探索空間。我々は以下のブロックファミリーから構成されるデコーダのみスタックを考慮する：

局所コンテキストとサブ二次式ブロック：異なるカーネルサイズを持つゲート付き短畳込みブロック、スライディングウィンドウ注意（Childら、2019年）、線形注意の変種を含むサブ二次式シーケンスブロックファミリー（Katharopoulosら、2020年；Yangら、2024a, 2025b）；S4（Guら、2022年）、Liquid-S4（Hasaniら、2023年）、S5（Smithら、2023b）、RTF（Parnichkunら、2024年）、Mamba（Guら、2022年）、Mamba2（DaoとGu、2024年）などの状態空間変種；CfC（Hasaniら、2022年）のLiquid-Time Constantネットワークや効率的なシーケンスブロックの内部変種。これらのブロックは通常、深層的短畳込みとより長距離の線形注意/SSM成分を組み合わせている（Fuら、2023年；GuとDao、2024年；Poliら、2023年）。探索空間には、短畳込みサブモジュールのみを保持する変種も、全ハイブリッドオペレータを保持する変種も含まれる。これにより、探索はパフォーマンスの向上を全体のオペレータ内の特定の計算ユニットに帰属させることができる。線形注意とSSM変種は入力の全体的処理を行うが、検索に依存するタスクにおいてその限界があるため、局所コンテキストブロックと同じクラスと考えられる（Aroraら、2024b；Blouirら、2024年；Parnichkunら、2025年；Wenら、2025年）。より広範な議論については第8.2節を参照。
全体的コンテキストブロック：異なるグループ数とヘッドサイズを持つ群組クエリ注意（GQA）（Ainslieら、2023年）、QK-Normで拡張されたもの（Dehghaniら、2023a）。
位置付きブロック：探索によって選択される拡張比率を持つSwiGLU前-ブロック（Shazeer、2020年）。
レイアウト：固定されたパラメータ予算の下での局所コンテキストブロック、全体的コンテキストブロック、位置付きブロックの交互パターン、共有ウェイトやキャッシュ再利用のオプションを含む。
MoEオプション：異なる幅とエキスパートレベルの層ごとのスパースFFN。デバイス上のプロファイリング。各候補は、同じ設定（バッチ=1、4K/32Kの固定コンテキストウィンドウ、一致した量子化/バックエンド）で実装スタックにコンパイルされ、目標デバイス上で評価される：
CPUパス：Samsung Galaxy S24 Ultra（Qualcomm Snapdragon 8 Gen 3 SoC）およびAMDRyzenHX370上のExecuTorch（8da4w）とllama.cpp（Q4 0）。
アクセラレーターパス：単一リクエストとオンラインバッチ処理用のvLLM（健全性チェックに使用され、主な目標はデバイス上のCPU実装である）。
TTFT、前もつれスループット（tokens/s）、デコードms/token（p50/p95）、ピークメモリが、同じプロンプトとトークナイター設定で記録される。

評価と選択

我々は品質推定と導入可能性のチェックを考慮する。品質は内部評価スイート上での対象訓練実験によって測定される。導入可能性は上述のデバイス上のプロファイリングによって評価される。意味ある品質差が明らかになるほど大きな規模で訓練実験が行われ、デバイス測定は発売予定の同じ実行時間で代表的なエッジハードウェア上で行われる。品質と導入可能性の両方において優位性を保持する構成は進化し、他の構成は早期に排除される。実現可能なモデルの中から、品質－レイテンシ－メモリのパレートフロントライン上にあるものが選ばれ、探索で継続される。

我々の以前の学術プロトタイプ（STAR）（Thomasら、2024年）は、代理信号（つまり品質には困惑度、効率性にはキャッシュサイズ）に最適化された進化的探索ヒューリスを用いて、オペレータ/レイアウトの特定な設計空間を探求した。実際には、これらの代理は下流タスクのスコアやデバイスレベルのレイテンシとメモリに信頼性よく転移せず、最適化目標としての有用性が限られる。対照的に、LFM2pipelineはリリース時の実行時間上で下流タスクのパフォーマンスとハードウェアインターロールTTFT/レイテンシ/メモリを目標とする。実際には、これが探索空間や探索ヒューリスの選択よりもはるかに大きな影響を持つことがわかった。

結果
サイズ目標に関わらず、ハードウェアインターロール探索は、ほとんどのブロックが安価なゲート付き短畳込みブロックであり、少数のGQAブロックと交互に配置される最小限のハイブリッドアーキテクチャを繰り返し選択する。同じデバイス上のパフォーマンス予算下では、これらのスタックに線形注意、状態空間、または追加の畳込みオペレータを加えると、評価スイート上での総合品質は向上せず、通常はデバイス指標が悪化する。実証的に、選択されたハイブリッドモデルは：

同じ予算下で、注意重視の基線や混合型（畳込み+線形/SSM）のパフォーマンスを上回るか同等になる；
同じトークナイター、プロンプト、量子化、バックエンド設定下でバッチ=1時のデコードレイテンシ（p50/p95）を低減し、前もつれスループットを向上させる；
長文コンテキスト（4K/32K）でのピークRSSを低下させる。これは注意重視のレイアウトよりKVキャッシュが減少することと一致する。

これらの結果は、デバイス上では、最近のハイブリッドSSM/線形注意ブロックに帰因されるほとんどの利点が、短い畳込みサブモジュールと少数の全体的注意層によって捉えられることを示唆する。したがって、他の場所で安価なゲート付き短畳込みブロックを優先しながら、全体的ブロックを最小限に抑える設計が継続される。リリースされた密集型バックボーン（第2節）とLFM2-8B-A1BにおけるスパースFFNの配置（第2節）はこの手法を実現している。詳細な速度とメモリ測定は第2.4節に掲載される。

翻訳結果の比較表

評価軸	Aの文章	Bの文章	判定
1. 正確性（用語と翻訳の質）	【優】・「事前入力（プリフィル）」「ハードウェアインザループ」など、AI/機械学習の専門用語が正確に訳されている。・文脈に沿った適切な意訳ができている。	【劣】・「前もつれ（prefill）」「インターロール」「スーフィス」「前-ブロック」など、意味不明な直訳や致命的な誤訳（ハルシネーション）が多数ある。	A
2. 読みやすさ（流暢さ・自然さ）	【優】・学術論文・技術文書として自然な「である調」で統一されている。・論理展開がスムーズで内容が頭に入りやすい。	【劣】・機械翻訳特有の不自然な言い回しが目立つ。・誤訳や不自然な記号（常-セットサイズ等）がノイズとなり、読解が著しく妨げられる。	A
3. まとめ方（構造・フォーマット）	【可】（要修正）・テキストの順序の入れ替わりや、改行の欠落など、フォーマットの崩れ（※）が散見される。	【良】・元の箇条書きや段落の構造、記号の位置などが比較的きれいに保持されている。	B
総合評価	【推奨】翻訳の質が非常に高く、実用に耐えうるレベル。一部のフォーマット崩れを修正すれば完璧なドキュメントになる。	【非推奨】見た目は整っているが、専門用語の誤訳が致命的であり、技術文書としての使用には適さない。	A

（※Aの文章に見られるフォーマット崩れの例： Qualcomm Snap(8da4w)dragon のように単語の間に別の文字列が混入している、箇条書きの改行が消えて前の文と繋がっている、など）

結論から申し上げますと、総合的に「Aの文章」の方が圧倒的に優れています。 Bの文章は、致命的な誤訳（特に専門用語）が多数含まれており、技術文書として意味が通じないレベルになっています。ただし、Aの文章にも一部フォーマットの崩れが見られるため、Aをベースにレイアウトを修正して使用するのが最適です。

以下に詳細な比較結果を示します。

1. 正確性（用語と翻訳の質）

勝者：A

技術論文の翻訳において最も重要な「専門用語の正確さ」において、Aが圧勝しています。Bの文章には、推敲されていない機械翻訳特有の「ハルシネーション（幻覚）」や「奇妙な直訳・音訳」が頻発しています。

Bの致命的な誤訳の例：
- prefill throughput：Bは「前もつれスループット」と訳しており、全く意味が通じません。Aは「事前入力スループット（またはプリフィル）」と正しく訳しています。
- hardware-in-the-loop：Bは「ハードウェアインターロール」と誤訳しています。Aは「ハードウェアインザループ」と正しく訳しています。
- suffices（十分である）：Bは「ハイブリッドスーフィスが有効である」と英単語をそのまま誤って音訳（名詞化）しています。Aは「最小限のハイブリッド構成で十分である」と正しく訳しています。
- feed-forward blocks：Bは「前-ブロック」と訳しており不自然です。Aは「フィードフォワードブロック」と正しく訳しています。

2. 読みやすさ（流暢さ・自然さ）

勝者：A

Aの文章は、AIや機械学習分野の学術論文として非常に自然な「である調」の日本語で構成されており、文脈も論理的でスムーズに頭に入ってきます。一方、Bの文章は上記で指摘した奇妙な誤訳がノイズとなり、読む手が何度も止まってしまうため、内容を正しく理解するのが困難です。また、「常-セットサイズ」といった不自然な記号の混入も読解を妨げています。

3. まとめ方（構造・フォーマット）

勝者：B（※ただしAも容易に修正可能）

テキストの構造やレイアウトの保持という点では、皮肉にもBの方が元の構造を比較的きれいに保っています。Aの文章は、おそらくコピー＆ペースト時やOCR処理時に発生したと思われるフォーマットの崩れ（テキストの順序の入れ替わりや改行の欠落）がいくつか見受けられます。

Aのフォーマット崩れの例：
- 2. 遅延：における （本来ここにあるべき「バッチ=1」という言葉が抜けているかズレている）
- として測定TTFT、デコード遅延... （改行が消えて前の文と繋がってしまっている）
- 可変とする。5デバイス上でのプロファイリング。 （見出しであるはずの「デバイス上でのプロファイリング」に「5」が混入し、前の段落とくっついている）
- Qualcomm Snap(8da4w)dragon （機種名の間にカッコ書きが混入している）
- (p50/p95)同一のプロンプトと... （(p50/p95) が本来の位置から行頭にズレている）

総評

「Aの文章」を採用し、レイアウトの崩れを修正するのがベストです。

Bの文章は、レイアウトこそ保たれているものの、専門用語の誤訳が致命的であり、AI・機械学習の知識を持つ人が読むと強い違和感を覚える内容になっています。Aの文章は翻訳の質が非常に高いため、箇所ごとの文字のズレや改行の抜け（上記「まとめ方」で挙げた点）を微修正するだけで、完璧な日本語ドキュメントになります。