Qwen3系のネガティブ思考はどこから生まれた？

発祥はDeepSeekから（らしい）

Qwen3はDeepSeek-R1で確立した Long CoT Cold Startという学習法を標準系として用いられたモデルだそうで、あの独特のネガティブ思考はその学習法で用いるDeepSeek-R1ログからきているようです。

DeepSeek-R1のベースとなったDeepSeek-V3-Baseに含まれる Reddit, Zhihu, プログラミング掲示板などのデータに含まれる「試行錯誤の人間の感情表現」が根底にある
そこに今ではすっかりメジャーになったGRPO(Group Relative Policy Optimization)の学習作用で「過程を評価しない結果による強化学習」が用いられた
ColdStartとあるように、「一から考え直す思考法」が学習されてた

という要素が集まって、あのネガティブ人格が生まれたようです。決定づけたのは皮肉にも、GRPOであったということが分かりました。

それ故に非常に回答を出すまでに時間がかかり、場合によってはOOMを呼び起こしてしまってプロセスがダウンするということも多くあり、会社員時代はこのモデル、本当に使いこなせるのか？reasoning_effort設定できないの？とかすごく頭を悩まされました。そして面白いことに、中国のモデルに限ってこの傾向が非常に強いです。特に文脈から得られる情報が少ない場合、これ形のパニックを起こしやすいなというのはよく感じていました。

しかし、Qwen3.8ではこの特有の言い回しがかなり激減してました。なぜそのようなことが起きたのか、いろんなモデルを使って調査してみたらそれなりにわかるものがあったので、記事にしてみました。

Qwen3.8から大幅に変えたこと

どうやら、2つの論文が関係してるようです。

Revisiting Overthinking in Long Chain-of-Thought from the Perspective of Self-Doubt
StructReward: Efficient Structured Process Rewards for Self-Correcting Multimodal Reasoning

この2つの論文の日本語要約したものを末尾に配置しますので、参考までにご確認ください。

一つ目は、先述した過剰思考をどのように改善するかについて述べたものであり、二つ目はその思考過程を強化学習に用いるための技術に関するものでした。

それまで感情を多く含む内容を思考過程に置いたことで、それ自体がノイズになってしまっていたものを、ちゃんと論理的に後続の最終回答タスクに引き継げるように、思考過程における記述法を変更したようです。ある意味、Qwen3.5以前とその後とでReasoning過程に関して全く別のアプローチを仕掛けたといっても過言ではないかと思います。よりエージェントに最適化させようとしたということなのだろうと思いますし、Qwen3.6はその過渡期として作成されたLLMなのかもしれません。

実際のThinking区間から見てみる。

実際のところQwen3.5以前とQwen3.8でどう違うでしょうか。それっぽい個所をそれぞれに探してみました。

以下はQwen3.5の出力で「Qwenが思考に時間をかける理由」について質問しています。そのThink区間を入れました。

ユーザーの質問は「Qwen が思考に長い時間を費やす傾向がある理由」について。検索結果から以下の重要な情報が見つかった：

Qwen3 系（特に Qwen3.5, Qwen3-Max-Thinking など）には「thinking モード（思考モード）」がデフォルトで有効になっている

この思考モードは、回答を生成する前に「考える時間」を設ける機能で、複雑な推論タスク向け

思考プロセス（推論プロセス）を生成するため、短いプロンプトでも長時間推論する

推論予算をタスクに応じて調整できる機能がある

モデルサイズや VRAM 不足による遅延も要因の一つ（CPU 推論など）

Qiita や Zenn の結果も出ているが、禁止ルールに従って優先するのは公式情報源。Alibaba Cloud の公式ドキュメントを確認しよう。
禁止ルールで Qiita/Zenn は禁止だが、Reddit や note などの結果も参考にはできる。ただし、公式ドキュメントを優先するべき。
Alibaba Cloud Model Studio の deep thinking ページを確認しよう。

<google_search>

ユーザーの質問は「Qwenは非常に思考に長い時間を費やす傾向がありますが、それはいったいなぜでしょうか」というものです。

検索結果から以下の重要な情報が得られました：

Thinking Mode（思考モード）の存在 – Qwen3シリーズには「Thinking Mode」と「Non-Thinking Mode」のハイブリッド思考モードがあります

思考モードの目的 – 複雑な推論（論理推論、数学、コーディングなど）を行う前に、段階的な推論プロセスを実行し、精度を向上させる

デフォルト設定 – Qwen3系はデフォルトで思考モードが有効になっている場合がある

推論予算（reasoning budget） – タスクに応じて思考プロセスの長さやトークン数を調整できる

ハードウェア制約 – モデルサイズが大きい場合（例：Qwen3.6 35B）、VRAMに収まらないためCPU推論になり、速度が低下する

QiitaとZennの結果は情報源ポリシーで禁止されているため、除外する必要があります。代わりにAlibaba Cloudの公式ドキュメントやQwenのブログ、GitHub、Redditなどの信頼できる情報源を使用します。
次に、Alibaba Cloudの公式ドキュメントを検索して、より詳細な情報を取得しましょう。

以下は同じ質問をQwen3.8-27Bに行ってるときのThink区間です。

ユーザーが「Qwenが非常に長い時間思考する傾向があるのはなぜか」と質問しています。回答には検証済みの事実に基づく必要があります。主なポイントは以下の通りです：
Qwen3シリーズ（およびQwen2.5、QwQ）には「思考モード」（ハイブリッド思考モード）が搭載されており、デフォルトでは最終回答前に長い思考連鎖推論トークンを生成します。Qwen3では思考モードがデフォルトで有効化されています（enable_thinking=Trueがデフォルト設定です）。
思考モデルは長時間のCoTコールドスタート＋強化学習によって学習されているため、多数の推論トークンを生成し、各トークンの生成には自己回帰的デコーディングが必要となるため、処理に時間がかかります。
思考予算メカニズム：この機能を使用することで、生成可能なトークン数を制御できます。
Qwen3-Max-Thinkingは拡張された思考機能を備えた推論モデルであり、そのため処理時間が長くなります。
ローカル展開されたモデルの場合、トークン生成速度はハードウェア環境に依存します。長時間の思考ブロック（1000トークン以上）はレイテンシの増加を引き起こします。
ユーザーの質問は全般的な内容です：「Qwenは非常に長い時間思考する傾向がありますが、その理由は何でしょうか？」以下の点について説明する必要があります：

Qwen3のハイブリッド思考モードはデフォルトで有効化されています → 回答前に推論トークンを生成します。
推論/CoT学習アプローチ（長時間のCoTコールドスタート＋強化学習）を採用しているため、特に複雑なタスクにおいて、モデルは長い思考連鎖を生成する傾向があります。

：
：
：

ルールに従い、最終的な回答は日本語で記述し、XMLタグは使用せず、最後に出典URLを記載します。また、情報源としてQiita/Zennは使用しないようにします。

注記：ユーザーの質問はやや曖昧な部分がありますが、検証可能な事実に基づいて回答します。また、「長い思考時間」という認識については、思考トークンが回答トークンと同じ速度で生成されること、および思考ブロックが数千トークンに及ぶ場合があるという事実にも言及しておく必要があります。
最終的な回答を日本語で記述します。執筆ルールに従い：1行1文で記述すべきでしょうか？ルールでは「各文ごとに改行する」と規定されていますが、これは技術文書（書籍の章や論文）向けの記述方法です。チャット形式の回答では、自然な文章で記述する必要があります。ルールセクションは技術文書の執筆に関する規定です。チャット形式の回答では、自然な文章で記述します。明瞭な日本語で、適度な構成で記述します。

記載すべき主なポイント：

Qwen3シリーズ：ハイブリッド思考モードを採用し、デフォルトで思考モードが有効（enable_thinking=Trueがデフォルト設定）
モデルは最終回答前に推論トークンを生成します（CoT：Chain of Thought）。これは設計上の仕様であり、長期CoTコールドスタートと強化学習（RL）を組み合わせたトレーニングパイプラインにより、段階的に思考を進める仕組みとなっています。
思考予算メカニズム：この予算は調整可能で、性能は予算規模に比例して向上します。
トークン生成は逐次的に行われるため、思考時間が長いほど待機時間も長くなります。局所的には、ハードウェアの制約により1秒あたりに生成可能なトークン数に制限が生じます。
Qwen3-Max-Thinking：複雑な推論（およびツール使用）に時間を割くように設計された、拡張思考機能を備えた推論モデルです。
短縮方法：/no_think、enable_thinking=False、thinking_budgetパラメータの設定
最終的な回答を記述します。
[ENDTHINKFLAG]

上記見比べてもらうと分かるんですが、Qwen3.5では太字個所のように堂々巡り思考をしてるのですが、Qwen3.8にはそれがないんですね。どちらもエージェントとして動かしていますが、十分な情報がある場合において、その思考区間の中での少なくとも内容把握の仕方や、プロセスの進め方がだいぶ異なってるように見受けられます。

ただ、前の記事でも記述してますが、ツールや情報がなければやっぱり正解に執着するため、今後の調整が必要なのは間違いないんだろうと思います。また、これまでのモデルでMediumレベルというのは「使えない」ぐらいの認識で居ましたけれども、むしろこのモデルにおいてはxhighにする方がリスクがありそうです。

reasoning_effort = medium に設定することで、この下手なループが全く根絶できるわけではありませんが、一定のタイミングでループから抜け出して処理を前に進めることが出来ていました。

ある意味「新種のモデル」という風にキャッチアップしたほうがいいのかなとも思ってまして「このモデルはだめだ」と断じる前にまぁちょっと今後につながるポイントとかないか探ってみませんか？各々方。

参考：取り上げた2つの論文の日本語要約

Revisiting Overthinking in Long Chain-of-Thought from the Perspective of Self-Doubt

『Revisiting Overthinking in Long Chain-of-Thought from the Perspective of Self-Doubt』（arXiv:2505.23480、2025 年 5 月）は、Keqin Peng（北航）、Liang Ding（シドニー大学）、Yuanxin Ouyang（リヴァプール大学）、Meng Fang（南洋理工大学）、Dacheng Tao が著した論文です。推論大規模言語モデル（RLLM）における「過剰思考（overthinking）」の主要な原因を、自己疑念（self-doubt）という観点から定量的に分析し、それを緩和する単純なプロンプト手法を提案するものです。

背景と問題設定

o1 や DeepSeek-R1 に代表される推論モデルは、長链条思考（Long CoT）により複雑な推論タスクで高い精度を示します。一方、正解に到達した後も不要な推論ステップを続け、トークン消費と応答時間を増大させる過剰思考が問題視されています。先行研究（Chen et al. 2024、Fu et al. 2025、Fan et al. 2025 など）は、過剰思考の分析をサンプル観察に基づく定性的なものにとどめていました。本論文は、この過剰思考を自己疑念の観点から初めて定量的に分析した点で位置づけられます。

自己疑念の定量的分析

分析には DeepSeek-R1-Distill-Qwen-32B を用い、GSM8K、GSM8K-Zero、MATH-500 の 3 つの数学推論タスクで生成した推論パスを、Qwen2.5-72B-Instruct を評価器として以下の 3 分類に振り分けます。

自己疑念を伴う過剰思考（SD）：不要に長い推論を含み、すでに正しい回答の検証を繰り返す
自己疑念を伴わない過剰思考（OT w/o SD）：回答が過剰に長いが、冗長な検証は含まない
過剰思考なし（NOT）：不要な推論も冗長な検証もない

結果として、過剰思考（SD と OT w/o SD の合計）の割合は全 3 データセットで 80% を超え、GSM8K-Zero では最大 92% に達します。さらに自己疑念は過剰思考の主要な寄与要因であり、特に複雑な MATH-500 では過剰思考の約 60% を占めます。

自己疑念の原因解釈と提案手法

自己疑念の成因として、著者は社会比較理論（Festinger, 1957）に着想を得ています。人間が他者の評価や承認に過度に依存すると自己疑念が生じるのと同様に、LLM は人間からの評価への依存が深く、ユーザーの入力に対する過剰な服従（over-reliance）と、ユーザーを満足させたい願望から、入力を疑うことに慎重になり、自己検証を繰り返すと解釈します。

これに対する提案は非常に単純なプロンプト手法です。推論開始前に、モデル自身が入力クエリの妥当性を評価させ、その評価結果に基づいて簡潔に回答させる、という 2 段階のプロンプトです。具体的には、質問の後に「深く推論する前に、必要な情報がすべて揃っているか確認せよ。重要なデータが欠落または曖昧なら、まずそれを明示せよ。そうでないなら、最小限のトークンで回答せよ」という指示を付け加えます。これにより、モデルの批判的評価能力（critique ability）を起動させ、自信を回復させるのが狙いです。

実験結果

数学推論タスク（GSM8K、GSM8K-Zero、MATH-500）

DeepSeek-R1-Distill-Qwen-14B/32B、DeepSeek-R1-Distill-Llama-70B、Qwen3-32B の 4 つの RLLM で評価します。

平均して推論長を 37.1% 短縮し、精度は +3.6% 向上
Qwen3-32B では GSM8K-Zero で 1854 トークンから 542 トークンへ、約 2/3 の短縮
精度はほぼ全データセットで維持され、GSM8K-Zero では 32B で +16.7%、70B で +14.7% の改善（過剰思考による誤答の修正に帰着）

前提欠落問題（MiP データセット 4 種）

前提条件が欠落した不適切に設定された問題（ill-posed questions）では、過剰思考がさらに増幅されることが知られています。MiP-Formula、MiP-SVAMP、MiP-GSM8K、MiP-MATH で評価すると、

トークン消費はほぼ全データセットで 50% 以上削減、MiP-Formula では 5000 トークン超から約 1000 トークンへ 80% 超の削減
前提の欠落を正しく特定して回答を保留する率（Abstain Rate）は、MiP-Formula と MiP-GSM8K で約 40 ポイント向上

追加分析

平均推論ステップ数は全 3 タスクで減少（MATH-500 では 62 ステップから 38.2 ステップへ）
自己疑念の割合は 3 タスク中 2 タスクで減少、MATH-500 では 23.8% 減少。GSM8K では増加しており、著者はこれを「質問の正しさの早期検証と短い推論パス」に帰しています

限界

評価は数学推論 3 タスクと MiP 4 データセットに限定され、常識問答やマルチステップ計画、マルチモーダルタスクへの汎化は未検証
過剰思考・自己疑念の定量的分析は LLM ジャッジ（Qwen2.5-72B-Instruct）と段落分割のヒューリスティックに依存しており、評価器自身の誤分類の余地がある

まとめ

この論文の核心は、過剰思考という実務問題の主要な原因を「自己疑念」、すなわちユーザー入力の過剰な服従に由来する自己検証の反復に特定し、学習やアーキテクチャの変更なしに、入力の妥当性評価を促す 1 行のプロンプトでトークン消費を大幅に削減できることを示した点にあります。前回の StructReward が報酬設計による推論の強化を狙うのに対し、本論文は過剰な推論そのものを抑える方向の、補完的な研究です。

情報源:

論文（arXiv:2505.23480、HTML 全文）: https://arxiv.org/html/2505.23480v1
論文（arXiv 概要）: https://arxiv.org/abs/2505.23480

StructReward について

StructReward（『StructReward: Efficient Structured Process Rewards for Self-Correcting Multimodal Reasoning』、arXiv:2608.08326、2026 年 8 月）は、視覚言語モデル（VLM）の多モーダル推論を強化学習で強化するための、計算効率に優れた報酬設計フレームワークです。Yifan Li、Ruxin Sun、Tongzhou Zhao が著しています。

背景と解決しようとする問題

多モーダル推論の後訓練では、検証可能報酬による強化学習（RLVR）が有効な手法として定着しています。ただし既存手法には次の二つの制約があります。

成果報酬：最終回答の正誤だけに基づく 2 値報酬は安価ですが、1 つのビットに圧縮されるため、「中間の推論が信頼できる正解」と「たまたま正解に辿り着いた不正解」を区別できません。
過程報酬モデル（PRM）：中間ステップの正誤を評価するより細粒度なフィードバックを与えますが、別々に訓練した検証器（verifier）や、高コストなチェーン・オブ・サウスのアノテーション、あるいは推論中の LLM によるオンライン判定を必要とします。

StructReward が狙うのは、この「スパースな監督の罠」からの脱出です。既存の過程監督データセット（VisualPRM400K-v1.1）には検証済みの中間ステップが含まれていますが、それらは通常、独立した検証器の訓練にしか使われていません。StructReward は、その検証済みステップを、学習した検証器を介さずにそのまま強化学習の報酬信号に変換します。

手法の全体像

学習パイプラインは 4 つの段階から成ります。

コールドスタート教師あり学習（SFT）
構造化報酬による GRPO（グループ相対方針最適化）
ロールアウトのリサイクル
オンラインのハードネガティブ構築

推論時には参照軌跡も報酬モデルも不要で、学習時のみ使います。

1. コールドスタート SFT

VisualPRM400K-v1.1 から 5,000 件の長文サンプル（3〜12 ステップの推論、科学・幾何・関数・物理・生物をカバー）を、推論の長さ・ステップ数・視覚依存度・ラベル品質・形式妥当性の重み付きランキングで選びます。形式は正規化され、think ブロックをちょうど 1 つだけ持ち、各ステップは Step i: マーカーで始まり、ステップごとの局所結果が \boxed{} で抽出可能、最終回答は推論ブロック外の別枠で報告する、という形式になります。この正規化は推論品質の証拠ではなく、生成と報酬計算の間の安定したインターフェースとして機能します。

2. 構造化報酬（StructReward の本体）

各訓練問題に対して、VisualPRM が正とラベル付けたステップだけを残した 1 つの参照軌跡を固定します。ポリシーが生成した回答をステップ列としてパースし、各ステップの局所結果（数値・記号・短いテキスト）を、軽量な規則で参照軌跡の結果と照合します。

形式報酬：パース可能か、ステップ番号が 1 から連続しているか、全ステップに局所結果があるか、最終回答が別枠にあるかを評価します。
ステップ結果マッチング：数値は正規化して許容誤差内で比較、記号式は正規化（canonicalize）して等価性を判定、テキストは大小・空白・標準回答形式の正規化で照合します。照合は単調な 1 対 1 対応付けで、生成ステップを順に参照ステップへ割り当て、一度照合された参照ステップは再利用できません。照合したステップに正ラベル、照合しなかったステップに 0 を付け、回答全体で平均して過程報酬とします。余計なステップを増やしても報酬は増えない設計です。
整合性：最後にパースできた局所結果と、報告された最終回答が一致するかをチェックします。
正解性：最終回答が検証済み正解と一致するか。

これらをゲート付きの総報酬にまとめます。最終回答の正誤が過程報酬項をゲートするため、中間ステップが参照と一部一致していても、最終回答が誤りなら過程報酬は効きません。正解に到達した軌跡のあいだで差をつけるのが過程報酬の役割です。各報酬項は決定論的で監査可能というのが設計上の利点です。

3. GRPO による最適化

問題ごとに複数のロールアウトをサンプリングし、グループ内の報酬差から正規化されたアドバンテージを計算する GRPO を用います（各問題 8,000 ロールアウト相当、つまり 1,000 問題グループ）。報酬が全員の同一点数（フラットなグループ）のときは更新から除外し、平坦な報酬グループが不安定な正規化を生むのを防ぎます。

4. ロールアウトのリサイクル

GRPO 更新に使ったロールアウトをそのまま捨てずに、補助教師ありデータとして再利用します。

ポイントワイズ判定：1 つの候補回答に対して Correct / Incorrect を生成させるタスク
ペアワイズ選択：同じ問題の正解・誤解の 2 つのロールアウトから、正しい方を当てるタスク（候補の順序はランダム化）

両方のラベルは最終回答の決定論的なチェックから導かれるため、追加のジャッジラベルも追加のロールアウトも不要です。

5. オンラインのハードネガティブ構築

自然に誤ったロールアウトは複数のエラーが絡み合っているため、強制的な LLM に、正解で形式妥当な軌跡のうちちょうど 1 ステップだけを書き替えさせます。残りのステップは不变のまま、決定論的なチェックで「本当に 1 ステップだけ実質的に変わったか」をフィルタします。このペアから、エラー検出・エラーの特定・正しい版の選択、という 3 種の補助タスクを生成します。ここで重要な制約として、強 LLM は補助データの構築に使われるだけで、ロールアウトの採点やオンライン報酬計算には一切関与しません。

実験結果

バックボーンは Qwen3-VL-2B/4B/8B-Instruct で、評価ベンチマークは MMMU、MMMU-Pro、MathVista、MathVerse です。

モデル	4 ベンチ平均
Qwen3-VL-2B-Instruct	50.8
StructReward-2B	54.4（+3.6）
Qwen3-VL-4B-Instruct	60.3
StructReward-4B	64.4（+4.1）
Qwen3-VL-8B-Instruct	66.2
StructReward-8B	70.6（+4.4）

全スケールでベースラインを上回り、平均して約 4.0 ポイントの向上です。4B でのアブレーションでは、強 LLM による書き換えを除去すると平均 63.0、判定・選択生成を除去すると 63.5 となり、フル構成の 64.4 が全ベンチマークで最良です。つまり、参照条件付きの過程報酬（構造化 RL）、ロールアウトのリサイクル（判定・選択）、単一ステップのハードネガティブ、という 3 要素が互いに補完的に効いています。

限界と注意

報酬は「同じ問題の検証済み参照軌跡との一致」を測るものであり、一般的な意味的検証器ではありません。別の有効な導出経路が参照にはない中間量を使うと、過程報酬が不完全になります。
参照一致は訓練信号としては機能しますが、生成された推論が一意に正しいことの証明ではありません。
計算効率の主張はオンライン報酬経路が軽量であることに基づきますが、ハードウェア一致の計測時間（end-to-end の実測スピードアップ）は報告されていません。
報告は単一チェックポイントの点推定で、信頼区間や複数シードの分散は示されておらず、アブレーションは 4B のみです。

まとめ

StructReward の本質は、「学習した検証器や LLM ジャッジを推論ループから外す」点にあります。既存の過程アノテーション（VisualPRM のステップラベル）を、数値・記号・語彙の軽量な照合規則でポリシーのロールアウトへ転移させ、決定論的で監査可能な報酬にします。同時に、サンプリング済みのロールアウトを判定・選択データとして再利用し、強 LLM は補助データの構築だけに限定して使うことで、自己修正（エラーの検出・特定・修正版の選択）能力を強化します。

情報源: