言語モデルに研究アイデアを出させると、人間なら12%の「橋渡し」型に47〜64%が集中する。シカゴ大とエール大が主要9モデルを1万1683本で測り、統合へ偏る仕組みと、推論や文脈を足しても消えない理由を解き明かす。
研究のアイデアを言語モデルに出させると、どのモデルに頼んでも似た手ざわりの答えが返ってくる。二つの離れた分野を見つけてきて「橋を架け」、両者を「一つに統合する」という筋立てである。個々の案は破綻がなく、それらしく読める。ところが同じ課題設定で人間の科学者が実際に書いた論文の発想と並べると、両者の「重心」がはっきりずれていることが、2026年7月に公開された一本の研究で初めて分布として測られた。
シカゴ大学とエール大学の Ziyu Chen・Yilun Zhao・Arman Cohan による「Measuring the Gap Between Human and LLM Research Ideas」は、機械学習系と自然科学系を合わせた11,683本の実在論文を土台に、主要9モデルが同じ文脈から生む研究アイデアを人間のそれと突き合わせた。結果は一言で言えば、言語モデルの発想は人間より視野が狭く、しかも一方向へ系統的にずれている。この記事では、その測り方と数字を追いながら、なぜ言語モデルが「統合」という一点へ吸い寄せられるのか、その仕組みを学習の原理までさかのぼって解きほぐす。自律型のAI研究者やコーディング支援が現場に入り始めた今、この偏りは道具の使い方を左右する実務の問題でもある。
「良いアイデアかどうか」から「発想の分布」へ、問いを組み替える
これまで言語モデルのアイデア創出を評価する研究は、生成された一つひとつの案について、新しいか、実現できそうか、専門家が好むか、を採点してきた。2024年にスタンフォードの Chenglei Si らが100人超の研究者を動員して行った大規模比較(arXiv:2409.04109)では、言語モデルのアイデアは人間のものより「新規性が高い」と判定される一方、実現可能性では劣ると報告され、大きな話題になった。だが、この種の点数づけは一つの盲点を抱える。個々の案がどれだけ光って見えても、集団として眺めたときに発想が一様な型へ固まっていないか、という「幅」の問題を捉えられない。
Chen らの新しい研究は、評価の単位を「個々のアイデア」から「アイデアの分布」へ移した。ここが最大の転換点である。良し悪しではなく、どんな種類の問題を、どんな流儀で解こうとするか——その散らばり方そのものを測る。研究チームはこれを research taste、日本語で言えば「研究の好み」と呼ぶ。ある書き手が数多くの状況で繰り返し選びがちな、問題の見つけ方と貢献の作り方の癖である。
公平に比べるために用意されたのが「文献に基づくアイディエーション課題」だ。手順はやや込み入っているが、要は人間と機械にまったく同じ入口を与える工夫である。まず実在の優れた論文を一本選ぶ。その論文の核となる着想を生んだであろう先行研究を4〜8本、逆算して再構成する。言語モデルにはこの先行研究の題名と要約だけを渡し、そこから新しい研究の動機と手法を発想させる。人間側の「正解」は、実際に書かれた論文の核心アイデアを同じ形式に整えたものだ。オープンな「何か案を出して」ではなく、同一の土台からどちらがどこへ跳ぶかを見る設計になっている。
分類は人手では追いつかない規模になる。そこで研究チームは GPT-5.4-mini を土台にした自動分類器を組み、専門家の手作業と照合した。取り置いた150本での一致度は、動機の分類でコーエンのカッパ0.84、手法で0.81、診断スコアで0.93と高く、機械分類に委ねても人間の判断からずれないことを確かめている。
発想を測る二つの物差し ― 7×7の見取り図
好みを目に見える形にするため、研究チームは全米科学財団(NSF)や国立衛生研究所(NIH)の研究指針を参照しながら、専門家とともに二つの軸を立てた。片方は「なぜその研究が要るのか」という機会の軸、もう片方は「その隙間をどう貢献に変えるのか」という手法の軸である。
機会の軸は7種類に分かれる。矛盾やトレードオフを突く「パズル・矛盾」、因果や仕組みの説明が欠けている「説明の空白」、前提が非現実的で適用範囲が怪しい「範囲の不一致」、観測・測定・検証の手立てがない「証拠の空白」、切り離された分野や手法をつなぐ余地を見る「橋渡しの機会」、脆さや偏り・安全上の危うさを指す「失敗・危険の空白」、費用や計算資源・データ入手の詰まりを突く「資源のボトルネック」。手法の軸も7種類で、複数の理論や文献を束ねて一つにする「統合・一本化」、前提を弱めて適用範囲を広げる「範囲の緩和・拡張」、失敗や不確かさを減らす「頑健化」、定理や目的関数を導入する「形式的導出」、測定や指標・データセットを組む「経験的な地図づくり」、道具やシステムを実際に作る「試作・構築」、最適化や探索で解く「最適化・探索」が並ぶ。
この14の引き出しに、人間と9モデルのアイデアを一つずつ振り分けていく。人間の発想が引き出し全体へ広く散るのに対し、機械の発想が特定の引き出しへ山を作るなら、それが「好みのずれ」の正体になる。
12.1%対47〜64% ― 数字が描く一点集中
結果ははっきりしていた。人間の論文で動機が「橋渡しの機会」だったものは12.1%、手法が「統合・一本化」だったものはわずか5.1%にとどまる。ところが9モデルでは、橋渡しが47.1〜64.2%、統合が22.5〜38.7%に達した。人間なら8本に1本の発想型に、機械は半分以上を注ぎ込む。
散らばりの度合いを情報エントロピーで測ると、差はさらに立体的になる。人間は機会の軸で0.926、手法の軸で0.920と、ほぼ最大の広がりを保つ。対して9モデルは機会の軸で0.550〜0.758、手法の軸で0.723〜0.879へ縮む。分布同士の隔たりを示す全変動距離は、機会の軸で0.348〜0.521に開いた。同じ先行研究を読んでも、人間は七つの入り口へ均等に散り、機械は二つの入り口へ折り重なる。
もう一段細かく操作の種類まで見ると、機械の偏りは輪郭を帯びる。研究チームがアイデアの動作を原型に分解したところ、言語モデルは「統合する(integrate)」に34.2%が集中したのに対し、人間で同じ操作は2.35%しかない。逆に人間は、既存の部品を「置き換える(replace)」を9.13%、絡んだ仕組みを「切り離す(decouple)」を2.33%選んだが、機械はそれぞれ0.92%、0.21%に過ぎなかった。人間は局所の一点に手を入れる。機械は文献を大きく束ねにいく。この対比が、両者の発想の質感の違いを端的に言い当てている。
分野をまたいでも構図は崩れない。機械学習の論文群では人間の橋渡しが14.0%に対し機械は58.7〜82.3%、自然科学の論文群では人間10.2%に対し機械24.3〜54.2%と、絶対値こそ違えど機械が過剰に集中する向きは共通していた。物理・化学・生物を含む71分野を横断してなお、人間の発想は最も広く散っている。特定の提供元や特定の学問領域の癖ではなく、言語モデルという道具に根を張った振る舞いだと読み取れる。
なぜ「統合」へ吸い寄せられるのか ― 学習の原理まで下りる
ここからが、この現象を道具の特性としてではなく仕組みとして理解する部分だ。言語モデルは次に来る語をひたすら確率で当て続けるように訓練される。学習データの中心には膨大な論文要旨があり、そこでは「我々は二つの領域を橋渡しし、統一的な枠組みを提案する」という書き出しが定型として高い頻度で現れる。次語予測は、頻度の高い言い回しほど滑らかになぞる。研究の入り口を尋ねられたモデルが、まず「統合」という語の周辺へ滑り込むのは、確率の地形がそこへ傾いているからだ。
その傾きを、後段の調整がさらに深くする。人間の選好で微調整する強化学習(RLHF)は、無難で、角が立たず、読み手が同意しやすい出力へ報酬を与える。二つの分野を「つなぐ」提案は、否定されにくく、破綻の指摘を受けにくい。前提を覆したり、既存の部品を置き換えたりする発想は、鋭い代わりに反論の隙も生む。安全側へ寄せる調整は、この角のある発想を静かに削り、丸い統合案の重みを増やす。学習分布の傾きと選好調整の力が同じ方向を向いたとき、分布は一点へ崩れる。統計でいうモード崩壊が、アイデアの語彙の上で起きている。
こうして残るのが、研究チームの言う定型である。学習データで頻度の高い技術用語を一つ選び、そこへ無難な統合操作をかぶせる。個々の出力は文章として整い、審査の第一印象では通ってしまう。だが分布として見れば、同じ鋳型から抜かれた品ばかりが並ぶ。
推論を効かせるほど、偏りは丸くならず鋭くなる
直感に反する発見がここにある。思考の過程を明示的にたどる推論モードを使えば、視野は広がりそうに思える。実際は逆だった。Qwen3-8B に思考モードを与えると、橋渡しは49.7%から71.1%へ、統合は38.7%から52.2%へ膨らみ、人間分布からの全変動距離は0.382から0.590へ遠のいた。エントロピーは0.658から0.481へさらに縮んだ。DeepSeek-V4-Flash でも橋渡しは52.2%から59.1%へ、統合は22.5%から30.7%へ動いた。考えさせるほど、モデルは自分の得意な型を丁寧に磨き上げ、統合・橋渡しの筋を先鋭化させる。
文脈を厚くしても救われない。要約だけでなく論文本文まで与えた1,000本の検証で、Qwen3-8B も DeepSeek-V4-Flash も人間分布へ近づくどころか、全変動距離をわずかに悪化させた。情報が足りないから偏るのではない。豊かな材料を渡されても、モデルは同じ鋳型へ材料を流し込む。偏りの源が入力の貧しさではなく、モデルの好みそのものにあることを、この対照実験が示している。
モデルは互いに似てくる ― 均質化という別の危うさ
分布の狭さと並んで見過ごせないのが、モデル同士が接近している事実だ。研究チームがアイデアの表現ベクトルを比べると、同じ系統に属する Qwen と DeepSeek のアイデアは互いに0.83という高い余弦類似度を示し、人間とモデルの組(0.72〜0.78)を上回った。異なる開発元の製品であっても、生成される発想は人間との距離より互いの距離のほうが近い。
これは一つの実務的な含意を持つ。偏りを打ち消そうとして複数のモデルの答えを混ぜても、混ぜる相手が似ていれば多様性は戻らない。人間に最も近づいたのは機会軸の全変動距離で Gemini-3.1-Pro(0.348)、次いで Claude-Sonnet-4.6(0.351)、DeepSeek-V4-Flash(0.400)の順だったが、いずれも人間の広がりには遠く及ばない。提供元を替えれば視野が変わるという期待は、この収束の前で細くなる。
具体性の抜け落ちと「それらしい定型文」
偏りは分布の形だけでなく、文章の質感にも痕跡を残す。研究チームは三つの診断スコアで中身を測った。表面をなぞって二つの概念を継ぎ合わせただけの度合いを示す「表面的な縫合」は、0〜3のうち人間が0.00なのに対し、Qwen系は0.44〜0.58と高い。詰まりどころをどれだけ具体的に指すかを見る「ボトルネックの具体性」は、高いほど良く、人間2.56に対し Qwen系は1.76〜1.90に沈む。紋切り型の言い回しの多さを示す「定型文」は低いほど良いが、人間0.48に対し Qwen系は1.11〜1.25にのぼった。
もっとも、すべての機械が一様に劣るわけではない。Claude-Sonnet-4.6 は表面的な縫合0.02、具体性2.60、定型文0.37と、いくつかの指標で人間に肩を並べた。個々の文章の仕上がりでは、上位モデルは人間と見分けがつきにくいところまで来ている。それでも分布の幅は戻らない。文の巧みさと発想の広さは別の能力であり、後者だけが取り残されている。
「狭まる」のか「人が届かない所に手が届く」のか ― 三つのギャップの論争
この研究を、AI科学の大きな見取り図の中に置くと、いま三つの異なるギャップが同時に議論されているのが見えてくる。
- 一つ目が、本稿の主題である好みのギャップだ。言語モデルは人間より狭く、統合の一点へ寄る。
- 二つ目は、スタンフォードの Chenglei Si・Tatsunori Hashimoto・Diyi Yang による「The Ideation-Execution Gap」が突いた実行のギャップである。43人の専門家が、人間のアイデアと機械のアイデアを割り当てられ、それぞれ100時間以上をかけて実際に研究として実行し、4ページの論文にまとめた。着想の段階で高く見えた機械のアイデアは、実行後の再評価で新規性・面白さ・有効性・総合のすべてにおいて人間のアイデアより有意に大きく点を落とし(p<0.05)、順位が逆転した。紙の上での新しさと、手を動かした先の実りは別物だという指摘である。
- 三つ目は反対向きの主張だ。Bernhard Schölkopf や Hugo Larochelle らが名を連ねる「The Alien Space of Science」は、言語モデルが人間の認知では手の届きにくい、しかし論理的には整合した研究方向を掘り当てうると論じる。人間には見えない組み合わせを機械がすくい上げる可能性である。狭まるという観察と、人が届かない領域へ広がるという主張は、一見矛盾する。だが両立しうる。既存文献の重心では統合の一点へ縮み、同時にその外側には人間が思いつけない整合的な空白が残る。言語モデルは、慣れた中心で保守的に振る舞いながら、辺境では人間と違う跳び方をする二面性を持つ。
現場でどう効くか ― 自律型AI研究者、コーディング支援、文献調査
この偏りは論文の中だけの話ではない。実験の設計から論文執筆までを自動化する自律型のAI研究者、たとえば Sakana AI の AI Scientist のような系が量産に向かうとき、生成される研究テーマが「二つの手法を統合してみた」型で埋め尽くされる危険が現実味を帯びる。個々は投稿に耐えても、集団としては同じ発想の反復になり、学問の多様性をやせ細らせる。
日々のコーディング支援でも影響は同型だ。設計方針を言語モデルに尋ねると、既存のライブラリや設計パターンを「橋渡しして統合する」方向の提案が返りやすい。既存部品の置き換えや、絡んだ依存の切り離しといった、人間の設計者が好む局所的で切れ味のある手は、放っておくと出てきにくい。問題の枠組みを決める工程を機械に丸投げせず、人間が握り続けるべき理由がここにある。文献調査支援でも、隣接分野を結ぶ総説的な筋が優先され、前提を疑う尖った論点が埋もれやすい。
打てる手はいくつかある。
- 第一に、問題の見つけ方を機械任せにしない。動機の設定こそ人間が担い、機械には手法の候補出しや検証を割り振る分業が、いまの偏りの形に合う。
- 第二に、多様性を明示的に要求する。「統合以外の五つの入り口も各一案」と枠を指定するだけで、鋳型からの逸脱を促せる。
- 第三に、複数モデルの合議に過度な期待をかけない。同系統は互いに似ているため、真の多様化には人間の視点か、意図的に異質な制約の注入が要る。
多様性を「意図的に」設計対象にする
この研究が最終的に投げかけるのは、良いアイデアを一つ出す能力と、良いアイデアの幅を保つ能力は別だ、という設計上の区別である。9モデルすべて、両ドメイン、推論モードの有無、文脈の厚薄——あらゆる条件でこの好みのギャップは頑健に残った。特定のモデルを避ければ済む話でも、次の世代を待てば消える話でもない。
だとすれば、これからのAI研究支援や自律型の科学者を組むとき、個々のアイデアの新規性や実現性を高める工夫だけでは足りない。発想の分布そのものを広げる仕組み——多様性を報酬関数に織り込む、統合以外の入り口を割り当てで確保する、人間の問題設定を上流に据える——を、あとから足す飾りではなく最初から設計の骨組みに入れておく必要がある。11,683本が示したのは、いまの言語モデルが賢くないということではない。賢さの向きが、人間より狭く、一方へ傾いているということだ。その傾きを測れるようになった以上、次は傾きを設計で正す番になる。
💬 この記事へのコメント 0
まだコメントはありません
最初のコメントを投稿してみましょう!⚠️ エラーが発生しました