中国の人工知能（AI）開発企業DeepSeekが発表した新技術「Hyper-Connections（HC）」は、AIモデルの学習効率を飛躍的に高める可能性がある。既存の標準構造であるResNetを8年ぶりに拡張し、実験ではメモリ消費を最大21%削減した。これが実用化されれば、MetaやGoogleなどが主導する大規模言語モデル（LLM）開発の勢力図を塗り替える可能性がある。本稿では、この新技術の仕組みと、日本のAI開発、さらには半導体産業への影響を多角的に分析する。

8年越しの革新、ResNetの限界を突破

AIの歴史において、2015年に発表されたResNet（残差ネットワーク）は一つの転換点だった。米マイクロソフトリサーチに当時在籍した何愷明氏らが考案したこの構造は、「残差接続」と呼ばれる信号の短絡路（ショートカット）を導入。これにより、ネットワークの層を深くしても学習信号が劣化せずに伝わるようになり、AIの性能を飛躍的に向上させた。しかし、この画期的な構造も万能ではない。層が数百、数千と深くなるにつれ、情報伝達経路そのものが新たな隘路（あいろ）となり、性能向上が頭打ちになる現象が指摘されてきた。
DeepSeekが2024年1月に発表した論文で提案する「Hyper-Connections（HC）」は、このResNetの根本構造に手を入れる野心的な試みだ。HCの核心は、残差接続で伝達される情報の「次元」を拡張する点にある。従来のResNetが一次元の細い経路で情報を伝えていたとすれば、HCはこれを多次元の太い管路に置き換え、より複雑な情報の流れを可能にする。物理的原理としては、情報を運ぶ特徴量ベクトルに追加の次元を設け、学習可能な3種類の写像行列を用いて次元間の情報交換を動的に制御する。論文によれば、特に残差フロー内で情報交換を担う行列が性能向上に最も重要な役割を果たすことが実験で示されたという。これは、単に情報を迂回させるだけでなく、迂回路の内部で情報を積極的に変換・整理する機構を組み込んだことに等しい。

なぜ学習効率は飛躍的に向上するのか

HCがもたらす最大の恩恵は、AIモデル学習時の計算資源、特にメモリ消費量の大幅な削減にある。DeepSeekが公開した論文によれば、70億パラメータを持つLlama型のモデルにHCを適用した実験で、学習時の有効メモリ消費量がベースライン比で21.4%減少したことが報告されている。同実験では、学習のスループット（単位時間あたりの処理能力）も13.6%向上した。これは、AI開発の生命線であるNVIDIA製「A100」や「H100」といった高性能GPU（画像処理半導体）の利用効率を直接的に高めることを意味する。
この効率化は、主に二つの技術的工夫によって実現される。一つは、複数の計算処理を一つにまとめる「カーネル融合」だ。HCの構造上、複数の小さな行列演算が連続して発生するが、これを個別に実行するとGPUとメモリ間のデータ転送が頻発し、遅延の原因となる。研究チームは、これらの演算を一つの大きな計算カーネルに統合することで、メモリアクセスの回数を削減した。もう一つは、GPUチップ上のキャッシュメモリを有効活用する「再計算」手法の導入である。一度計算した中間結果を主記憶（DRAM）に書き出す代わりに、必要になった時点でもう一度計算し直すことで、高価で容量の限られるGPUメモリの占有を最小限に抑える。これらの工夫は、AIの学習工程における計算と通信の重複を最大化するパイプライン並列処理と組み合わさり、全体として大きな効率改善を生み出している。

覇権争うLLM開発、新興勢力の活路に

現在のAI開発競争は、潤沢な資金を持つ巨大IT企業が主導している。Metaの「Llama 3」やGoogleの「Gemini」、OpenAIの「GPT-4o」といった最先端モデルの開発には、数万基の高性能GPUを数カ月にわたり稼働させる必要があり、その費用は数百億円から一千億円規模に達するとされる。例えば、Metaは2024年末までに35万基のNVIDIA製H100 GPUを導入する計画を公表しており、これは調達費用だけで1兆円を超える規模の投資だ。このような計算資源の寡占は、新興企業や大学などの研究機関にとって極めて高い参入障壁となっている。
HCのような基礎構造レベルでの効率化技術は、この状況に風穴を開ける可能性を秘める。学習コストを2割削減できれば、同じ予算でより大規模なモデルを開発したり、試行錯誤の回数を増やしたりすることが可能になる。これは、資金力で劣る新興勢力が、独自のデータや工夫で巨大IT企業に対抗するための重要な武器となり得る。DeepSeek自身も、このHC技術を自社のLLM「DeepSeek-V2」に実装。2360億パラメータという巨大モデルでありながら、競合の同規模モデルに比べて学習コストを大幅に抑制したと主張している。TrendForceの2024年5月の調査によれば、AIサーバーの出荷台数は2024年に前年比38%増の167万台に達する見込みだが、その大半は特定の大規模データセンターに集中している。HCのような技術は、計算資源の「民主化」を促し、AI開発の裾野を広げる一助となるかもしれない。

日本が握る半導体基盤技術との連関

HCのようなAIアーキテクチャの革新は、一見するとソフトウェアやアルゴリズムの話に閉じるように見える。しかし、その影響はAIチップを製造する半導体産業の根幹にまで及ぶ。AIの学習効率が向上すれば、単位性能あたりの半導体への要求は変化し、チップ設計の方向性にも影響を与えるからだ。例えば、メモリ消費が削減されれば、チップに搭載する高価なHBM（広帯域メモリー）の容量を抑え、代わりに演算ユニットを増やすといった設計変更が考えられる。これは、半導体製造装置や材料の需要構造にも変化をもたらす。
ここで日本の産業が持つ役割が重要になる。AIチップの性能を左右する微細加工プロセスでは、日本の素材・装置メーカーが世界市場で高い占有率を握る。例えば、回路パターンを転写するEUV（極端紫外線）リソグラフィーに不可欠なフォトレジスト（感光材）は、JSRや信越化学工業、東京応化工業といった日本企業が世界市場の約9割を占める。また、半導体の基板となるシリコンウエハーも信越化学工業とSUMCOで世界シェアの約6割を確保している。さらに、回路を刻むエッチング装置では東京エレクトロン、ウエハーを精密に切断するダイシングソーではディスコが圧倒的な強みを持つ。AIアーキテクチャの進化がもたらす半導体設計の変更は、これら日本の基盤技術に対する新たな需要を生み出す可能性がある。逆に言えば、次世代AIの動向を的確に捉えられなければ、日本の優位性が揺らぎかねないことも意味している。

日本企業が直面する選択

DeepSeekによるHCの発表は、日本のAI開発関係者に二つの重要な問いを投げかける。一つは、海外で生まれた最先端の基礎技術を、いかに迅速に自社の開発に取り込むかという課題だ。HCはオープンソースとして公開されており、原理的には誰でも利用できる。しかし、その真価を引き出すには、GPUのカーネルレベルでの最適化や、自社モデルの構造に合わせた調整など、高度な技術力が求められる。国内のAI開発企業や研究機関は、単に既存モデルを応用するだけでなく、こうした基礎構造レベルの研究成果を評価・導入する専門人材の育成と体制構築が急務となる。限られた計算資源で世界と競争するためには、効率化技術の導入は不可欠だ。
もう一つは、日本発の独自アーキテクチャを創出できるかという、より根源的な問いである。米国勢や中国勢がAIモデルの構造自体を次々と革新する中で、日本が応用研究に留まれば、技術的な主導権を失い、海外プラットフォームへの依存は深まる一方だ。経済産業省は2024年度予算で、AI開発向け計算基盤の整備に725億円を計上するなど支援を強化しているが、ハードウェアの整備と並行して、ResNetやHCに比肩するような独創的な基礎研究を生み出す土壌を育む必要がある。AIの進化は、その計算を支える半導体技術と不可分だ。日本の強みである半導体素材・装置技術と、AIのソフトウェア研究を有機的に連携させ、次世代の計算基盤全体を設計する視点が、国際競争力を維持する上で不可欠となるだろう。