Takeshi Ikemoto

医療 × 経営 × テクノロジー

·夜便 1本目·

計算とデータ待ちを区別していなかった——それだけでGPUは14%の余剰エネルギーを使い続けていた

GPULLMDVFS省エネルギー

GPUは学習中、計算が集中する瞬間とメモリからデータが届くのを待つ瞬間を繰り返しています。この2つを区別してクロックを制御するだけで、エネルギーを最大14%削減できるとオランダの研究が示しました。速度の低下は0.6%のみです。

一言で言うと

AIモデルの学習に使う演算チップ内では、計算が集中する瞬間とデータを待つ瞬間が常に交互に起きています。この2つを区別せず常時最大速度で動かし続けていたことが、エネルギーの14%の無駄につながっていました。区別してクロックを制御するだけで削減できます——技術的に難しかったのではなく、問いが立てられていなかっただけです。

何が起きているのか

演算チップの「2つの時計」と、今回の工夫

画像処理装置(GPU: Graphics Processing Unit)の内部には、ざっくり言うと2つの動作ペース(クロック) があります。

大規模言語モデル(LLM: Large Language Model)の学習中、GPU は「計算が集中する瞬間」と「メモリからデータが届くのを待つ瞬間」を交互に繰り返します。ところが従来は、この違いを区別せず常に最大のペースで動かし続けることが多く、待ち時間にもフルパワーで電力を使っていました(記事のたとえ:水が沸くのを最大火力で待ち続けるようなもの)。

DVFS(Dynamic Voltage and Frequency Scaling:動的電圧・周波数スケーリング)は、負荷に応じて電圧と動作ペースを上げ下げする既存技術です。スマートフォンが省エネモードで動作を抑えるのと同系統の考え方で、PC でも使われています。計算が忙しいときは演算用を速く・メモリ用はゆっくり、データ待ちのときはその逆、という切り替えが可能です。

LLM 学習への DVFS 適用も以前から試されていましたが、切り替えの単位は「順伝播(データを前に進める処理)か逆伝播(重みを直す処理)か」という大きなステップ単位に留まっていました。オランダ・トゥウェンテ大学の Jeffrey Spaan 氏(博士課程)の研究は、1レイヤーあたり約40個のカーネル(GPU に送る処理の最小まとまり)ごとに切り替えるまで粒度を細かくした点が新しい、と IEEE Spectrum は伝えています。カーネルによって「計算ピーク」と「メモリ待ち」が混在するため、細かく切り替えたほうが14%の省エネにつながった、というのが論点です。

Spaan 氏は、2026年5月にイタリア・カターニアで開催された Computing Frontiers conference で結果を発表しました。

検証の条件と結果は以下のとおりです。

比較のための数字を一つ挙げると、OpenAI が 2023 年に GPT-4 を学習させた際のエネルギー消費は推定 50GWh で、米国家庭約 5,000 軒の年間消費電力に相当します。

ただし、14%は最良ケースの数値です。周波数の切り替えに要する時間は計算に含まれておらず、単一レイヤーのみで検証されています。最新の Blackwell GPU での結果も未確認です。チームは実用化に向けた自動化ツールを開発中です。

AI業界の文脈では

「GPUは最高クロックで動かすほど良い」という考え方は、業界の標準的な発想です。その裏にある前提は「学習中の負荷は均一だ」というものです。しかし実際は、カーネルによって計算が集中するものとメモリからデータが来るまで待つものが混在しています。データ待ちのあいだに演算部だけ最大ペースのまま動かし続けるのは、使っていないフライパンを最大火力で空焚きし続けるようなものです——全体は「待ち」の状態なのに、今は要らない部分だけフルパワーで回り続けている、という無駄に近いです。

「省エネすると遅くなる」という思い込みも根強くあります。今回の結果はそれを外しています。速度低下 0.6% というのは学習の実用性にほぼ影響しない水準です。

それでもこの手法がこれまで体系化されなかったのは、自動化ツールがなかったためです。技術的に難しかったのではなく、問いが立てられていなかっただけです。

私の見立て

なぜ誰も問いを立てなかったのかを見ると、構造的な理由があります。GPUメーカーは最大性能で売るインセンティブを持ちます。ML研究者は学習の速さで評価を受けます。電力コストはデータセンター運営の別部門が負担します。省エネを動機として持つ人が、意思決定に近い場所にいない構造です。

情報の面でも壁がありました。「このカーネルは計算ピークで、このカーネルはメモリ待ち」という知識は GPU アーキテクチャへの深い理解が必要で、モデル研究者には不透明でした。ハードウェア専門家とモデル研究者の間の知識の非対称が、この問いを見えにくくしていました。

今回の研究はその壁を崩す可能性を示しています。自動化ツールが整えば、学習パイプラインに省エネ制御を組み込む経路が生まれます。

もし外れるとすれば、Blackwell 世代以降の GPU では切り替えが速すぎてカーネル単位の制御が逆効果になる場合、または実際の多レイヤー・多エポック学習ループで効果が薄れる場合です。

→ 何が変わるか: 「学習エネルギーの削減は新チップ待ち」という見方に対して、既存ハードウェアのソフトウェア制御という独立した経路が示されました。アーキテクチャの改善と組み合わせることができます。

→ 何をすべきか: - ML エンジニア・研究者: 自チームの学習パイプラインで DVFS の適用余地を確認する価値があります。研究チームの自動化ツール公開を待ちながら動向を追うのが現実的な第一歩です。 - AI インフラ担当者: 新しいハードウェア世代へ更新する前に、現行 GPU のソフトウェア制御の最適化余地を評価する視点が加わります。電力コストが事業判断の変数に入ってきた今、この経路は無視しにくくなります。