FP8で11.6 exaFLOPS / FP4で121 exaFLOPS。
だが Google TPU8 の本質は、その数字にはない。
メモリ、通信、コンパイラ──すべてが「データをどう動かさないか」に収束している。
本記事では、HBMとSRAMの役割分担、XLAによる配置制御を軸に、AI計算が「演算」から「配置」へと移行した構造を読み解く。
序章｜TPU8が投げた違和感
正直に言うと、この数字を見ても「だから何？」と感じた人も多いはずだ。
FP8で 11.6 exaFLOPS。
FP4では 121 exaFLOPS。
数字だけ見れば、もはや現実感はない。
「速い」というより、「桁が違う」としか言いようがない。
だが、今回の発表を読み込むと、ある違和感が残る。
なぜこれほどの性能向上が、
単なる“チップの進化”として語られていないのか。
なぜ説明の多くが、
- メモリ
- インターコネクト
- トポロジー
- ソフトウェア（XLA / JAX / Pathways）
に割かれているのか。
そして、なぜ「エージェンティックAI」という言葉が、
インフラの話と並列で語られているのか。
今回のTPU8は、確かに速い。
だがそれ以上に、
「何を速くするのか」が変わっている
かつての計算機は、
命令をいかに速く実行するかがすべてだった。
だが現在のAIは違う。
モデルは巨大化し、処理は分散し、
タスクは連鎖し、状態を持ち続ける。
単発の推論ではなく、
連続した“思考の流れ”がシステム全体を駆け巡る。
このとき問題になるのは、演算性能ではない。
どこにデータを置き、
どう運び、
どこで処理するか。
つまり「配置」だ。
TPU8が示したのは、単なる性能向上ではない。
計算機の本質が
「演算」から「配置」へと移った
という事実である。
この変化を読み解く鍵は、
- HBMとSRAMの役割分担
- インターコネクトの進化
- そしてXLAという“配置を決めるソフトウェア”
この3つにある。
本記事では、TPU8のスペックをなぞるのではなく、
その背後にある設計思想を読み解く。
なぜHBMとSRAMは共存するのか。
なぜ通信が主役になったのか。
そして、なぜコンパイラが性能を決めるのか。
TPU8は速い。
だが本当に重要なのは、その速さではない。
「どこに置くか」で性能が決まる時代
その到来を告げたことにある。
第1章｜FLOPSでは説明できない性能
FP8で11.6 exaFLOPS。
FP4では121 exaFLOPS。
この数字だけ見れば、「とんでもなく速い」で終わる。
だが実際には、この数値は“そのまま性能”ではない。
ここに、今回の違和感の入口がある。
まず押さえておくべきは、FLOPSという指標の性質だ。
FLOPSは「1秒間に何回演算できるか」を示す。
だがそれはあくまで、
条件が整ったときの理論値
に過ぎない。
特にAIでは、その前提が大きく崩れる。
- データが届かなければ演算は止まる
- チップ間通信が詰まれば待ちが発生する
- メモリに収まらなければ分割・再配置が必要になる
つまり、
演算性能は“供給されて初めて意味を持つ”
ここでTPU8の数字をもう一度見る。
- チップ間帯域：19.2 Tb/s（倍増）
- HBM容量：大幅増加
- SRAM：最大3倍
- ポッド構成：最大9600チップ
- スケーリング：ほぼ線形
この並び、実はFLOPSより重要だ。
なぜなら、ここで語られているのはすべて
「演算を止めないための仕組み」
だからだ。
例えば、FP4の121 exaFLOPS。
これは「軽い演算を大量に回せる」という意味だが、
その裏ではこうなる。
- 演算が速くなるほど
- データ供給が追いつかなくなる
結果、
ボトルネックは必ずメモリと通信に移る
だからTPU8は、そこを徹底的に潰してきた。
- 帯域を倍にする
- メモリを増やす
- トポロジーを最適化する
- ソフトウェアで配置を制御する
ここまで来ると、FLOPSはもはや“主役”ではない。
むしろ、
FLOPSは「結果」であって「原因」ではない
もう少し踏み込む。
同じ「1 exaFLOPS」でも、意味はまったく違う。
- 倍精度（FP64）のexa → 科学計算
- FP8やFP4のexa → AI推論・学習
後者は軽い演算を高速で回しているだけで、
その価値は
- メモリに収まるか
- 通信が詰まらないか
- パイプラインが途切れないか
で決まる。
つまりこうなる。
FLOPSが増えたから速いのではない
止まらないから速い
TPU8の進化は、この一点に集約される。
演算器を強くするのではなく、
演算が“止まる理由”を消している。
そして、その次の問いが自然に出てくる。
では、どうやって止まらなくしているのか。
その答えの一つが、
HBMとSRAMの共存
である。
ここで初めて気づく。
我々は「計算性能」を見ていたつもりで、
実際には「待ち時間」を測っていただけだった。
第2章｜HBMとSRAMの共存
TPU 8iの説明の中で、ひときわ目を引く一文がある。
「アクティブなワーキングセットをすべてオンチップに保持」
一見すると、ただの高速化の話に見える。
だがこれは、従来のメモリ設計とはまったく別の発想だ。
例えば、MoEモデルでは選択されたExpertの重みや、アテンションにおけるKVキャッシュの一部だけがアクティブになる。このような“その瞬間に必要な断片”こそがワーキングセットであり、TPU 8iはそれをSRAMに閉じ込めようとしている。
まず整理しておこう。
- HBM：大容量・高帯域だが、レイテンシはある
- SRAM：極小容量だが、圧倒的に速い
この2つを組み合わせる構成自体は、目新しいものではない。
前世代でも採用されていた。
だが、TPU 8世代では“意味”が変わっている。
従来の役割分担はこうだった。
- HBM：データを置く場所
- SRAM：キャッシュ的に使う場所
つまり、
「遅さを隠すための補助構造」
だが今回のTPU 8iは違う。
SRAMは単なるキャッシュではない。
「今この瞬間に必要なデータだけを閉じ込める場所」
として使われている。
ここで重要なのが“ワーキングセット”という考え方だ。
巨大なモデルのすべてを一度に扱う必要はない。
実際の推論では、
- ある層
- あるトークン
- ある専門家（MoE）
など、必要な部分は限定される。
TPU 8iはそこに踏み込んだ。
- HBMに全体を保持し
- 必要な部分だけをSRAMに引き上げる
そして、
その“必要な部分”をオンチップで完結させる
この構造が意味するものはシンプルだ。
「外に出ない」
従来のボトルネックはこうだった。
- HBMにアクセスする
- 他チップと通信する
- 同期を待つ
どれも遅い。
だがSRAM内でワーキングセットが閉じれば、
- メモリアクセスは局所化され
- 通信は減り
- レイテンシは激減する
ここで、以前触れたGroqの設計を思い出す。
（極端な設計として有名な例）
- 全データをSRAMに置く
- 外に出ない
- だから速い
だがその代償として、
「スケールできない」
TPU 8iは別の道を選んだ。
「全部は無理。だから必要な分だけ閉じる」
これがHBMとSRAMの本当の関係だ。
- HBM：世界そのもの
- SRAM：その瞬間の現実
そしてこの構造は、単なるメモリの話では終わらない。
どのデータをSRAMに置くのか。
いつ入れ替えるのか。
どう分割するのか。
これはもう、
「計算の問題」ではなく
「配置の問題」
TPU 8世代の設計は、この前提に立っている。
SRAMを増やしたのは性能のためではない。
ワーキングセットを閉じるためだ。
HBMを増やしたのは容量のためではない。
全体を保持するためだ。
そして、この2つを橋渡しするのが、
ソフトウェアによる配置制御
である。
第3章｜XLAという“もう一つの主役”
HBMとSRAMの関係を見てきたが、
ここで一つ、決定的な疑問が残る。
「どのデータをSRAMに置くのか」は、誰が決めるのか
ハードウェアだけでは、この問いには答えられない。
従来のCPUやGPUでは、この問題は比較的単純だった。
- プログラマが明示的にメモリを扱う
- キャッシュはハードウェアが自動で最適化する
つまり、
「ある程度いい感じにやってくれる」
だがTPUの世界では、それでは通用しない。
理由は明確だ。
- モデルが巨大すぎる
- データが分散しすぎている
- 通信コストが支配的になっている
この環境では、
「どこに置くか」が性能を決める
ここで登場するのが、XLA だ。
XLAは単なるコンパイラではない。
コードを最適化するだけの存在ではなく、
計算そのものを“再構成”する
通常のプログラムは、こう動く。
- 命令を書く
- 順番に実行する
だがXLAは違う。
- 計算をグラフとして受け取り
- 全体を解析し
- 最適な実行形に変換する
ここで重要なのは、
「順番」ではなく「構造」を扱う
という点だ。
例えば、巨大な行列計算があったとする。
従来なら、
- メモリに読み込む
- 計算する
- 書き戻す
という流れになる。
だがXLAはこう考える。
- この計算は分割できるか
- どこに配置すれば通信が減るか
- SRAMに収まるサイズはどこか
- 並列化の最適単位は何か
そして最終的に、
「どこで」「どの順番で」「どの単位で」処理するか
を決定する。
ここで、HBMとSRAMの話が繋がる。
- HBMに全体を置き
- SRAMにワーキングセットを閉じる
この設計は、
XLAが“そう配置できる”前提で成立している
つまり、
ハードウェアの設計は
コンパイラの能力に依存している
これは従来の常識とは逆だ。
普通は、
- ハードが先
- ソフトが合わせる
だがTPUでは、
ソフト（XLA）が前提
ハードがそれに最適化される
この構造が意味するものは大きい。
もはや、
「プログラムを書く」という行為自体が変わっている
GPUの世界では、CUDA によって
- スレッド
- ブロック
- メモリ配置
を人間が意識する必要があった。
だがTPUでは、
- 計算グラフを渡すだけで
- 配置も分割もコンパイラが決める
一見すると簡単になったように見える。
だが実際には、
「人間が理解していたレイヤー」が消えた
だからこそ、今でもこう言われる。
- XLAは強力だが難しい
- 最適化には高度な知識が必要
理由はシンプルだ。
最適化の対象が
「命令」ではなく「構造」になったから
ここまで来ると、見えてくるものがある。
- HBMとSRAM
- チップ間通信
- トポロジー
- コンパイラ
これらはすべて別の話ではない。
すべて「配置」の話である
TPU8の本質は、ここにある。
計算機はもはや、
「どう計算するか」ではなく
「どこに置くか」を決める装置
になった。
第4章｜キャッシュではない ─ AIメモリ設計の本質
HBMとSRAMの関係を見てきたとき、
多くの人はこう思うはずだ。
「それって結局、キャッシュの話では？」
だが、この理解は半分正しく、半分間違っている。
確かに構造だけ見れば似ている。
- 大容量メモリ（HBM）
- 高速小容量メモリ（SRAM）
これはCPUの
- メインメモリ
- L1 / L2 / L3キャッシュ
と同じ階層構造だ。
だが決定的な違いがある。
■ キャッシュの世界
従来のキャッシュはこう動く。
- プログラムはメモリを“意識しない”
- よく使うデータが自動的にキャッシュされる
- ミスしても再取得すればいい
つまり、
「過去の利用履歴」に基づく最適化
■ TPUの世界
一方、TPUではこうなる。
- どのデータを使うかは事前に分かっている
- 計算グラフとして全体が見えている
- その上で配置を決める
つまり、
「未来の計算」を前提にした最適化
ここが本質的な違いだ。
■ なぜキャッシュではダメなのか
AIの計算は、
- 巨大で
- 規則的で
- 再現性がある
一見キャッシュに向いていそうだが、実は逆だ。
理由は単純で、
「一度しか使わない巨大データ」が多すぎる
例えばLLMの推論では、
- トークンごとに状態が変わる
- 層ごとにアクセスパターンが変わる
- MoEではルーティングが動的に変わる
この状況で「過去ベース」のキャッシュは弱い。
だからTPUはこうした。
「全部わかってるなら、最初から置けばいい」
■ タイルという考え方
ここで出てくるのが“タイル化”だ。
巨大な計算を、
- 小さなブロックに分割し
- SRAMに収まる単位に切り出し
- その中で完結させる
これにより、
- HBMアクセスは最小化され
- 通信は減り
- 計算は止まらない
これはキャッシュではない。
「意図的に作られた局所性」
■ “閉じる”という設計思想
TPUの設計を一言で言うとこうなる。
計算を“閉じる”
- データをSRAMに閉じる
- 通信をチップ内に閉じる
- 処理を局所化する
この“閉じる”という発想は、
これまでの計算機にはあまりなかった。
従来はむしろ逆で、
「どこからでも取ってこれる柔軟性」
が重視されていた。
だがAIでは、
柔軟性よりも確実性
が重要になる。
■ ここでXLAが効いてくる
この“閉じる設計”は、手動では無理だ。
- どの単位で分割するか
- どこに配置するか
- どの順序で流すか
これを人間が書くのは現実的ではない。
だから、
コンパイラが“未来を見て配置する”
ここで第3章の話が完成する。
■ まとめるとこうなる
- キャッシュ → 過去ベース
- TPU → 未来ベース
キャッシュは「当たれば速い」
TPUは「外さないように設計する」
この違いは、かなり大きい。
ここまで来ると、見えてくる。
- メモリ構造
- コンパイラ
- チップ構成
これらはすべて、
「データを動かさないための工夫」
そしてその先にあるのが、もう一つの問題だ。
それでも“外に出るデータ”はどうするのか
つまり通信だ。
第5章｜インターコネクトと同じ話
ここまで見てきた内容は、一見するとチップ内部の話だ。
- HBMとSRAM
- ワーキングセット
- タイル化
- XLAによる配置
だが、この構造はチップの外に出ても変わらない。
TPU 8の構成をもう一度見る。
- チップ間帯域：19.2 Tb/s
- Boardflyトポロジー
- ネットワーク直径の削減
- 最大9600チップのポッド
- ほぼ線形スケーリング
これらはすべて、
「通信をいかに速く、短くするか」
の話だ。
■ なぜ通信が主役になったのか
理由はシンプルだ。
計算より通信のほうが遅いから
どれだけ演算器を強化しても、
- データが届かなければ止まる
- 同期が終わらなければ進まない
結果として、
ボトルネックは必ず“外”に出る
これはチップ内でも同じだった。
- SRAMに閉じれば速い
- HBMに出ると遅い
そして今、それがそのまま拡張されている。
- チップ内 → チップ間
- チップ間 → ラック
- ラック → データセンター
つまり、
問題の構造はスケールしても変わらない
■ Boardflyトポロジーの意味
Boardflyは、従来のトーラス型と異なり、接続階層を再設計することでネットワーク直径そのものを物理的に縮めている。
あの構造図、一見するとただの配線図に見える。
だがやっていることは明確だ。
- 小さな完全接続を作る
- それを階層的に束ねる
- 遠距離通信を減らす
これを一言で言うと、
「遠くを消す」
ネットワーク直径を50%削減というのは、
- 一番遠いノードまでの距離が半分近くになる
- 同期時間が短くなる
- 全体の遅延が下がる
つまりここでも、
「外に出る距離」を最小化している
■ CAE（集合アクセラレーション）の意味
ここも重要だ。
従来は、
- AllReduce
- Broadcast
- Gather
といった処理はCPUやソフトウェアでやっていた。
だがTPU 8では、
それをチップ側に押し込んだ
結果、
- 通信の待ちが減る
- 同期が速くなる
- パイプラインが止まらない
つまり、
通信すら“計算と同じ扱い”になった
■ インターコネクトとSRAMは同じ話
ここで一気に繋がる。
● チップ内
- SRAMに閉じる
- HBMに出ない
● チップ間
- 近いノードで処理
- 遠くに飛ばさない
やっていることは同じだ。
「移動距離を減らす」
■ 一刀両断
計算はもう十分に速い
問題は「どれだけ動かさないか」だ
ここで全体が一つにまとまる。
- メモリ
- コンパイラ
- トポロジー
- 通信
すべてが同じ目的に向かっている。
そして最後に残る問いはこれだ。
では、この構造の中で
「性能」とは何を意味するのか
第6章｜性能とは何か ─ FLOPSの次の指標
ここまで見てきたように、TPU 8の進化は
- 演算器
ではなく - データの流れ
に集中している。
では、この世界で「性能」とは何を意味するのか。
■ FLOPSでは測れない理由
FLOPSはこういう指標だ。
「理想的な条件で、どれだけ計算できるか」
だが現実のAIでは、
- メモリ待ち
- 通信待ち
- 同期待ち
これらが支配的になる。
つまり、
計算していない時間が性能を決める
HBMは速い。でも“遠い”
HBMは
- 帯域は広い（TB/s級）
- だがオンチップではないという意味で「遠い」
つまり、
取りに行くコストがある
だからこうなる。
- SRAM → すぐ使える
- HBM → 取りに行く
- 他チップ → もっと遠い
■ 新しい性能の正体
この世界での性能はこう定義できる。
「どれだけ止まらずに流れ続けるか」
つまり評価軸は変わる。
従来
- FLOPS
- クロック
- コア数
現在（TPUが示すもの）
- データ移動量
- レイテンシ
- ワーキングセットの局所化
- 通信距離
■ 実効性能という考え方
ここで重要なのが「実効性能」だ。
同じexaFLOPSでも、
- データが詰まる → 遅い
- スムーズに流れる → 速い
つまり、
スペックではなく“流れ”が性能を決める
■ ワーキングセットという指標
TPU 8iの設計思想は明確だ。
「必要なものを全部SRAMに閉じる」
これが意味するのは、
- HBMアクセスを減らす
- 通信を減らす
- 待ち時間を減らす
つまり、
「動かさないこと」が性能になる
■ エネルギーとも直結する
ここも重要だ。
- 計算 → 比較的安い
- データ移動 → 高コスト
だからTPU 8は
- ワットあたり性能2倍
- データセンター効率6倍
という結果になる。
FLOPSは「どれだけ回せるか」
今の性能は「どれだけ止まらないか」
■ ここまでの整理
- SRAM → 近い
- HBM → 遠いが広い
- 通信 → さらに遠い
だから最適解は一つ。
「できるだけ動かさない」
ここまで来ると、最初の疑問に戻る。
なぜTPU 8は、
- メモリ
- 通信
- トポロジー
- コンパイラ
を同時に進化させたのか。
答えはシンプルだ。
すべてが同じ問題を解いているから
そしてその問題とは、
「データをどう配置するか」
である。
結論｜AIチップは「配置の機械」である
TPU 8のスペックを並べることは簡単だ。
- FP4で121 exaFLOPS
- チップ間帯域 19.2 Tb/s
- SRAM 3倍
- HBM大容量化
- 9600チップのポッド
- ほぼ線形スケーリング
だが、それらをいくら積み上げても、本質には届かない。
今回見てきた通り、TPU 8の進化は一貫している。
- メモリを増やす
- 通信を速くする
- トポロジーを最適化する
- コンパイラで制御する
これらは別々の改善ではない。
すべて「同じ問題」に対する答えである
その問題とは何か。
データをどこに置くか
もはや、計算は問題ではない。
- 演算器は十分に速い
- FLOPSは飽和している
残されたボトルネックは一つ。
データが動くこと
だからTPU 8は、あらゆる方向からこれを潰している。
- SRAMに閉じる
- HBMへの往復を減らす
- チップ間の距離を縮める
- 通信そのものをハード化する
- 配置をコンパイラに任せる
この構造を一言で言うとこうなる。
「動かさないための計算機」
ここで、最初の違和感が回収される。
なぜTPU 8は、
- メモリ
- インターコネクト
- ソフトウェア
ばかりを語っていたのか。
答えはシンプルだ。
計算はもう終わっているからだ
そして今、計算機は次の段階に入った。
- FLOPSの時代
- 帯域の時代
その次に来たのが、
配置の時代
この変化は、単なる性能競争ではない。
設計思想そのものが変わっている。
- CPUは命令を実行する装置だった
- GPUは並列に回す装置だった
ではTPUは何か。
データを最適な場所に置くための装置である
この視点に立つと、すべてが繋がる。
- HBMとSRAM
- キャッシュではない設計
- XLAによる配置制御
- トポロジーの最適化
- エージェンティックAIへの最適化
すべてが、
「配置をどう制御するか」
に収束している。
最後に、一つだけ残しておく。
FLOPSは幻想だった
帯域は過渡期だった次に来たのは「配置」だ
TPU 8は、その到来をはっきりと示した。
これからのAIを測るものさしは、もう変わっている。結論｜AIチップは「配置の機械」である
TPU 8のスペックを並べることは簡単だ。
- FP4で121 exaFLOPS
- チップ間帯域 19.2 Tb/s
- SRAM 3倍
- HBM大容量化
- 9600チップのポッド
- ほぼ線形スケーリング
だが、それらをいくら積み上げても、本質には届かない。
今回見てきた通り、TPU 8の進化は一貫している。
- メモリを増やす
- 通信を速くする
- トポロジーを最適化する
- コンパイラで制御する
これらは別々の改善ではない。
すべて「同じ問題」に対する答えである
その問題とは何か。
データをどこに置くか
もはや、計算は問題ではない。
- 演算器は十分に速い
- FLOPSは飽和している
残されたボトルネックは一つ。
データが動くこと
だからTPU 8は、あらゆる方向からこれを潰している。
- SRAMに閉じる
- HBMへの往復を減らす
- チップ間の距離を縮める
- 通信そのものをハード化する
- 配置をコンパイラに任せる
この構造を一言で言うとこうなる。
「動かさないための計算機」
ここで、最初の違和感が回収される。
なぜTPU 8は、
- メモリ
- インターコネクト
- ソフトウェア
ばかりを語っていたのか。
答えはシンプルだ。
計算はもう終わっているからだ
そして今、計算機は次の段階に入った。
- FLOPSの時代
- 帯域の時代
その次に来たのが、
配置の時代
この変化は、単なる性能競争ではない。
設計思想そのものが変わっている。
- CPUは命令を実行する装置だった
- GPUは並列に回す装置だった
ではTPUは何か。
データを最適な場所に置くための装置である
この視点に立つと、すべてが繋がる。
- HBMとSRAM
- キャッシュではない設計
- XLAによる配置制御
- トポロジーの最適化
- エージェンティックAIへの最適化
すべてが、
「配置をどう制御するか」
に収束している。
最後に、一つだけ残しておく。
FLOPSは幻想だった
帯域は過渡期だった次に来たのは「配置」だ
TPU 8は、その到来をはっきりと示した。
これからのAIを測るものさしは、もう変わっている。
FLOPSは幻想だった
帯域は過渡期だった
次に来たのは「配置」だ
そしてこの変化は、エージェンティックAIによって決定的になった
タスクが連鎖し、状態を持ち、推論が連続する世界では
データは動かすものではなく、そこに“居続ける”必要がある
TPU8は、そのための計算機である
外部リンク（参考）
